LLM’s mit Einschränkungen? Explainable-Agentic AI kann’s lösen

Schwerpunkt: Agentic, explainable & poisoned AI. . Moderne Ka I Systeme und LLM versprechen eine Automatisierung von Prozessen in bisher ungeahntem Ausmaß. Jenseits der Marketingversprechen ist jedoch nicht alles Gold, was glänzt. Insbesondere dann nicht, wenn es um den Einsatz in kritischen Prozessen geht, in denen unter Umständen eine (nachträgliche) Begründung für bestimmte Entscheidungen oder Vorgehensweisen erforderlich ist. vonUdo Schneider, Governance, Risk & Compliance Lead Europe, Trend Micro.. Nachvollziehbarkeit!. . Die grundlegende Fragestellung ist die der „Nachvollziehbarkeit“ von Ka I Entscheidungen. Hierbei ist es sinnvoll, zwischen „deterministisch“ und „erklärbar“ zu unterscheiden:. Ein System ist deterministisch, wenn es sich bei jedem Durchlauf gleich verhält. Vereinfacht gesagt: Bei gleichen Eingabedaten wird immer die gleiche Ausgabe erzeugt. Die Ergebnisse eines Systems sind „erklärbar“, wenn das System seine Entscheidungsfindung verständlich machen kann. Die meisten LLMs (auf die sich dieser Artikel konzentriert) haben eine inhärente Zufallskomponente in ihrer Ausgabe. Bei der autoregressiven Erzeugung des nächsten Tokens wählt das LLM zufällig eines aus der Menge der gewichteten Token (Logits) aus. Beliebte Methoden sind top_k oder top_p.Warum werden diese Methoden eingesetzt, statt das Modell einfach streng deterministisch entscheiden zu lassen? Die Antwort ist simpel: Kreativität“Wird ausschließlich Greedy Decoding genutzt, sind die Antworten zwar deterministisch, aber auch „langweilig“. Das bedeutet, das LLM wird gleiche Anfänge immer gleich fortführen und gelangt häufiger in einen Zustand, in dem dieselbe Reihe von Tokens immer wiederholt wird. Letztlich beraubt man sich damit genau der Kreativität und Anpassungsfähigkeit an natürlichsprachliche Informationen, die man sich von einem LLM erhofft. Random Seed!. . Um die zufällige Token Auswahl bei top_k/top_p besser zu steuern, kann ein seed Parameter festgelegt werden. Ohne eigene Angabe zieht das LLM einen seed aus dem System Entropiepool, andernfalls sollte der Nutzer einen möglichst guten lokalen seed übergeben. Mit gleichem Prompt und seed liefert das Modell reproduzierbare Ergebnisse, bleibt aber kreativ. Für wirklich deterministische Ausgaben sind zudem identische Modellgewichtungen und IEEE 754 Konformität nötig. Modellversionen!. . Die Antworten eines LLM hängen stark vom verwendeten Modell ab. Verschiedene Modelle oder Generationen können bei derselben Anfrage völlig unterschiedliche Resultate liefern, insbesondere bei Closed Source Diensten, die im laufenden Betrieb häufig Modellvarianten austauschen. Es empfiehlt sich, möglichst spezifische Model Identifier zu nutzen, wie „mymodel 20251216001“ statt „mymodel latest“, auch wenn das keine absolute Sicherheit bietet. Manche Anbieter geben mit dem system_fingerprint eine Kennung aus, die Änderungen am Modell oder an den Parametern anzeigt; ändert sich dieser Wert, ist ein anderes Modellverhalten wahrscheinlich. IEEE754 “Magie”!. . LLMs arbeiten mit Milliarden von Fließkommazahlen nach IEEE 754, wobei die Darstellung nicht immer exakt ist. Durch parallel ausgeführte Rechenoperationen können sich deshalb Token Wahrscheinlichkeiten unterscheiden. Meist sind diese Differenzen unerheblich, doch gelegentlich entstehen dadurch unerwartete Effekte in den Ergebnissen. Erklärbarkeit!. . . Die Erklärbarkeit von LLMs (s.o.) ist besonders problematisch. Es bringt wenig, das Modell direkt nach seinen Entscheidungsprozessen zu fragen, da mögliche Antworten ebenso erfunden sein können wie die ursprünglichen Ausgaben. Die enorme Anzahl an Modellgewichtungen und Rechenoperationen macht jede Nachvollziehbarkeit praktisch unmöglich. Agentic AI to the rescue!!. . Trotz dieser Einschränkungen von LLMs kann “Explainable Agentic AI” sinnvoll sein, da das agentic Prinzip viele Prozesse vereinfacht. Solche Systeme bestehen aus einem zentralen Reasoning LLM, das spezialisierte Agenten steuert, vergleichbar mit Microservices Architekturen, , wodurch sich bewährte Orchestrierungs, Logging- und Telemetrie Konzepte übertragen lassen. Allerdings erschweren Merkmale wie Autonomie und kontinuierliches Lernen den Determinismus: Das System verändert sich mit jeder Interaktion und vollständige Statussicherungen aller Parameter sind meist nicht praktikabel. Um dennoch Nachvollziehbarkeit zu gewährleisten, sollte der gesamte Prompt Ablauf protokolliert werden, inklusive Kontextanreicherungen, API Aufrufparametern und Rückgabewerten. Die Integration deterministischer Subsysteme steigert zusätzlich die Transparenz. Beispielsweise kann ein Agent zur Fr-aud Detektion bei Finanztransaktionen als Forward Chaining Expertensystem implementiert sein, das vom Reasoning LLM als “Sub Agent” aufgerufen wird. Dem Drang alles mit LLMs abbilden zu wollen sollte man also widerstehen.LLMs spielen ihre Vorteile bei natürlichsprachigen, komplexen und nicht hinreichend definierten Problemen aus.“Sie bei deterministischen Aufgaben mit strukturierten Ein- und Ausgabedaten einsetzen zu wollen ist nicht nur ressourcentechnisch fragwürdig, sondern aufgrund der Fehlerrate oft fahrlässig. Kombiniert man aber Reasoning LLMs mit auch deterministischen Agenten, ist die Nachvollziehbarkeit des Systems deutlich höher. Studien zeigen zudem, dass die Erfolgsrate von Agentic AI Systemen im Zeitverlauf sinken kann. Daher ist es entscheidend, Fehlerquellen durch maßvollen LLM Einsatz zu minimieren und Kernparameter kontinuierlich mittels Telemetrie zu überwachen, unterstützt durch Technologien aus dem Microservices Umfeld. Fazit LLM & Agentic AI!. . Ka I Systeme haben eine Komplexität erreicht, bei der mit etwas Aufwand ein deterministischer Betrieb möglich ist. Die Erklärbarkeit von Ergebnissen bei “Interpretable Models” ist zwar theoretisch möglich, die heute im praktischen Einsatz befindlichen und angebotenen Modelle bieten diese Möglichkeit aber nicht!. In Agentic AI Systemen hat es sich daher bewährt, auf bewährte Betriebskonzepte aus dem Microservices Bereich zurückzugreifen und Kennwerte und Traces von Interaktionen zu protokollieren. In Kombination mit einer sinnvollen Auswahl an Technologien für Agenten, zum Beispiel deterministische Systeme für entsprechende Aufgaben, LMMs nur dort, wo sie konzeptionell einen Vorteil bieten, ermöglicht dies es, Agentic AI Systeme so zu betreiben, dass die Dokumentation der Betriebsumgebung quasi “automatisch“ erfolgt und die Dokumentation der Abläufe und deren Qualität über Zeit zumindest nachvollzogen werden kann.Sie hörten einen Beitrag von „Udo Schneider, Trend Micro/dk“