Erklärbarkeit von genAI: Zwischen Performance und Erklärungstiefe als neue Kernkompetenz

Schwerpunkt: Agentic, explainable & poisened AI

Generative AI entwächst der reinen Experimentierphase und tritt in die Industrialisierung ein. In diesem Stadium genügt die bloße Machbarkeit nicht mehr; Prozesssicherheit, Präzision und Effizienz werden zum neuen Maßstab. Erklärbarkeit wandelt sich dabei vom regulatorischen Beiwert zum technischen Fundament für die Robustheit stochastischer Systeme im Unternehmenseinsatz.

von Matthias Peter, Christoph Anders, Sebastian Herzog, Financial Services, KPMG Wirtschaftsprüfungsgesellschaft

Hyperscaler haben den Zugang zu Large Language Models radikal vereinfacht. Für die Industrialisierung wird dieser Komfort zur strukturellen Hürde: Die API Abstraktion entzieht dem Anwender operative Hoheit. Damit fehlt der Zugriff auf interne Zustände, die für kausale Analysen erforderlich sind. Das Resultat ist technologische Intransparenz: Selbst bei fixierten Modellversionen bleibt Verhalten nur statistisch, nicht ursächlich erklärbar.

Getrieben durch Margenoptimierung optimieren Anbieter ihre Systeme auf Durchsatz.

Adaptive Verfahren wie Quantisierung, Speculative Decoding oder Batching verändern den Rechenpfad dynamisch und entkoppeln semantische Präzision vom Eingabekontext.“

Hidden Prompts, Safety Filter und Output Shaping überlagern zusätzlich den Modellkern und verzerren das kausale Verhältnis zwischen Eingabe und Ergebnis. Schließlich verhindert infrastruktureller Indeterminismus (z.B. durch Mixture of Experts (MoE)-Routing, Hardware-Heterogenität) eine bitgenaue Reproduzierbarkeit.

Wo der Zugriff auf die Modellmechanik fehlt, bleibt echte Interpretierbarkeit oft unerreichbar und sollte durch die Analyse der Korrelation zwischen Ein- und Ausgabe substituiert werden: Counterfactual Evaluations testen logische Zusammenhänge, mathematische Hilfsmodelle approximieren das Verhalten, während semantische Entropie die Konsistenz misst. Zudem hat sich LLM-as-a-Judge für die externe Auditierung durchgesetzt.

Doch diese phänomenologische Sicht versagt, wo strukturelle Interpretierbarkeit notwendig ist. Für diese Diagnose-Tiefe sind folgende Konzepte entscheidend:

• Topologie des Wissens: Ziel ist es, die geometrische Struktur der Daten im latenten Raum zu verstehen, um verlässliche Fakten klar von Halluzinationen abzugrenzen (Neural Manifold Analysis). Mittels Sparse Autoencoders lässt sich der komplexe „Neuronen-Salat“ in Begriffe übersetzen, die für Menschen logisch greifbar sind
• Dynamik der Entscheidungsfindung: Hier wird der interne „Gedankengang“ des Modells analysiert. Statt nur das Endergebnis zu betrachten, untersuchen man den Informationsfluss: Welche Experten werden verwendet? Konvergiert die Logik stabil oder driftet sie in chaotische Muster ab (Residual Stream Dynamics)? Über Konzepte wie die Transfer Entropy lässt sich exakt bestimmen, an welcher Stelle im Netzwerk eine Entscheidung tatsächlich gefällt wird
• Echtzeit-Diagnose & Steuerung: Das Ziel ist es, den Denkprozess während der laufenden Generierung lesbar zu machen und bei Bedarf aktiv einzugreifen. Werkzeuge wie Logit Lens machen interne Zwischenschritte sichtbar. Representation Engineering geht noch einen Schritt weiter: Durch Activation Steering werden spezifische Richtungsvektoren, etwa für absolute Faktentreue, direkt in die Berechnungen injiziert, um das gewünschte Verhalten zu erzwingen

Da APIs den Zugriff auf interne Zwischenergebnisse nicht gewähren, wird die Hoheit über dem GenAI-Stack zur Voraussetzung für mechanistische Interpretierbarkeit. Der Betrieb auf eigener oder gemieteter Hardware ist der strategische Kompromiss: CAPEX arm, aber mit voller Kontroll  und Auditierbarkeit.

Da Interpretierbarkeit Ressourcen bindet, ist Risiko-Tiering ökonomisch notwendig. Während für Tier-1 (E-Mail-Assistent) SaaS-APIs genügen und Tier-2 (Wissen) auf RAG-Attribuierung setzt, erfordern Tier-3-Szenarien (Finanzen, Compliance) wegen der vielfältigen Risiken Self-Hosting. Da solche Analysen die Hardwareanforderungen erhöhen, wird das Management zwischen Performance und Erklärungstiefe zur neuen Kernkompetenz der IT-Architektur.

Erklärbarkeit ist weniger Theorie als Architektur: IT Strategien müssen zwischen SaaS Komfort für Standardaufgaben und Eigenbetrieb für wettbewerbsrelevante Differenzierung trennen. Wo Interpretierbarkeit und Verlässlichkeit geschäftskritisch sind, liefert die Hoheit über den genAI Stack die nötige Kontrollierbarkeit. IT Betriebsstrategien sollten Geschwindigkeit und Skalierung mit Kontrolle, Nachvollziehbarkeit und Interpretierbarkeit verbinden. Das stärkt die IT Kompetenz im Unternehmen, reduziert die Abhängigkeit von SaaS Dienstleistern (Vendor Lock in) und schafft die Basis für künftige KI Konzepte; etwa die Orchestrierung von Multi Agenten Systemen aus spezialisierten Small Language Models, die Probleme präzise und transparent lösen können. Damit wird Erklärbarkeit vom regulatorischen Beiwert zum technischen Fundament stochastischer Robustheit und zum konkreten Wettbewerbsvorteil im Unternehmenseinsatz.Matthias Peter, Dr. Christoph Anders, Dr. Sebastian Herzog, KPMG/dk