KI-Agenten: „Es braucht klare Rollen, Verantwortlichkeiten und Eskalationspfade“

Interview: David Wolf

Herr Baldauf, in einer Pressemeldung Ihres Unternehmens vom 27.10.2025 unter dem Betreff „Stoppt den Agenten-Horror!” heißt es, KI-Agenten müsse man „an die Kette legen”. Was ist damit gemeint?

Gerade im regulierten Bankensektor, wo Compliance und Nachvollziehbarkeit entscheidend sind, ist es unerlässlich, dass KI-Agenten in einen strukturierten Prozessrahmen eingebunden werden. Die „Kette“ symbolisiert diesen Rahmen.

Sie sagen, schon kleine Unterschiede bei Eingaben könnten zu unterschiedlichen Entscheidungen der KI führen und so Kunden ungleich behandelt werden. Bitte verdeutlichen Sie das anhand eines Beispiels aus der Finanzbranche.

Wenn ein Kunde bei einem Kreditantrag schreibt „Ich benötige 50.000 Euro für die Modernisierung meines Hauses“ und ein anderer formuliert „Ich brauche 50.000 EUR zur Renovierung meiner Immobilie“, können agentenbasierte KI-Systeme aufgrund der unterschiedlichen Formulierungen zu verschiedenen Risikoeinschätzungen kommen und dadurch unterschiedliche Prozesse starten.

Der erste Kunde könnte aufgrund der Wortwahl „benötige“ als finanziell angespannter eingestuft werden als der zweite mit „brauche“, obwohl beide denselben Sachverhalt beschreiben. Diese Inkonsistenz führt dazu, dass vergleichbare Kunden unterschiedliche Konditionen oder Bewilligungen erhalten. Ein klarer Verstoß gegen das Gleichbehandlungsgebot.

Deep-Learning-Modelle scheiden für kritische Anwendungsfälle aus, weil sie von Natur aus intransparent sind.”

Die BaFin achtet schon heute auf ungerechtfertigte Diskriminierung im Kontext von KI und fordert die Einhaltung von Governance-Prozessen. Welche Rolle spielt eine „Explainable KI” dabei?

Die BaFin fordert im Rahmen ihrer MaRisk-Vorgaben und der laufenden Umsetzung des EU AI Acts, dass KI-basierte Entscheidungen nachvollziehbar und begründbar sein müssen. Insbesondere, wenn sie rechtliche Wirkungen für Kunden haben oder diese erheblich beeinträchtigen.

Eine Explainable AI, kurz XAI, ist eine Künstliche Intelligenz, deren Entscheidungslogik transparent ist. Sie dokumentiert, welche Faktoren sie für eine bestimmte Kreditentscheidung oder Risikobewertung herangezogen hat. Deep-Learning-Modelle scheiden dadurch für kritische Anwendungsfälle aus, weil sie von Natur aus intransparent sind.

Michael Baldauf, Pegasystems

Michael Baldauf ist Industry Principal Financial Services Senior Director bei Pegasystems (Website). Als Fit & Proper zertifizierter Banker arbeitete er zehn Jahre als Transformationsmanager in einer genossenschaftlichen Bankengruppe. Davor war er 18 Jahre als Management Consultant in diversen Geschäftsleistungen sowie Delivery Director Banking für EMEA Central Region tätig. Er lehrt Prozessmanagement, Unternehmensentwicklung sowie Digitalisierung von Bankprozessen an diversen Hochschulen.

Manche Banken wollen im Hinblick auf „Explainable KI” ihr eigenes LLM etablieren und die Daten auf eigenen Servern vorhalten. Wie stehen Sie zu „Bring-Your-Own-LLM”?

Hinsichtlich Datensouveränität, Compliance und Explainability ist dieser Wunsch absolut nachvollziehbar. Eigene LLMs geben Banken volle Kontrolle über Trainingsdaten, Modellverhalten und Entscheidungslogik. Dadurch erleichtern sie es ihnen, die Vorgaben der DSGVO und der BaFin zu erfüllen.

Allerdings ist dieser Ansatz auch mit erheblichem Aufwand verbunden. Der Betrieb erfordert spezialisierte KI-Expertise, massive Rechenkapazitäten und kontinuierliches Training sowie Monitoring der Modelle.

Ich finde einen hybriden Ansatz oft am sinnvollsten: Die Kombination bewährter und zertifizierter LLMs für standardisierte Aufgaben in sicheren Cloud-Umgebungen mit eigenen, spezialisierten Modellen für besonders sensible oder bankspezifische Anwendungsfälle.

Sie warnen auch vor einer Prozess-Variabilität, das heißt, dass KI-Agenten Prozesse mitunter in unterschiedlicher Reihenfolge durchlaufen. Was sind die technischen Ursachen dafür und wie lässt sich das technisch lösen?

Die Prozess-Variabilität hat ihre Wurzel in der probabilistischen Natur von Large Language Models. Sie arbeiten nicht deterministisch wie klassische Software, sondern generieren Antworten basierend auf Wahrscheinlichkeiten. Dadurch können selbst bei identischen Eingaben unterschiedliche Ausgaben entstehen.

LLMs reagieren hochsensibel auf kleinste Unterschiede im Kontext, in der Formulierung oder sogar in der Reihenfolge der Informationen. Schon minimale Unterschiede führen zu neuen Wahrscheinlichkeitsmustern. Das wiederum kann zu divergierenden Interpretationen und Entscheidungspfaden führen.

Technisch lässt sich das durch eine strikte Prozessorchestrierung mittels Case-Management-Systemen lösen. Diese bindet die KI-Agenten als ausführende Komponenten in fest definierte Workflows ein und steuert und protokolliert explizit jeden Prozessschritt.

Wenn Prozesse durch KI-Agenten nicht ordnungsgemäß ausgeführt werden, kann das zu finanziellen Verlusten, Reputationsschäden und Kundenabwanderung führen.”

Welche negativen Auswirkungen hat diese Prozess-Variabilität für Kreditinstitute, die schon heute mit KI-Agenten arbeiten?

Sie führt zu massiven Compliance-Risiken. Wenn Kreditprozesse jedes Mal anders ablaufen und Compliance-Prüfungen nur sporadisch stattfinden, sind Banken bei Audits durch die BaFin oder die interne Revision nicht in der Lage, die ordnungsgemäße Prozessausführung nachzuweisen. Das kann zu erheblichen Sanktionen, Geschäftseinschränkungen oder im Extremfall zum Verbot bestimmter KI-Anwendungen führen.

Darüber hinaus entstehen operative Risiken durch inkonsistente Kundenbehandlung, fehlerhafte Bonitätsprüfungen oder unvollständige Dokumentation. Dies kann zu finanziellen Verlusten, Reputationsschäden und Kundenabwanderung führen. Um eine ordnungsgemäße Prozessausführung zu gewährleisten, geben wir ja auch hochqualifizierten menschlichen Experten die Prozesse vor. Das ist auch bei KI-Agenten erforderlich.

Als Lösung schlagen Sie ein zentrales Prozessmodell vor, das die korrekte Abfolge sämtlicher Schritte sicherstellt. Wie sieht das in der Praxis aus?

Ein zentrales Prozessmodell basiert typischerweise auf einer Enterprise-Case-Management-Plattform. Diese fungiert als übergeordnete Orchestrierungsschicht und definiert alle Prozessschritte, Entscheidungsregeln, Datenflüsse, Zusatzsysteme und Zuständigkeiten zentral.

In der Praxis wird beispielsweise ein Kreditantragsprozess als strukturierter Case modelliert, der fest definierte Phasen durchläuft: Antragsprüfung, Bonitätsanalyse, Risikobewertung, Compliance-Check, Genehmigung und Auszahlung. KI-Agenten werden dabei als spezialisierte Dienste in diesen Prozess integriert. Etwa ein Agent für die Dokumentenanalyse und einer für die Bonitätsprüfung. Sie führen nur die ihnen zugewiesenen Aufgaben aus.

So ist sichergestellt, dass kein Schritt übersprungen wird, alle Entscheidungen protokolliert werden und bei Abweichungen oder Fehlern definierte Eskalationswege greifen. Die Prozesse sind transparent, konsistent und vollständig auditierbar.

Banken sollten jedem KI-Agenten, analog zu menschlichen Benutzern, eine eindeutige digitale Identität zuweisen. Mit spezifischen Zugriffsrechten und Autorisierungsprofilen.”

KI-Agenten sind keine passiven Tools, sondern aktive digitale Entitäten. Sicherheitsexperten sagen, sie sollten deshalb wie menschliche Benutzer behandelt werden. Haben Sie das in Ihrem Unternehmen auf dem Radar und wie setzen Sie es sicherheitstechnisch um?

Die Behandlung von KI-Agenten als eigenständige digitale Identitäten ist ein entscheidender Sicherheitsaspekt. Ihn müssen Banken im Rahmen ihrer Identity-and-Access-Management-Strategie adressieren. Sie sollten, jedem KI-Agenten, analog zu menschlichen Benutzern, eine eindeutige digitale Identität zuweisen. Mit spezifischen Zugriffsrechten und Autorisierungsprofilen.

Diese Identitäten müssen in zentralen IAM-Systemen mit vollständiger Protokollierung aller Aktionen, dem Prinzip der geringsten Privilegien und regelmäßigen Re-Zertifizierungen verwaltet werden. Moderne Zero-Trust-Architekturen erweitern dies um kontinuierliche Verhaltensanalysen. Sie überwachen KI-Agenten permanent auf anomale Aktivitätsmuster und lösen automatisch Sicherheitsmaßnahmen aus. Diese reichen von zusätzlichen Authentifizierungsschritten bis zur temporären Sperrung.

Wie sollte eine Anleitung für verschiedene KI-Agenten aussehen, damit sie sicher und regelkonform zusammenarbeiten?

Die Anleitung muss mehrere Ebenen abdecken. Dazu zählt eine klare Rollendefinition mit präzisen Aufgabenbeschreibungen, Verantwortlichkeiten und Eskalationspfaden für jeden Agenten. Zudem sind strikte Daten-Governance-Regeln erforderlich: Auf welche Daten darf jeder Agent zugreifen? Wie werden Daten zwischen Agenten ausgetauscht? Welche Verschlüsselungs- und Anonymisierungs-Standards gelten dabei?

Darüber hinaus braucht es eine Kommunikations-Architektur. Sie definiert, wie Agenten miteinander interagieren, etwa über standardisierte APIs mit authentifizierten Verbindungen oder Nachrichten-Warteschlangen mit Integritätsprüfungen und expliziten Übergabepunkten im Prozess.

Zuletzt sind umfassende Monitoring- und Audit-Mechanismen nötig. Sie protokollieren jeden Schritt der Agenten, erkennen Anomalien und lösen im Fehlerfall automatische Rollback-Prozeduren aus, um die Integrität des Gesamtprozesses zu gewährleisten. Da diese Voraussetzungen derzeit in den meisten Fällen noch nicht existieren, kommen KI-Agenten bislang vor allem als Support für menschliche Nutzer zum Einsatz.

Die Latenz aktueller LLMs stellt eine erhebliche Herausforderung für den Echtzeit-Zahlungsverkehr dar. Typische LLM-Inferenzen benötigen, je nach Modellgröße und Komplexität, mehrere Sekunden bis Minuten.”

Eine Möglichkeit, KI-Agenten „an die Kette zu legen”, ist eine KI-Governance. Wie sollte diese bezüglich technischer Standards ausgestaltet sein?

Eine solide KI-Governance benötigt mehrere technische Standardkomponenten:

1. Ein zentrales IAM-System, das jeder KI-Entität eindeutige Identitäten, Rollen und granulare Zugriffsrechte zuweist; gekoppelt mit Multi-Faktor-Authentifizierung und automatischen Re-Zertifizierungsprozessen.
2. Ein „Agentic Fabric“, also ein Infrastruktur-Layer; dieser stellt sicher, dass Agenten regelkonform und kontrolliert agieren.
3. Eine umfassende Logging- und Audit-Trail-Infrastruktur, die alle KI-Entscheidungen, Datenzugriffe und Systeminteraktionen unveränderbar protokolliert und für Compliance-Nachweise bereithält.
4. Ein Process-Mining- und Monitoring-System mit Process AI, das in Echtzeit die Prozessausführung überwacht und optimiert, Abweichungen vom Soll-Prozess erkennt und automatische Alerts generiert.
5. Eine Model-Governance-Plattform für das Management von Modellversionen, Training-Daten, Performance-Metriken und Bias-Tests; kombiniert mit einer Compliance-Engine, die regulatorische Anforderungen durch DSGVO, EU AI Act, MaRisk oder BAIT kontinuierlich prüft und durchsetzt.

Erst kürzlich hat PayPal eine neue KI-Plattform angekündigt, über die digitale Assistenten eigenständig Käufe für Nutzer tätigen. Stichwort Latenz bei LLMs: Sind KI-Agenten überhaupt in der Lage, Echtzeitüberweisungen zu tätigen?

Die Latenz aktueller LLMs stellt tatsächlich eine erhebliche Herausforderung für den Echtzeit-Zahlungsverkehr dar. Während Instant-Payment-Systeme wie SEPA Instant Credit Transfer eine maximale Transaktionsdauer von zehn Sekunden fordern, benötigen typische LLM-Inferenzen, je nach Modellgröße und Komplexität, mehrere Sekunden bis Minuten.

Für autonome Kaufentscheidungen und Überweisungen, wie sie PayPal mit ihrer neuen KI-Plattform plant, sind jedoch nicht die LLMs selbst die begrenzende Komponente, sondern die Entscheidungsvorbereitung: Das LLM analysiert Nutzerverhalten, Kaufhistorie und Präferenzen im Vorfeld und erstellt vorbereitete Entscheidungsprofile. Die eigentliche Zahlungsausführung erfolgt dann durch spezialisierte, hochoptimierte Zahlungssysteme, die in Millisekunden reagieren können.

Die schnellste Lösung bietet eine Hybrid-Architektur: LLMs für intelligente Analyse und Entscheidungsvorbereitung, ein Decision-Hub, der mit Predicitve Analytics Kaufentscheidungen in 200 Millisekunden treffen kann, und ein deterministisches, latenzoptimiertes System für die zeitkritische Transaktionsabwicklung.

Vielen Dank für das Gespräch, Herr Baldauf.dw

 
Sie finden diesen Artikel im Internet auf der Website:
https://itfm.link/235514

• teilen 
• teilen 
• teilen 
• teilen 
• teilen 
• RSS-feed 
• E-Mail 
• drucken