Explainable AI bei ING: „Ethik ist kein nice-to-have“

Schwerpunkt: Agentic, explainable & poisened AI

Der Begriff Explainable AI (XAI) beschreibt Systeme, die nicht nur Entscheidungen treffen, sondern diese auch nachvollziehbar und verständlich machen. Fabian Stahl, AI Regulatory Officer, Fabian Stahl bei der ING und Johanna Biedinger, Tribe Lead Analytics ebenfalls ING, geben Einblick wie die Bank bei Explainble AI Governance berücksichtigt und welche Tools sie hierbei nutzt.

Angesichts der komplexen Algorithmen, die im Finanzwesen eingesetzt werden, ist es entscheidend, dass alle Beteiligten – von den Finanzmanagern bis hin zu den Kunden – die Grundlage einer Entscheidung nachvollziehen können. Diese Transparenz ist nicht nur aus ethischen Gründen notwendig, sondern auch, um das Vertrauen in KI-gestützte Systeme zu stärken.

Frau Biedinger, Herr Stahl, Banken und Versicherungen haben ihre Governance-Prozesse auch in Bezug auf KI/ML angepasst und ergänzt, um ungerechtfertigte Diskriminierung im Kontext von KI/ML aufsichtsrechtlich zu adressieren.  Wie sind Sie hier mit Blick auf Explainable AI vorgegangen und auf was haben Sie besonderen Wert gelegt?

Fabian Stahl: Bevor KI- und ML-Anwendungen bei der ING in den produktiven Betrieb gehen, wird eine Vielzahl an Aspekten in einem verpflichtenden Regelprozess untersucht. Zwei dieser Aspekte sind, neben den Anforderungen des EU AI Acts, Datenschutz und Datenethik. Der Datenschutz überprüft hierbei die Zulässigkeit der Verarbeitung unter geltenden Vorschriften und Gesetzen wie DSGVO und BDSG aber auch die Übereinstimmung mit internen Richtlinien und Vorgaben.

Sollte diese Prüfung die Erlaubnis der Verarbeitung bestätigen stellt die Datenethik die Frage, ob das zulässige Verhalten auch ethisch korrekt ist und mit den Werten der ING übereinstimmt. Hierzu gibt es eigenes Gremium mit Vertretern aus dem Senior Management und Risikofunktionen, welche diese Frage kritisch prüfen. Die Ethik ist hierbei kein nice-to-have sondern ein verpflichtendes Quality Gate, ohne das keine Freigabe erfolgt.

Finanzdienstleister müssen eine ungerechtfertigte Diskriminierung ihrer Kunden durch den Einsatz von KI/ML vermeiden. Die Unternehmen müssen dazu Überprüfungsprozesse einrichten, um mögliche Diskriminierungsquellen zu identifizieren und Maßnahmen zu deren Beseitigung zu ergreifen. Dabei sind die Grenzen bestehender Verfahren zur Vermeidung ungewollter Diskriminierung zu beachten. Wie stellen Sie sicher, dass es zu keiner ungerechtfertigten Diskriminierung kommt? Auf welche Tools setzen Sie?

Fabian Stahl: Die Quelle von ungewollt diskriminierendem Verhalten in der KI sind oftmals Trainingsdaten, welche einen Bias enthalten, und somit zu einem verzerrten Trainingserfolg führen. Um dies zu verhindern hat die ING mit Blick auf  Explainable AI interne Richtlinien und Arbeitsanweisungen, welche beim Training von KI-Modellen befolgt werden müssen, um Bias so weit wie möglich auszuschließen. Bevor so trainierte Modelle in den produktiven Betrieb gehen, erfolgen umfangreiche Tests, auch unter Live-Bedingungen und mit einer signifikanten Anzahl an Testern, um mögliches Fehlverhalten aufzudecken. Unterstützt werden diese organisatorischen Maßnahmen durch technische.

Die zentrale Ana­ly­tics-Platt­form der ING bie­tet ver­schie­de­ne Mo­ni­to­ring-Lö­sun­gen, um im lau­fen­den Be­trieb von ML-Mo­del­len Ver­schlech­te­run­gen bzw. Fehl­ent­wick­lun­gen in der Da­ten­ba­sis au­to­ma­tisch zu er­ken­nen und ggf. zu korrigieren.“

Zur Überwachung von GenAI-Modellen werden darüber hinaus Labeling Tools eingesetzt. Mit solchen Tools werden durch einen menschlichen Sachverständigen unangemessene oder falsche Inhalte gekennzeichnet. Diese Informationen werden in die Modelle eingespeist, um solches Fehlverhalten in Zukunft zu vermeiden.

Modellprüfer der Finanzdienstleister halten üblicherweise Feedbackschleifen mit KI-Systemen, um sie hinsichtlich Genauigkeit und Zuverlässigkeit zu verbessern. Was sind hier die kritischsten Bereiche bzw. zu welchen Schwächen kommt es am ehesten?

Johanna Biedinger: Eine der größten Schwachstellen bei KI-Systemen ist die Datenqualität, denn die hinter den KI-Systemen liegenden Modelle können nur so gut sein, wie es die zu Grunde liegenden Daten zulassen. Fehlerhafte oder manipulierte, aber auch unpassende Daten können gravierende Fehlentscheidungen verursachen. Unter anderem sollen Feedbackschleifen diese Schwachstellen in KI-Modellen aufdecken. Diese Feedbackschleifen kommen im Rahmen vom Model-Monitoring zum Tragen und triggern ein Model-Update, wenn nötig. Die ING verfügt über interne Richtlinien, die die Implementierung von kontinuierlichen Überwachungssystemen für KI-Lösungen vorschreiben, einschließlich Anforderungen dazu, wie häufig Modelle erneut validiert und neu trainiert werden müssen.

Im KI/ML-Sprachgebrauch werden solche Fragen zu Diskriminierung oft unter dem Terminus Fairness zusammengefasst. Dieser Fairness-Begriff umfasst drei wichtige Aspekte.

• Erstens Algorithmische Fairness. Hier soll das Design des Algorithmus sicherstellen, dass Personen und Personengruppen gleichförmig behandelt werden. Häufig geschieht dies durch quantitative Verfahren, im einfachsten Fall etwa durch den Vergleich der Anteile positiver Kreditentscheidungen gegenüber Frauen mit dem Anteil positiver Entscheidungen gegenüber Männern. Solch ein statistischer Ansatz, der auf Eigenschaften von Personengruppen abstellt, ist jedoch grundsätzlich nicht dazu geeignet, individuelle Diskriminierung zu identifizieren. Daher sind je nach Einzelfall geeignete weitergehende Maßnahmen erforderlich.
• Der zweite Aspekt des hier genutzten Fairness-Begriffes ist Diskriminierung im rechtlichen Sinne. Sie unterscheidet sich je nach nationaler Jurisdiktion. Wann eine gesetzlich (nicht) erlaubte Ungleichbehandlung vorliegt, ist beispielsweise in Deutschland zivilrechtlich im Allgemeinen Gleichbehandlungsgesetz (§§ 19 und 20 AGG) geregelt. Dort sind auch die geschützten Eigenschaften definiert (siehe auch Infokasten „Geschützte Eigenschaften“).
• Drittens umfasst Fairness auch den Aspekt „Bias“, was auf Deutsch so viel wie Vorurteil oder Einseitigkeit bedeutet. Die deutsche Aufsicht beschreibt einen Bias in dem 2021 veröffentlichten Beitrag „Big Data und künstliche Intelligenz: Prinzipien für den Einsatz von Algorithmen in Entscheidungsprozessen“ als systematische Verzerrung von Ergebnissen. Der Begriff Bias ist vielschichtig und bezieht sich im einfachsten Fall auf den Datensatz, der als Grundlage für das „Training“ bzw. das Anlernen des Algorithmus dient. Es kann in der Praxis passieren, dass dieser Trainingsdatensatz bestimmte Kundengruppen nicht enthält, zum Beispiel alleinstehende Frauen.

Vertrauen bildet die Basis für die Akzeptanz neuer Technologien – das gilt auch für Explainable AI – und trägt entscheidend dazu bei, dass diese erfolgreich implementiert werden.

Frau Biedinger, Herr Stahl, vielen Dank für das Interview. dk