Was ist Explainable AI? … und warum ist XAI so wichtig?

Unser Vertrauen in künstliche Intelligenz (KI) hängt weitgehend davon ab, wie gut wir sie verstehen. Explainable AI oder XAI hilft, die Komplexität von KI-Modellen zu durchblicken.

von Jochen Papenbrock, Financial Technology Customer & Partner Relationship Manager EMEA bei Nvidia

Im Bankwesen hilft der Einsatz von KI bei der Entscheidung zur Vergabe von Krediten sowie zur Erkennung und Vermeidung von Betrugsfällen. Versicherungsunternehmen wiederum setzen KI für die automatisierte Bearbeitung von einfachen Schadensfällen ein.

Dies sind nur wenige Beispiele für den Einsatz von KI im Finanzdienstleistungssektor, denn die Technologie entwickelt sich immer weiter und ihre Einsatzmöglichkeiten potenzieren sich. Aber:

Die Technologie wirft oftmals noch viele Fragen auf und bietet für Dritte wenig Transparenz.”

Das führt dazu, dass Unternehmen und Regierungen, die KI und maschinelles Lernen einsetzen, zunehmend dazu gedrängt werden, den Schleier zu lüften und aufzuklären, wie ihre KI-Modelle Entscheidungen treffen.

Mithilfe von Erklärbarer KI (Explainable AI, XAI) können Unternehmen ein besseres Verständnis in der Gesellschaft dafür schaffen, wie KI-Modelle Entscheidungen treffen. KI-Modelle sind extrem komplex. So komplex und umfangreich, dass es für Menschen unmöglich ist, die genauen Berechnungen eines umfangreichen Modells vollständig nachzuvollziehen.”

Was ist Explainable AI?

Explainable AI ist für eine Reihe von Prozessen und Methoden, die es dem Menschen ermöglichen, zu verstehen, wie der Algorithmus von Punkt A (der Dateneingabe, zum Beispiel der finanziellen Historie einer Person) zu Punkt B (der Schlussfolgerung, zum Beispiel ob ein Kredit genehmigt wird oder nicht) gelangt.

Das Verständnis der erwarteten Auswirkungen des Modells und möglicher Verzerrungen in Kombination mit einer Zusammenfassung der Modellzuordnung von der Eingabe bis hin zur Ausgabe sorgt dafür, dass Anwender die von Algorithmen für maschinelles Lernen erzeugten Ergebnisse nachvollziehen und ihnen vertrauen können.

Das Konzept ist einfach, der Einsatz von XAI heute aber noch schwierig, und in einigen Fällen vielleicht noch gar nicht möglich. Das hängt maßgeblich von der Größe des Modells ab. Für Menschen ist es einfach, die Vorgänge kleiner Systeme und Algorithmen zu verstehen, bei denen sie Zusammenhänge zwischen mehreren Datenpunkten erkennen können. Allerdings sind Menschen nicht in der Lage, sehr komplexe Systeme zu verstehen, so wie es KI-Modelle können. Angenommen ein komplexes System enthält ungefähr 28 Millionen Zeilen Code: Selbst ein schneller Leser würde mehr als 3,5 Jahre benötigen, um die Menge an Informationen zu erfassen.

Einfache Systeme eignen sich jedoch nicht immer für den gewünschten Zweck, denn sie sind genau das: einfach. Komplexe Systeme bieten eine viel gründlichere Analyse mit viel höherer Leistung.”

Derzeit gibt es mehrere Möglichkeiten, XAI zu implementieren:

1. Die erste Möglichkeit besteht darin, zu dokumentieren, wie ein Algorithmus aufgebaut wurde, und die Daten, mit denen er trainiert wurde, vollständig zu erfassen. Die Daten müssen relevant für den beabsichtigten Verwendungszweck sein. Nur so kann sichergestellt werden, dass sie sachdienlich sind und es zu keinen Verzerrungen kommt.

2. Die zweite Möglichkeit besteht darin, Berechnungen transparent zu machen. Ein sehr komplexer Algorithmus, der gründliche Kenntnisse erfordert, ist weniger leicht zu verstehen als ein Algorithmus, bei dessen Entwicklung die Erklärbarkeit im Vordergrund stand.

3. Die dritte Möglichkeit liegt im Aufbau eines kontinuierlichen Zyklus erklärbarer Systeme und der Implementierung von Werkzeugen, mit denen Entwickler nachvollziehen können, wie ein Algorithmus funktioniert. Indem diese Erkenntnisse mit anderen KI-Entwicklern geteilt werden, kann schneller und einfacher eine Erklärbarkeit geschaffen werden.

Der Aufbau großer, komplexer Systeme bedeutet jedoch auch, dass XAI rechenintensiv sein kann. Insbesondere für kontinuierlich lernende Modelle, die immer größer werden, sind leistungsstarke Computing-Plattformen erforderlich.

Wie funktioniert Explainable AI?

Während die Standardisierung von XAI-Prozessen noch nicht abgeschlossen ist, müssen sich Unternehmen aus allen Branchen, die XAI einsetzen, fragen, wem sie das Modell erklären wollen, wie präzise die Erklärung sein muss und welcher Teil des Prozesses erklärungsbedürftig ist.

Um den Ursprung eines Modells zu verstehen, gilt es einige Aspekte zu klären: Wie wurde das Modell trainiert? Wie wurden die Daten verwendet? Wie wurden Verzerrungen in den Daten gemessen und abgeschwächt?

Bei diesen Fragen geht es mehr um den Prozess und das Hinterlegen von Unterlagen als um reine KI. Dies ist entscheidend, um Vertrauen in ein Modell zu schaffen.

Erläuterung des Gesamtmodells

Die meisten Erklärungen von Gesamtmodellen lassen sich einem von zwei Bereichen zuordnen.

Die erste ist eine Technik, die manchmal als „Proxy-Modell“ bezeichnet wird. Dabei handelt es sich um einfachere, leichter verständliche Modelle wie zum Beispiel Entscheidungsbäume, die das KI-Modell annähernd beschreiben können. Es können auch Proxy-Modelle aus Erklärungen vieler einzelner Entscheidungen erstellt werden. Proxy-Modelle vermitteln eher ein „Gefühl“ für das Gesamtmodell als ein wissenschaftliches, präzises Verständnis.

Der zweite Ansatz ist das „Design for interpretability“. Es führt dazu, dass der Entwurf und das Training eines KI-Modells aus kleineren, einfacheren Teilen aufgebaut wird. Dies ermöglicht die Realisierung von Modellen, die zwar immer noch leistungsfähig sind, deren „Verhalten“ aber viel leichter zu erklären ist.

Warum XAI Einzelentscheidungen am besten erklären kann

Derzeit ist der am leichtesten zu verstehende Bereich von XAI die individuelle Entscheidungsfindung, zum Beispiel warum einer Person ein Kredit nicht bewilligt wurde.

Einige Techniken wie LIME oder SHAP, die in Kombination mit anderen XAI-Methoden eingesetzt werden, bieten sehr sachliche mathematische Antworten auf Fragen wie diese und können Datenwissenschaftlern, Managern, Regulierungsbehörden oder Verbrauchern gleichermaßen vorgelegt werden.

Im Rahmen eines Anwendungsfalls wie Explainable Machine Learning im Kreditrisikomanagement werden beispielsweise SHAP-Werte verwendet, um die wichtigsten Variablen für die Entscheidungsfindung im Kreditrisikomanagement zu ermitteln.

Durch die Analyse und Gruppierung der zu erklärenden Daten von Portfoliobestandteilen in Clustern mit sehr ähnlichen Daten ist es möglich, ein tieferes Verständnis für die innere Funktionsweise eines trainierten Modells zu erhalten.”

Mit der SHAP-Methode werden die variablen Beiträge zur Wahrscheinlichkeit des Prognoseergebnisses aufgeschlüsselt. Jeder Datenpunkt (d.h. ein Kredit- oder Darlehenskunde in einem Portfolio) wird nicht nur durch die Eingangsmerkmale dargestellt, sondern auch durch die Beiträge dieser Eingangsmerkmale. Sie dienen der Vorhersagbarkeit eines maschinellen Lernmodells.

Auf diese Weise können Segmentierungen von Datenpunkten (Kunden) überall dort aufgedeckt werden, wo jedes dieser Cluster sehr ähnliche Entscheidungskriterien aufweist, die nicht nur rein auf ihren Eingabevariablen basieren. Die Cluster fassen die Mechanik des maschinellen Lernmodells zusammen und stellen die Art und Weise dar, wie das Modell Entscheidungen trifft. So erhalten Nutzer ein besseres Verständnis davon, was das Modell gelernt hat, um seine Entscheidung zu überprüfen.

Die Cluster können auch Trends, Anomalien, Hot Spots, emergente Effekte und Kipppunkte in den Daten aufzeigen. Sie alle können analysiert werden und für Nachvollziehbarkeit sorgen.”

Vorhersage von Performance mit XAI

Munich Re, einer der weltweit führenden Anbieter von Rückversicherungs-, Erstversicherungs- und versicherungsbezogenen Risikolösungen, hat einen XAI-Ansatz entwickelt, um die Robustheit der Diversifizierung zu analysieren, die sich aus verschiedenen Portfolioallokationsmethoden ergibt.

Im Rahmen dieses Ansatzes nutzt das Unternehmen zwei Allokationsmethoden, Hierarchical Risk Parity (HRP) und Equal Risk Contribution (ERC), um Beispielmarktdaten zu generieren und um zu messen, wie stark HRP ERC übertrifft. Mithilfe einer Block-Bootstrap-Methode werden 100.000 Szenarien generiert, wobei die Korrelationsstrukturen erhalten bleiben.

Dieser Ansatz hilft dabei, Hypothesen zu testen und besser zu verstehen, welche Eigenschaften eines Portfolios tatsächlich relevant sind, und zu ermitteln, welche Faktoren die Performancequalität des Portfolios bestimmen. So wird eine robustere und intelligentere Vermögensallokation ermöglicht.

Durch den Einsatz von maschinellem Lernen lassen sich die Zusammenhänge zwischen den Eigenschaften in jedem Szenario und der Outperformance aufdecken.

Das Programm lernt, welche Szenarien zu einer Outperformance führen und welche spezifischen Eigenschaften diese Szenarien haben.”

So lässt sich feststellen, in welcher Marktordnung/Zuständen es vorteilhaft wäre, die HRP-Allokationsmethode anzuwenden.

Die Entwicklung dieses Systems ermöglichte es Munich Re, schnell zu erkennen, in welchen Situationen bestimmte Allokationsmethoden wie HRP besser abschneiden als andere. Mit diesem Wissen können sie robuste Anlagestrategien für das anspruchsvolle Ziel des Altersvorsorgesparens erstellen.

Die Zukunft von Explainable AI

Branchen und Regierungen auf der ganzen Welt versuchen bereits, aktualisierte Leitlinien für XAI einzuführen. Es gibt noch keinen Standard, und die Anforderungen an den Output variieren je nach Modell, Risikostufe, Daten und Kontext, der verstanden werden muss.

Auch wenn die Diskussion über die Umsetzung noch nicht abgeschlossen ist, kann XAI zum Verständnis der Modellergebnisse verwendet werden und ist Teil einer umfassenderen Praxis des KI-gestützten Risikomanagements. Letztlich kann dies zu mehr Vertrauen in KI und damit zu einer breiteren Akzeptanz und einer besseren Einbeziehung und Zugänglichkeit führen.Jochen Papenbrock, Nvidia