XAI – Explainable AI: Wissen was die KI wirklich macht – so bleibt künstliche Intelligenz erklärbar

Mit dem zunehmenden Einsatz künstlicher Intelligenz (KI) und der wachsenden Lernfähigkeit der Lösungen steigt das Risiko, dass die Systeme irgendwann mehr wissen als ihre Entwickler und fachlichen Trainer und die Banken die Entscheidungen ihrer Technologie nicht mehr nachzuvollziehen können. Der Bedarf für eine Art Erklärtechnik für KI-Systeme steigt auch im Hinblick auf mögliche neue regulatorische Anforderungen. Die Lösung heißt: XAI – “Explainable AI”. 

von Martin Stolberg und Claudio Ceccotti von Sopra Steria Consulting 

Banken setzen verstärkt auf KI, beispielsweise um Kunden bei der Vermögensbildung zu beraten. Ein anderes Feld ist die Automatisierung von Compliance-Prozessen. Geldwäsche, Kreditkartenbetrug und andere betrügerische Transaktionen sollen mit KI besser und effizienter zu erkennen sein.

Die Anforderungen werden hier komplexer: Gemäß MaRisk und MiFID II reicht es beispielsweise nicht, dass Banken tatsächlichen Betrug bei Wertpapiergeschäften aufspüren. Die Institute sollen die Kommunikation auch nach Absichten für Marktmanipulationen absuchen – beispielsweise nach Anzeichen für Insidergeschäfte.

KI-Systeme sind hier beim Analysieren riesiger Datenmengen eine wirksame Hilfe. Wichtig ist allerdings, dass der Mensch immer zurückverfolgen kann, wie der Kollege Cobot oder die selbstlernenden Systeme im Hintergrund zu ihren Entscheidungen und Empfehlungen kommen.”

Wenn die Institute heute künstliche Intelligenz anlernen, beispielsweise für den Einsatz in der Wertpapierberatung als Robo Advisor oder bei Kontoeröffnung zur Einhaltung des KYC-Verfahrens, fehlen bislang Mechanismen, mit denen die Ergebnisse nachvollziehbar sind. Das ist bei den immer „schlaueren“ und verstärkt selbstlernenden Systemen nicht trivial. Neuronale Netzwerke bestehen beispielsweise aus Millionen von Neuronen, die über Abermillionen von Verbindungen verknüpft sind. Dieses  KI-System wird über einen längeren Zeitraum trainiert, so dass sich am Ende die gewünschte Zuordnung von Ein- und Ausgabe ergibt.

Das Risiko bei derartig komplexen Rechenmaschinen besteht darin, dass Kunden oder auch der Bankmitarbeiter nach einer Beratung oder Entscheidung mit einer Reihe von Fragen zurückbleiben, auf die Banken keine Antwort wissen:

„Warum hast Du mir damals diese Aktie empfohlen?“
„Warum wurde diese Person als Kunde abgelehnt?“
„Wie stuft die Maschine diese Transaktion als Terrorfinanzierung oder Geldwäscheversuch ein?“

Für Banken ist es essentiell, dass sie für all diese Fragen immer eine Antwort parat haben.

Besonders heikel wird es bei der Prüfung von Finanzströmen auf Geldwäsche und Terrorfinanzierung. Hier kann das Resultat einer KI-Empfehlung eine strafrechtliche Verfolgung sein, und diese Art Entscheidung darf in keinem Fall aus einem vollautomatisierten Prozess hervorgehen. Aber auch beim Beispiel Robo Advisory hat ein Kunde das Recht zu erfahren, weshalb das empfohlene Investment zum damaligen Zeitpunkt als besonders lukrativ bewertet wurde und sich die gewünschten Renditeaussichten nicht erfüllt haben.

XAI – das Vier-Augen-Prinzip für KI-Systeme

Die Nachvollziehbarkeit von KI rückt damit in den Fokus sämtlicher Unternehmen, die künstliche Intelligenz und vor allem komplexe lernende Systeme einsetzen.

KI-Entscheidungen jederzeit zurückzuverfolgen zu können, ist unter dem Stichwort Explainable AI (XAI) bekannt.”

Es gibt beispielsweise in den USA die DARPA, eine Agentur des Verteidigungsministeriums, die an entsprechenden Modellen forscht, um KI-Entscheidungen transparent zu machen. Beim Thema XAI geht es darum, zwischen dem Lernprozess von KI-Lösungen und dem späteren Einsatzgebiet – zum Beispiel Prüfung auf Geldwäscheverdacht oder Prüfung der Kreditwürdigkeit – eine Art logisches Quality Gate zu schalten, das den Weg zur Lösung gleich mitliefert.

Im Falle von neuronalen Netzen muss das Quality Gate bereits fest im Modell verankert sein. Denn oftmals wird es nicht möglich sein, Ergebnisse im Nachgang zu prüfen. Sehr simpel dargestellt: Wenn eine Bank auf Grundlage aller vorliegenden Eigenschaften eines Kunden ein Modell trainiert, dass vorhersagt, ob die Person an einem Hochrisikoinvestment mit hoher Renditechance oder einer sichereren Anlage mit geringeren Renditeaussichten interessiert ist, gibt es am Prozessende ein klares, binäres Ergebnis. Die Bank kann diese Einstufung in risikofreudig oder risikoavers im Nachgang allerdings nicht erklären, da das Institut nicht weiß, welche kombinierten Eigenschaften dieser konkreten Person ausschlaggebend für das Ergebnis waren.

Wenn sich die Bank allerdings von dem eingesetzten KI-Algorithmus verschiedene Parameter berechnen lässt, die einem Menschen die Entscheidung erleichtern – zum Beispiel „Wie impulsiv ist die Person?“, „Zu welcher Einkommensklasse gehört die Person? und „Wie stark variiert ihr monatliches Zahlungsverhalten? – haben die Fachabteilung oder die Revision im Nachhinein die Möglichkeit, eine Entscheidung gegenüber Dritten plausibel zu erklären.

Es findet praktisch ein Abgleich zwischen der KI-Entscheidung und dem menschlichen Handeln statt.”

Spagat aus Performance und Erklärbarkeit schaffen

Die Banken benötigen hierfür ein Erklärmodell mit Entscheidungsparametern und ein Interface, das die Erklärungen transparent macht. Dieses so genannte Explanation Framework sollte in den Gesamtprozess zwischen dem Training der KI-Systeme und der zu erfüllenden Aufgabe integriert werden. Zu Visualisierung von Machine-Learning-Daten gibt es Tools und Plugins. Sie vereinfachen den Prozess.

Eine Herausforderung bei der Umsetzung besteht darin, dass die Banken eine Balance aus Performance und Erklärbarkeit erreichen. Denn die Erklärbarkeit kann je nach Komplexität des eingesetzten Modells unter Umständen stark leiden, da die künstliche Intelligenz von der binären Klassifizierung abweicht und sich der Sachverhalt aus KI-Sicht „unnötig“ verkompliziert. Ziel künftiger XAI-Systeme wird es sein, Performance und Erklärbarkeit auf ein hohes Niveau zu bringen.

Herr über KI-Entscheidungen bleiben

Es ist anzunehmen, dass die Bankenaufsicht zukünftig das Thema KI und Compliance stärker ins Visier nimmt. Denkbar sind Strafen, wenn Institute aufgrund fehlender Dokumentation und Nachvollziehbarkeit in automatisierten Prozessen nicht mehr im Stande sind, monetäre Schäden zu bewerten.”

Je mehr Banken somit künstliche Intelligenz im Geschäftsbetrieb nutzen und je stärker selbstlernende Lösungen zu Einsatz kommen, desto wichtiger wird es, die Erklärbarkeit maschineller Entscheidungen und Empfehlungen sicherzustellen.aj