UmweltBank baut eigenen KI-Agenten: per RAG-Modell, RPA und der Atruvia … statt ChatGPT-Datenabfluss

Die “Maschinenlesbarkeit“ der eigenen Organisation war die größte Herausforderung für die UmweltBank. Heute stehen die ersten proprietären KI-Agentensysteme produktiv im Einsatz: vollständig in der eigenen Infrastruktur betrieben und eng in die Kernprozesse integriert.

von Anja Kühner

Für uns ist KI kein Experiment, sondern ein strategischer Baustein. Entscheidend ist dabei die Kontrolle über unsere Daten. Deshalb betreiben wir unsere KI vollständig lokal in Deutschland, in einer geschützten, eigenen Infrastruktur.“

Dietmar von Blücher, Vorstandssprecher der UmweltBank

Ziel sei digitale Souveränität gegenüber großen US-Tech-Anbietern. Diese digitale Souveräntität sei zwingende Voraussetzung für den Einsatz von KI im Bankenbereich. Niemand würde es wollen, dass Informationen und vertrauliche Gespräche zwischen Kunden und Berater beispielsweise in ChatGPT verarbeitet werden und es zu einem unkontrollierten Datenfluss käme.

Wir haben eine abgeschottete, firewall-gesicherte Umgebung aufgebaut. Die KI arbeitet vollständig innerhalb unserer kontrollierten Systemlandschaft.“

Benjamin Schmidt, IT-Leiter Umweltbank

Die ursprüngliche Idee für die KI-Nutzung war vergleichsweise niedrigschwellig: ein unternehmensweiter Wissens-Chatbot. So startete die Umweltbank mit der sfO – der schriftlich fixierten Ordnung, also interne Prozess- und Richtliniendokumente. „Damit können die Mitarbeitenden viele Standardprozesse direkt erfragen, von Reisekostenabrechnung bis Passwort-Zurücksetzen“, erklärt von Blücher.

Schnell zeige sich die eigentliche Herausforderung: Die Sicherstellung der Datenqualität und die Auswahl der richtigen Daten. IT-Chef Schmidt erläutert: „Technisch ist es einfach, Daten an ein Sprachmodell anzubinden. Die eigentliche Arbeit besteht in deren Selektion und Strukturierung.“ Alte Versionen im Intranet, redundante Dokumente oder unstrukturierte Inhalte führten zunächst zu Fehlern und Widersprüchen. „Zu viel Historie ist genauso problematisch wie zu wenig Information“, weiß Schmidt nun.

„Das richtige Maß und die richtige Form von Informationen zu finden, war ein wichtiger Lernprozess für die Organisation – und der geht kontinuierlich weiter“, schildert von Blücher. Die KI könne mit vielen für Menschen auf den ersten Blick verständlichen Informationen nichts anfangen, beispielsweise mit einem Organigramm. Auch ein Preis-Leistungs-Verzeichnis sei für eine KI in der Regel nicht auswertbar. „Wir haben hunderte Dokumente überarbeitet, weil für die KI erkennbare Strukturen wie Spalten- und Zeilenüberschriften fehlten.“

Um die valide Grundlage für die KI sicherzustellen, kuratieren in jedem Fachbereich der UmweltBank designierte Mitarbeitende die Datenbasis für ihre jeweiligen Anwendungsfälle, sind für Input zuständig und prüfen die Ergebnisse der KI. Jeder Fachbereich legte sich Testfragen zurecht, auf die die Maschine korrekt antworten sollte. Insgesamt zwölf Monate lang testete die UmweltBank ihre KI auf Herz und Nieren, bevor sie Ende Mail live geschaltet wurde.

Doch damit war es nicht getan. Nach dem Wissenssystem folgte die nächste Ausbaustufe: die KI-gestützte Verarbeitung von Kundengesprächen.

„Die Audio-Aufzeichnung wird im Atruvia-Kernbanksystem abgelegt, dort automatisiert per Robotic Process Automation (RPA) ausgelesen und an einen KI-Agenten übergeben. Dieser transkribiert die Inhalte und fasst die Texte anschließend mithilfe eines Large Language Modells auf die Kerninhalte zusammen“, beschreibt IT-Leiter Schmidt den dahinterliegenden Prozess. „Im Detail teils herausfordernd, aber sehr elegant gelöst“ findet er es, mehrere KI-Agenten mit RPA und dem Kernbanksystem zu kombinieren. Weil die automatisierte Voice-to-text-Dokumentation nicht zeitkritisch ist, geschieht sie über Nacht. So werden Rechenkapazitäten effizient genutzt und Beraterinnen und Berater spürbar entlastet.

Eine zentrale Herausforderungen war die Verlässlichkeit. Eine 80-Prozent-Lösung reicht im Bankenumfeld natürlich nicht aus. Wir brauchen Ergebnisse mit präzisen und korrekten Quellenangaben.“

Benjamin Schmidt, IT-Leiter Umweltbank

Im Entwicklungsprozess sei es gelungen, die KI so einzustellen, dass es den „nötigen Schlupf gibt, ohne zu halluzinieren“.

„Mit dieser lokal gehosteten KI-Lösung leisten wir einen wesentlichen Beitrag zum effizienten Erreichen unserer Wachstumsziele“, sagt Vorstandschef Dietmar von Blücher. Weitere Anwendungsfälle gebe es in Hülle und Fülle, von Betrugserkennung über Marketingmodule bis Next-best-Offer. „Wir werden den KI-Lernpfad weiter gehen“, bekräftigt er.

Nvidia A100- und H100-Chips

Zum ersten bankeigenen Nvidia-Chip A100 sind inzwischen noch H100-Chips dazugekommen, um weitere Use Cases zu ermöglichen und das Ausfallrisiko zu minimieren. Diese laufen vor Ort in einem Nürnberger Rechenzentrum. Hier kam es der Umweltbank zupass, dass sie bereits seit Jahren auf die Dienste des heimischen Rechenzentrums-Anbieters Noris zurückgreift. Das Hosting für die UmweltBank laufe selbstverständlich mit 100 Prozent Ökostrom.

Seit Kurzem sind die ersten proprietären KI-Agenten aktiv und alles läuft ‚on premise‘ in Nürnberg“

Benjamin Schmidt, IT-Leiter Umweltbank

Das skalierbare agentische KI-Framework stammt von Leadvise Reply auf Basis eines RAG-Modells. Bei der Auswahl der LLM-Sprachmodelle bleibt die UmweltBank (Website) flexibel. Derzeit setzt sie mit Mistral zwar nicht auf einen deutschen, aber zumindest auf einen europäischen Anbieter. „Man kann sich von den vorherrschenden Anbietern aus den USA unabhängig aufstellen. Digitale Souveränität ist die Grundlage unserer gesamten KI-Strategie“, fasst von Blücher zusammen. „Der Einsatz von KI“, sagt er, „ist kein Projekt mehr, sondern Teil unserer Infrastruktur.“Anja Kühner