KI scheitert nicht am Modell. Sondern am Rest – der FI‑Praxisbericht zum S‑KIPilot

Die stärkste Architektur­entscheidung beim S-KIPilot war zugleich die unsichtbare, um den größten KI-Rollout in Europa zum Erfolg zu führen. Die Festlegung auf NVIDIA-Hardware als Marktstandard schuf die Grundlage für echte Modelloffenheit unei einer Nutzeranfrage durchsuchd damit für eine souveräne KI-Plattform, die mit dem Open-Source-Markt und angebundenen Wissensquellen und Prozessen wächst, statt an einzelne Modelle gebunden zu sein.

von Thorsten Bambey, Head of AI Applications Finanz Informatik

Die Entwicklung des S-KIPilot zeigt, welche Architektur­entscheidungen notwendig werden, wenn generative KI als produktive Plattform im Bankenumfeld zum Einsatz kommt.

Am Anfang stand die zentrale Entscheidung der FI, Generative KI nicht aus der Cloud zu beziehen, sondern auf Basis von Open-Source-Modellen in einer eigens dafür errichteten Infrastruktur (KI-Plattform) zu betreiben.“

In der ersten Ausbaustufe wurden grundlegende generative Funktionalitäten auf Grundlage von Mistral 8x22b implementiert: Textgenerierung, Zusammenfassung, Übersetzung sowie die Verarbeitung hochgeladener (vertraulicher) Dokumente. Mit der Wahl des Sprachmodells war allerdings nur ein Teil der Aufgabe gelöst. Ein Modell kennt weder Sparkassenprozesse noch internes Fachwissen. Antworten bleiben zwangsläufig generisch, solange die notwendigen Wissensquellen fehlen.

Zugriff auf internes Fachwissen

Um Inhalte für Large Language Modelle nutzbar zu machen, benötigte es in logischer Konsequenz deshalb die Anbindung von internem Fachwissen, das Anbietern von Cloud-KI schlicht nicht zur Verfügung steht. Mit der Integration von PPS_neo, dem zentralen Prozesssystem der Sparkassen, sowie des Intranets ((ICM) und Office_neo:Teamroom) wurde aus dem vortrainierten Sprachmodell ein System, das zu sparkassenspezifischen Inhalten Antworten liefern und Mitarbeitende gezielt im Arbeitsalltag unterstützen kann.

Technisch basiert das auf dem Prinzip des Retrieval Augmentet Generation (RAG): Inhalt aus den angebundenen Quellen werden gecrawled, gechunked und am Ende in einer Vektoren-Datenbank gespeichert.“

Hier kommt Elastic Search zum Einsatz, in der die einzelnen Vektoren des internen Wissens indexiert gespeichert sind. Pro einzelnen Mandanten stehen so typischerweise rund 1.000 Prozessdokumente und über 10.000 Internet-Wissenselemente zur kontextbezogenen Abfrage bereit. Bei einer Nutzeranfrage durchsucht der S-KIPilot die Wissensbasis nach semantisch relevanten Passagen, die dem Sprachmodell als Kontext mitgegeben werden. Eine präzise Zuordnung zum Quellsystem hilft allen Nutzenden, die Antworten, wie von der KI-Verordnung vorgegeben, jederzeit nachvollziehbar zu halten und die Kontrollinstanz ausüben zu können. Zusätzlich ist der Zugang zum S-KIPilot ausschließlich Mitarbeitenden vorbehalten, die gemäß Artikel 4 der EU-KI-Verordnung nachweislich für den souveränen Umgang mit KI qualifiziert sind.

Warum ein Modell nicht ausreicht

Die hohe Dynamik im Open-Source-Umfeld spielte dabei eine entscheidende Rolle. Mit zunehmender Nutzung zeigte sich, dass ein einzelnes Modell die Anforderungen unterschiedlicher Anwendungsfälle nicht gleichermaßen gut erfüllen kann. Mehr Modelle, die mit jeder Ausbaustufe ergänzt wurden, bedeuten jedoch nicht automatisch mehr Komplexität für die Nutzerinnen und Nutzer.

Der Schlüssel liegt im automatischen Modell-Routing: Je nachdem, in welcher Form eine Anfrage eingeht, wählt das System selbstständig das passende spezialisierte Modell.“

Sprache kann als reiner Text, als Dokumentenanhang oder als Audiodatei übermittelt werden und jede dieser Modalitäten erfordert ein eigenes Modell. Für die Transkription von Audioaufzeichnungen kommt etwa OpenAI Whisper zum Einsatz, für die Extraktion von Text aus Bildern und Dokumenten dots.ocr. Für komplexe generative Aufgaben greift das Routing auf leistungsstärkere Modelle wie OpenAI gpt-oss-120b zurück, alles ohne Anpassung des look & feel der Anwendung, ohne Mehraufwand für die Nutzenden.

Von der Textverarbeitung zur Prozessintegration

Parallel zur Modellentwicklung verschob sich der funktionale Schwerpunkt: weg von der Textverarbeitung, hin zur Prozessintegration.

Mit dem Einzug agentischer Komponenten können nun auch kundenbezogene Informationen im bankfachlichen Kontext durch diese aufbereitet werden. In der Gesprächsvorbereitung etwa werden Kundeninformationen, Kontakthistorien und Vertriebsimpulse automatisch zusammengeführt, als strukturierte Entscheidungsgrundlage direkt am Arbeitsplatz. Ergänzt wird das durch eine Potenzialanalyse auf Basis von Neo-Broker-Umsätzen, die vorhandene Daten für Beratung und Cross-Selling fachlich verdichtet.

Bei diesen Zugriffen auf Kundendaten erfolgt eine Zwei-Faktor-Authentifizierung, um die sensiblen Finanzdaten der Kundinnen und Kunden zusätzlich vor unberechtigtem Zugriff zu schützen.

Und dort, wo agentische Komponenten vorbereitende Aufgaben übernehmen, bleibt die finale Entscheidung beim Menschen: Das Human-in-the-Loop-Prinzip ist kein optionales Feature, sondern integraler Bestandteil der Governance-Architektur.“

Integration in bestehende Anwendungen

Mit dem Outlook-Add-in ist der S-KIPilot nahtlos in den alltäglichen Kommunikationsprozess eingebettet.“

Zusammenfassen, Übersetzen, Antwortvorschläge erstellen: alles ohne Medienbruch, direkt in der gewohnten Anwendungsumgebung. Die KI-Interaktion findet dort statt, wo die Daten entstehen und das ohne zusätzliche Arbeitsschritte. Denn Anwender passen ihre Arbeitsweise nicht an die KI an. Die KI muss sich in bestehende Arbeitsabläufe integrieren.

Aktuelle Ausbaustufen erweitern diese Logik weiter: Ausbau der Multimodalität mit PowerPoint-zu-Text, Word-zu-Text oder Bild-Text-zu-Text (OCR) über spezialisierte Modelle können Inhalte aus Bildern und Dokumenten extrahiert werden. Support-Prozesse werden eingebunden, und agentische Funktionen nach dem Human-in-the-Loop-Prinzip sichern dabei die notwendige menschliche Kontrolle.

Vom Assistenten zur Plattform

Mit zunehmender Verbreitung stellte sich eine weitere Frage: Müssen Modelle, Wissensanbindung und Sicherheitsmechanismen für jede Anwendung neu aufgebaut werden?

Die Plattformöffnung für Partnerlösungen folgt einem klar definierten Sicherheits- und Governance-Rahmen.

Eine mehrschichtige Firewall-Architektur stellt sicher, dass die Anwendung ausschließlich innerhalb der geschützten FI-Infrastruktur betrieben wird. Ein Datenaustausch mit externen Systemen ist strukturell ausgeschlossen.“

Der erste gemeinsame Anwendungsfall folgt genau diesem Ansatz. In Kooperation mit GuideCom konnte über die FI-Tochter FI-TS die App GuideCom Solutions die KI-Bausteine des S-KIPilot integrieren, um Vorstands- und Gremienarbeit intelligenter zu gestalten. Sensible Daten bleiben dabei in der geschützten Infrastruktur der FI-Gruppe und Beschlüsse können automatisiert, rollenspezifisch und kontextbezogen aufbereitet werden.

Das Fazit

Der S-KIPilot zeigt, dass generative KI im Sparkassenalltag nicht durch Einzelfunktionen skaliert, sondern durch konsequente Architektur­entscheidungen. Die Anbindung interner Wissensquellen, die Integration in bestehende Prozesse, die Kontrolle über Daten und Infrastruktur entscheiden darüber, ob aus einer KI-Demo ein Werkzeug für den produktiven Bankbetrieb wird.

Nachgefragt: drei Lektionen aus dem Produktivbetrieb

Was war beim Aufbau technisch schwieriger als ursprünglich erwartet?

Nicht die Modelle, sondern die Datenqualität. Ein RAG-System verstärkt den Zustand seiner Quellen: Es kann nur so präzise antworten und zuordnen, wie die zugrunde liegenden Inhalte strukturiert und gepflegt sind. Was generisch nach „Wissensanbindung“ klingt, entpuppte sich im Detail als die eigentliche Ingenieursleistung: heterogene Quellen, uneinheitliche Strukturen, unterschiedliche Pflegestände. Die zentrale Lektion daraus: Datenstrategie und Datenqualität müssen Hand in Hand gehen. Ohne strategische Steuerung der Datenbasis skaliert jeder Qualitätsmangel eins zu eins in die Antworten und untergräbt genau das Vertrauen, von dem die produktive Nutzung lebt.

Welche Architekturentscheidung war rückblickend die wichtigste?

Die Festlegung auf NVIDIA als Marktstandard-Hardware. Das klingt in einer Open-Source-Geschichte zunächst kontraintuitiv, war aber genau die Weichenstellung, die uns die größtmögliche Freiheit auf der Modellseite gesichert hat. Weil praktisch jedes relevante neue Open-Source-Modell auf diesem Ökosystem ohne Reibung lauffähig ist, konnten wir den Modellbestand kontinuierlich erweitern. Von Mistral 8x22b über Mistral Small bis OpenAI gpt-oss-120b zu weiteren Modellen, die aktuell validiert werden, ohne die Infrastruktur jedes Mal neu zu denken. Hardware-Standardisierung wurde so zur Voraussetzung für Modelloffenheit. Die wichtigste Architekturentscheidung ist eben oft nicht die sichtbare, sondern die, deren Korrektur am teuersten gewesen wäre.

Welche Annahme aus der Anfangsphase hat sich als unvollständig erwiesen?

Die Annahme, dass die zentrale Herausforderung eine technische ist. Die Plattform steht, doch der eigentliche Maßstab liegt in der Befähigung der Menschen. Rund 200.000 Beschäftigte in der Sparkassen-Finanzgruppe fit für den souveränen Umgang mit KI zu machen, ist kein nachgelagertes Schulungsthema, sondern eine strategische Dimension eigener Ordnung. Was als Adoptionsfrage begann, ist mit Artikel 4 der KI-Verordnung zugleich zur regulatorischen Pflicht geworden: Anbieter und Betreiber müssen seit dem 2. Februar 2025 für ausreichende KI-Kompetenz ihrer Mitarbeitenden sorgen. Damit schließt sich der Kreis zur Ausgangsthese: Digitale Souveränität entsteht nicht durch das Modell und nicht durch die Plattform. Sie entsteht durch Menschen, die wissen, was sie tun.Thorsten Bambey, Finanz Informatik