S-Invest Manager: Intelligente KI-Suche mit RAG und Function Calling

Mit dem S-Invest Manager hat die Deka die digitale Plattform für den gesamten Wert­papier­vertriebs­prozess für die Sparkassen entwickelt – von der Planung über die Vertriebsvorbereitung und die Beratungsunterstützung bis zum Controlling. Um den speziellen Ansprüchen einer B2B-Wert­papier­vertriebs­plattform gerecht zu werden, wurde für den erfolgreichen Einsatz von KI auf eine Kombination aus Retrieval-Augmented Generation (RAG) und Function Calling gesetzt.

von Lars Semmler, DekaBank und Christopher Schultes, Cofinpro

Klassische KI-Assistenten scheitern in Banken häufig daran, dass zugrundeliegende Sprachmodelle keinen Zugang zu unternehmensinternen Informationen haben.
Hinzu kommt eine unscharfe Trennung zwischen geprüften Fakten und plausiblen Annahmen.

Retrieval-Augmented Generation (RAG) löst dieses Problem, indem es dem Sprachmodell geprüfte unternehmensinterne Informationen zur Verfügung stellt, auf deren Basis die Anfragen der Anwenderinnen und Anwender fundiert beantwortet werden können.“

Das technische Kernprinzip von RAG basiert auf der Vektorisierung von Texten. Das Ziel besteht darin, Inhalte nicht syntaktisch (Keyword-basiert), sondern semantisch durchsuchbar zu machen.

Im S-Invest Manager werden zu diesem Zweck über 10.000 redaktionelle Inhalte zzgl. Produktinformationen in einem dreistufigen Verfahren technisch aufbereitet:

1 Chunking: Die Dokumente werden in kleinere, logisch zusammenhängende Textabschnitte zerlegt. Mithilfe spezialisierter Software ist es möglich, auch Text aus schwer lesbaren PDF-Dokumenten zu extrahieren.
2 Embedding: Jeder Textabschnitt wird über ein Embedding-Modell in einen Vektor überführt. Dieser Vektor repräsentiert die semantische Bedeutung des Textausschnitts, unabhängig von den konkreten Begriffen.
3 Indexierung: Die erzeugten Vektoren werden in einer Vektordatenbank gespeichert und sind dadurch performant abrufbar. Die initiale Indexierung aller Dokumente erfolgte als Batch-Prozess. Im laufenden Betrieb werden nur noch Änderungen an Dokumenten verarbeitet.

Der entscheidende Effekt: Nach der technischen Aufbereitung liegen Texte mit ähnlicher inhaltlicher Bedeutung im Vektorraum nah beieinander, selbst wenn sie unterschiedliche Begriffe verwenden.

Verarbeitung von Anfragen

Anfragen von Nutzerinnen und Nutzern werden mithilfe des Embedding-Modells in Vektoren übersetzt. Dadurch befinden sich Anfrage und Dokumente aus semantischer Sicht im selben Raum. Die Suche basiert nicht auf String-Vergleichen, sondern auf der Berechnung mathematischer Ähnlichkeiten im Vektorraum (zum Beispiel Kosinus-Ähnlichkeit). Es werden die Textabschnitte ermittelt, deren Bedeutungsvektoren der Anfrage am ähnlichsten sind. Somit beantwortet die Suche nicht mehr die Frage „Wo kommt ein Begriff vor?“, sondern „Welche Textpassage beantwortet diese Frage inhaltlich am besten?“

Erst nach Abschluss der semantischen Suche kommt das Sprachmodell zum Einsatz. Im S-Invest Manager wird dafür ChatGPT in einer FI-Umgebung genutzt – regulatorisch abgesichert und ohne Zugriff auf externe Quellen oder das Internet. Die Anfrage an das Modell enthält:

User Prompt: Die Anfrage der Nutzerin oder des Nutzers
Kontext: Die relevanten Textabschnitte, welche per Vektorsuche gefunden wurden
System Prompt: Die Arbeitsanweisung an das Modell, um den User Prompt mithilfe des Kontexts und ohne Zuhilfenahme weiterer Quellen oder Annahmen zu beantworten

Das Sprachmodell verfügt über kein eigenes Fachwissen jenseits der gelieferten Inhalte. Die Antwort wird ausschließlich aus bankeigenen Quellen zusammengestellt und transparent angezeigt. Dadurch sind die generierten Antworten fachlich nachvollziehbar und durch Anzeige der Quellen prüfbar. Anfragen abseits der verfügbaren Wissensbasis werden nicht beantwortet.

Function Calling als Brücke zu strukturierten Daten

RAG ist zwar sehr leistungsfähig bei textbasierten Inhalten, stößt aber an technische Grenzen, wenn hochstrukturierte Daten hinzukommen. Dazu zählen in diesem Fall insbesondere ISINs und WKNs sowie komplexe Datenverarbeitungen (zum Beispiel Suche aller Fonds mit bestimmten Eigenschaften). Technische Identifikatoren wie Wertpapierkennnummern entziehen sich der Logik einer semantischen Analyse, da sie keine inhaltliche Bedeutung haben, sondern formalen Regeln folgen. Entsprechende Anfragen zu einzelnen WKNs beispielsweise führten in frühen Tests zu inkonsistenten Ergebnissen. Ebenso ist RAG nicht in der Lage, große Datenmengen zu aggregieren und auszuwerten. Es existieren keine passenden kurzen Textabschnitte, die alle hierfür benötigten Informationen enthalten.

Um diese Lücke zu schließen, wurde der RAG-Ansatz im S-Invest Manager um „Function Calling” ergänzt.

Erkennt das System, dass eine Anfrage nicht sinnvoll über den bereitgestellten Kontext beantwortet werden kann, löst das Sprachmodell einen definierten Funktionsaufruf aus.“

Dabei greift das Sprachmodell direkt auf vorhandene Systemfunktionen zurück, so dass diese nicht neu entwickelt werden müssen. Gleichzeitig entscheidet das Modell kontextabhängig selbstständig, welche Funktion mit welchen Parametern aufgerufen wird, sodass Entwicklerinnen und Entwickler keine starren Entscheidungsregeln mehr definieren müssen.

Ein Beispiel: „Zeige mir alle Fonds mit der Handlungsempfehlung ‚Kaufen‘, die primär in Japan investieren.“ Über einen Funktionsaufruf in der Wertpapiersuche werden strukturierte Ergebnisse ausgespielt, die anschließend vom Sprachmodell in eine verständliche Antwort überführt werden. Der entscheidende Punkt ist: Die KI nutzt bestehende Systeme, sie ersetzt sie nicht.

Integration und Nutzung

Die leichte und intuitive Nutzbarkeit in den Sparkassen-Filialen ist gewährleistet, da die KI-Suche vollständig in den S-Invest Manager integriert ist. Eine separate Oberfläche gibt es nicht. User können sowohl Suchbegriffe als auch natürlichsprachliche Fragen eingeben.

Das Ergebnis: Die Akzeptanz ist hoch und die Nutzungszahlen steigen kontinuierlich. SIMxGPT antwortet auch auf komplexe Anfragen schnell und bietet somit einen zusätzlichen Support-Kanal.

Die Lösung ist durch mehrere Mechanismen regulatorisch abgesichert: KI-Antworten sind visuell gekennzeichnet und enthalten einen Hinweis zur Prüfpflicht.“

Es werden Zugriffsrechte berücksichtigt, sodass Nutzer nur Inhalte sehen, die für ihre Sparkasse freigegeben sind. Die Nutzung der KI-Suche erfordert eine aktive Zustimmung. Und: Die klassische Suche bleibt als Alternative verfügbar. Lars Semmler, DekaBank & Christopher Schultes, Cofinpro