KI im Prozess-Management - Download
IT-PRAXIS12. Mai 2025

Tickende Zeitbombe: Warum Large Language Models ohne Sicherheitskonzept zum Risiko werden

Das Bild zeigt Matthias Bissinger, Senior Security Consultant bei aDvensa. Er trägt einen schwarzen Blazer über einem weißen T-Shirt und lächelt in die Kamera. Der Hintergrund ist neutral und hell. In der Diskussion um LLMs wird betont, dass deren Integration in IT-Umgebungen ohne angemessene Sicherheitskonzepte potenzielle Risiken birgt, da sie oft als Blackbox fungieren und anfällig für Sicherheitslücken sind.
Matthias Bissinger, Se­ni­or Se­cu­ri­ty Con­sul­tant bei aDvensaDvens

Sie setzen auf Large Language Models (LLMs) in Ihrer IT-Umgebung ? Dann sollten Sie sich bewusst sein, dass Sie möglicherweise eine Blackbox in Ihr System integrieren. Prompt Injection, Model Inversion und Data Leakage sind keine theoretischen Bedrohungen, sondern reale Angriffsvektoren, die Finanzunternehmen mit falschen Annahmen oder unzureichenden Sicherheitsmaßnahmen verwundbar machen. Wer glaubt, dass herkömmliche Sicherheitsmechanismen für LLMs ausreichen, macht einen gefährlichen Fehler.

von Matthias Bissinger, Se­ni­or Se­cu­ri­ty Con­sul­tant bei aDvens

LLMs sind anfällig für verschiedene Angriffsszenarien.

Ein klassischer Angriff sind Prompt Injections, bei denen manipulierte Eingaben das Sprachmodell zu unerwünschten oder schädlichen Ausgaben verleiten können.”

Ebenso kritisch ist Data Leakage, wobei vertrauliche Informationen aus Trainings- oder Nutzerdaten unbeabsichtigt preisgegeben werden. Darüber hinaus besteht die Gefahr der Model Inversion, bei der Angreifer durch geschickte Abfragen potenziell Teile der Trainingsdaten rekonstruieren können. Auch Adversarial Attacks stellen eine Bedrohung dar: Durch eine gezielte Modifikation von Eingaben kann das Modell manipuliert werden, um „falsche“ Antworten zu liefern. Zudem besteht immer das Risiko von Bias und Halluzinationen, die zu voreingenommenen oder fehlerhaften Antworten führen können – eine Herausforderung, die besonders in der Finanzbranche schwerwiegende Konsequenzen haben kann.

Sicheres Deployment von LLMs

Um LLMs in Finanzumgebungen sicher betreiben zu können, sind gezielte Sicherheitsmaßnahmen unumgänglich. Hierzu gehören unter anderem eine abgesicherte Umgebung mit strikten Zugriffskontrollen, eine konsequente Überwachung der Eingaben sowie Maßnahmen zur Überwachung und schnellen Reaktion auf sicherheitskritische Vorfälle.

Isolierung und Zugriffskontrolle

Der Einsatz von Container- Umgebungen wie Docker oder Kubernetes hilft dabei, Modelle voneinander zu isolieren und eine klare Trennung zwischen verschiedenen LLM-Instanzen sicherzustellen.”

Zusätzlich sollte der Zugriff auf die Modelle streng reguliert werden, beispielsweise durch Role-based Access Control (RBAC) und Multi-Faktor-Authentifizierung (MFA). Netzwerksegmentierung als weitere Schutzmaßnahme stellt sicher, dass unautorisierte Kommunikation zwischen LLM-Instanzen und anderen Systemen verhindert wird.

Eingabe-Validierung und Filterung der LLMs

Wichtig ist außerdem die Prompt Sanitization.”

Bei dieser wird jede Eingabe auf schädliche oder unerwartete Inhalte geprüft, vergleichbar zur Input Sanitization bei Datenbankabfragen zur Vermeidung von SQL Injections. Darüber hinaus kann ein Rate-Limiting implementiert werden, um zu verhindern, dass Angreifer das LLM mit einer hohen Anzahl von Anfragen überlasten (Denial of Service). Eine weitere Maßnahme besteht darin, über White- oder Blacklisting bestimmte Begriffe zu filtern und so potenzielle Risiken zu minimieren.

Logging, Monitoring und Incident Response

Zur Überwachung der Modellaktivitäten sollte ein Security Information and Event Management (SIEM) eingesetzt werden.”

Diese Systeme ermöglichen eine Echtzeit-Analyse der Modellinteraktionen und helfen, verdächtige Anfragen frühzeitig zu erkennen. Mittlerweile hat sich auch hierfür ein Markt gebildet, der dedizierte Tools zur Erkennung von Angriffen auf LLMs entwickelt und anbietet. Ergänzend kann Machine Learning zur Anomalieerkennung genutzt werden, um ungewöhnliche Nutzungsmuster zu identifizieren.

Falls sicherheitskritische Vorfälle auftreten, sollten – im besten Fall automatisierte – Eskalationsmechanismen vorhanden sein, die eine schnelle Reaktion ermöglichen.”

Das Bild zeigt eine Benutzeroberfläche eines Modells namens "mistral-tiny", das Sicherheitswarnungen anzeigt. Es sind mehrere Detektionen aufgeführt, darunter "Prompt Injection" und "Modality Restriction", die auf potenzielle Sicherheitsrisiken hinweisen. Diese Informationen sind relevant für die Überwachung von LLMs, um sicherzustellen, dass sie keine sensiblen Daten gefährden und regulatorische Vorgaben einhalten. Die Darstellung verdeutlicht die Notwendigkeit
Überwachung eines LLM auf verdächtige InteraktionenaDvens

Datenschutz und Compliance

Falls LLMs mit sensiblen Finanzdaten arbeiten, ist die Einhaltung regulatorischer Vorgaben unerlässlich.

Unternehmen sollten den Grundsatz der Datensparsamkeit befolgen, indem sie die unnötige Speicherung von Nutzereingaben oder Modellantworten vermeiden.”

Ebenso muss eine durchgehende Ende-zu-Ende-Verschlüsselung sichergestellt werden, sowohl während der Übertragung als auch bei der Speicherung sensibler Daten. Zur Reduzierung externer Datenschutzrisiken kann der Einsatz von On-Premise-Hosting sinnvoll sein. Alternativ bietet sich Federated Learning als Methode an, um Trainingsdaten dezentral zu halten und das Risiko zentralisierter Datenlecks zu minimieren. Zusätzlich sind Audit-Logs erforderlich, um sämtliche Interaktionen mit dem Modell nachvollziehbar zu machen. Penetrationstests helfen dabei, Schwachstellen in der Implementierung frühzeitig zu erkennen und zu schließen.

Autor Matthias Bissinger, aDvens
Matthias Bissinger ist Se­ni­or Se­cu­ri­ty Con­sul­tant bei aDvens (Website) und Mas­ter of Sci­ence in Di­gi­ta­ler Fo­ren­sik. Zu­vor war er zehn Jah­re als Soft­ware-Ent­wick­ler im mi­li­tä­ri­schen Sek­tor und sechs Jah­re als Lead Se­cu­ri­ty Ana­lyst und als Head of Cy­ber­se­cu­ri­ty Ope­ra­ti­ons Cen­ter Cen­tral Eu­ro­pe bei ei­nem eu­ro­pa­weit agie­ren­den Cy­ber­se­cu­ri­ty-Dienst­leis­ter tä­tig. Sein Fo­kus liegt im Be­reich Se­cu­ri­ty Ope­ra­ti­ons, Breach-and-At­tack-Si­mu­la­ti­on, Se­cu­ri­ty Ar­chi­tec­tu­re so­wie Red- und Pur­p­le Teaming.

Modell-Absicherung gegen Manipulation

Neben Angriffen auf die Eingaben müssen auch die LLMs selbst geschützt werden.

Eine zentrale Maßnahme zur Sicherung der Integrität ist die Nutzung digitaler Signaturen sowie regelmäßige Checksummen-Prüfungen, um unautorisierte Änderungen am Modell zu verhindern.”

Zudem kann durch Wasserzeichen sichergestellt werden, dass von LLM generierte Texte als solche identifizierbar bleiben. Unternehmen sollten außerdem regelmäßige Red-Teamings durchführen, bei denen simulierte Angriffe dazu genutzt werden, potenzielle Schwachstellen frühzeitig zu identifizieren. Ein weiterer wichtiger Aspekt ist die kontinuierliche Anpassung der Modelle durch dynamische Modell-Updates, um Sicherheitslücken zu schließen und Bias zu reduzieren.

Zukunftsperspektiven und Fazit

Die Sicherheitslandschaft für LLMs entwickelt sich rasant.

Fortschritte in Differential Privacy, Zero-Trust-Architekturen und homomorpher Verschlüsselung könnten künftig neue Schutzmaßnahmen ermöglichen.”

Dennoch bleibt der sichere Einsatz von LLMs in der Finanzbranche eine Herausforderung, die ein mehrschichtiges Sicherheitskonzept erfordert. Unternehmen sollten gezielt Maßnahmen zur Eingabevalidierung, zum Datenschutz und der Modellabsicherung implementieren und ihre Systeme regelmäßig auf neue Bedrohungen prüfen. Nur durch ein bewusstes Risikomanagement können LLMs sicher und effektiv in geschäftskritischen Prozessen eingesetzt werden.Matthias Bissinger, aDvens

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert