Data Poisoning im Finanzsektor – Wenn Angreifer KI von innen heraus sabotieren

Schwerpunkt: Datenschutz & Datensicherheit

Künstliche Intelligenz (KI) ist aus der Finanzwelt nicht mehr wegzudenken. Ob Kreditbewertung, Betrugserkennung oder Chatbots – überall treffen Maschinen Entscheidungen, die zuvor Menschen vorbehalten waren. Doch je tiefer Banken, Versicherer und Zahlungsdienstleister auf KI vertrauen, desto größer wird ein bislang unterschätztes Risiko: gezielte Angriffe auf die Datenbasis von KI-Systemen mittels Data Poisoning – mit gravierenden Folgen für die betroffenen Unternehmen.

von Matthias Fraunhofer, Senior SE Manager Central Europe, Tenable

Der unaufhaltsame Siegeszug von Large Language Models (LLMs) und RAG-Systemen (Retrieval-Augmented Generation) eröffnet dem Finanzwesen unzählige Ansatzpunkte für Automatisierungs- und Effizienzgewinne – geht unter Sicherheitsgesichtspunkten aber auch mit vielen neuen Risiken einher. Zu den gefährlichsten gehören dabei die sogenannten Data-Poisoning-Angriffe, bei denen Cyberkriminelle gezielt die Trainingsdaten von KI-Systemen manipulieren.

Schon minimale Eingriffe – teilweise weniger als 0,01 Prozent – können  reichen, um die Modelle zu vergiften.”

Typische Beispiele sind etwa Label-Flipping (Betrugsfälle werden als legitim markiert), Backdoor-Angriffe (unsichtbare Trigger lösen Fehlentscheidungen aus) oder Clean-Label-Manipulationen, die selbst für Experten kaum zu erkennen sind. Besonders gefährlich sind dabei „Boiling-Frog“-Strategien, also viele inkrementelle Manipulationen, die kumuliert zu massiven Schäden führen.

Die Folgen dieser Attacken können für Finanzunternehmen leicht existenzbedrohend werden:

• Banken riskieren verfälschte Kredit-Scoring-Modelle, die unzuverlässigen Kunden Darlehen gewähren – oder Anti-Geldwäsche-Systeme, die bestimmte Muster und Indikatoren übersehen.
• Versicherer könnten mit manipulierten Risikomodellen Hochrisikopolicen zu Billigtarifen abschließen oder betrügerische Schadensfälle unbemerkt durchwinken.
• Zahlungsdienste laufen Gefahr, dass Fraud-Detection-Systeme falsche Muster lernen: zu viele False Positives frustrieren Kunden, zu viele False Negatives führen direkt zu Verlusten.
• Über die wirtschaftlichen Kosten und die Imageschäden hinaus drohen den betroffenen Unternehmen zudem regulatorische Konsequenzen – etwa, wenn vergiftete Modelle diskriminierende Entscheidungen treffen.

Data Poisoning: Vom Einzelfall zum systemischen Risiko

Noch heikler wird es, wenn gemeinsam genutzte KI-Modelle betroffen sind: Einmal vergiftet, verbreiten sich die Schwachstellen über Federated-Learning-Setups oder Open-Source-Modelle dann binnen kürzester Zeit auf mehrere Institute – mit der Gefahr einer systemischen Krise, vor der auch das Financial Stability Board warnt.

Schutzstrategien: Defense in Depth

Wer seine KI-Systeme zuverlässig vor solchen Angriffen schützen will, ist auf ein mehrschichtiges Verteidigungskonzept angewiesen: Präventiv helfen strenge Datenvalidierung zur Sicherung der Integrität, Transparenz über Datenherkunft („Data Bill of Materials“) und gezielte Awareness-Trainings.

Da viele Angriffe sehr subtil sind, gilt es, Abläufe durchgehend akribisch zu überwachen, um Abweichungen frühzeitig zu erkennen.”

Auffälligkeiten lassen sich zudem durch saubere Validierungsdatensätze und gezielte Backdoor-Tests aufspüren.

Kommt es zum Vorfall, ist ein klarer Incident-Response-Plan entscheidend. Vergiftete Datenquellen müssen isoliert, Backups eingespielt und Modelle notfalls mithilfe einer sauberen Baseline neu trainiert werden. All dies wird aber nur dann Wirkung zeigen, wenn die KI-Security eng in die Governance-Strukturen eingebunden ist: Frameworks wie das NIST AI RMF und die ENISA-Guidelines helfen, Technik, Risiko-Management und Compliance nahtlos zu verzahnen.

Fazit: Risikobasiertes Exposure Management tut Not

Das Beispiel Data Poisoning illustriert gut, dass KI-Security heute kein reines Technikthema ist: Finanzinstitute brauchen ein systematisches und risikobasiertes Exposure Management, das kritische Modelle identifiziert, Bedrohungen bewertet und Abwehrmaßnahmen klar nach ihrem Business Impact priorisiert. Nur wer KI-Sicherheit als fortlaufenden Managementprozess versteht, wird von den Innovationspotenzialen profitieren können, ohne kostspielige Security- oder Compliance-Verstöße zu riskieren.Matthias Fraunhofer, Tenable/dk