EU-AI-Act & FISA-702: Bank-KI ist nur mit EU-Betrieb, E2E-Verschlüsselung und eigene Schlüsselhoheit
BSI Software
von Mauro Quadroni, Legal- und Compliance-Experte bei BSI Software
Künstliche Intelligenz und insbesondere die neuartigen Sprachmodelle haben innerhalb weniger Jahre die Banken erobert. Doch AI erfordert wie jede IT-Lösung im Bankensektor Compliance. So gibt es seit einiger Zeit eine EU-Regulierung, die sich speziell auf künstliche Intelligenz richtet: den EU AI Act.Der risikobasierte Ansatz des EU AI Acts
Das AI-Gesetz der EU folgt einem risikobasierten Ansatz.
Verboten sind Anwendungen mit unvertretbarem Risiko wie Sozialpunktesysteme, manipulative Systeme oder biometrische Echtzeitüberwachung in der Öffentlichkeit.”
Hochrisiko-Systeme für Personalrekrutierung, Gesundheitswesen, kritische Infrastrukturen oder Strafverfolgung unterliegen strengen Vorgaben. Deren Anbieter müssen Dokumentation, Risikomanagement, Transparenz und menschliche Aufsicht sicherstellen, für Datenqualität sorgen und die Systeme überwachen.
AI-Systeme wie Chatbots müssen ihre Nutzer darüber informieren, dass sie mit einer AI interagieren. Für generelle AI-Systeme wie beispielsweise Sprachmodelle gelten zusätzliche Regeln, etwa die Zusammenfassung der Trainingsdaten und klare Gebrauchsanweisungen. Hinzu kommen noch Sonderregeln für Modelle mit systemischem Risiko. Darunter versteht die EU besonders leistungsfähige AI-Modelle. Sie müssen nach standardisierten Protokollen getestet werden, um Risiken zu identifizieren und zu mindern.
Systeme mit geringem Risiko dagegen erfordern lediglich eine klare Kennzeichnung als «AI».
Was ist ein System mit geringem Risiko?
Die Einordnung in die Risikostufen ist im Einzelfall nicht einfach. Deshalb hat die EU dem eigentlichen AI Act diverse Anhänge und Richtlinien mit einer Einordnung anhand von Funktionen und Einsatzgebieten gegeben. Wer seine AI korrekt betreiben will, muss sich zunächst einmal in diesen Listen schlau machen.
Mauro Quadroni ist Legal & Compliance bei BSI Software (Website). Er ist seit März 2024 zuständig für Compliance- und Rechtsfragen mit Schwerpunkt auf der Umsetzung regulatorischer Anforderungen in technischen Prozessen sowie Vertragsverhandlungen mit Technologieanbietern. Quadroni ist zudem Founding Partner bei AI Legal & Strategy Consulting AG (seit Jan. 2021) und führt Projekte zur KI-Integration einschließlich Technologieauswahl, Vendor-Due-Diligence und Implementierungssteuerung sowie Beratung zu rechtlich konformen Produkt- und Datenstrategien. Als CTO bei AI Legal & Strategy Consulting AG (seit März 2023) und verantwortet er die technische Strategie, Architekturentscheidungen und Daten-Governance im Kontext der geschäftlichen Neuausrichtung; Ausbildung: Master of Law, Universität Luzern (2007–2011) und „Algorithmic Business Thinking“, MIT Sloan Executive Education (Jan.–März 2021).Für Banken ist damit aber noch nicht das Ende erreicht. Laut BaFin müssen AI-Systeme mit Kundenbezug zur Gruppe der Erklärbaren AI (Explainable Artificial Intelligence, XAI) gehören. Sie sollten verständliche Erläuterungen geben, die möglichst korrekte Rückschlüsse erlauben. Eine weitere bankenspezifische Regulierung ist der «Digital Operational Resilience Act» (DORA). Er fordert den Aufbau eines Risikomanagements für Informations- und Kommunikationstechnologie. Unternehmen müssen in der Lage sein, Störungen zu erkennen, zu melden und zu bewältigen – auch bei AI-Systemen.
Cloud-Nutzung und rechtliche Unsicherheit
Laut dem aktuellen «KPMG Cloud-Monitor 2025 – Financial Services» nutzt die Mehrheit (97 Prozent) der Finanzunternehmen für den AI-Betrieb die Cloudservices der Hyperscaler. Das birgt jedoch ein zusätzliches Risiko: «FISA Section 702», eine Schlüsselbestimmung des Foreign Intelligence Surveillance Act (FISA) der USA. Sie erlaubt die gezielte Überwachung von Personen außerhalb der USA inklusive aller in der Cloud gespeicherten Daten. Problematisch ist vor allem die intransparente Rechtspraxis: Die Hyperscaler unterliegen einer geheimen Mitwirkungspflicht und dürfen die Öffentlichkeit nicht informieren.
Eine rechtssichere Übermittlung personenbezogener Daten in die USA regelt das «US-EU Data Privacy Framework DPF». Danach zertifizierte US-Unternehmen verpflichten sich, die europäischen Datenschutzprinzipien einzuhalten.
Doch es ist riskant, sich allein auf die formale Rechtslage zu verlassen. Zusätzliche technische Maßnahmen wie Verschlüsselung sind in jedem Fall notwendig.”
Es ist also nicht einfach, AI-Systeme rechtskonform zu betreiben. Deshalb hat die EU das Europäische AI-Büro geschaffen. Es ist das zentrale Kompetenzzentrum der EU und unterstützt Unternehmen bei der Umsetzung des AI Acts. Dafür hat es beispielsweise einen Code of Practice für General-Purpose-Modelle entwickelt.
Inzwischen gibt es einige offene Modelle, deren Entwickler mit dem AI-Büro zusammenarbeiten, darunter Mistral AI und das deutsche Projekt Open Hippo. Ein sehr wichtiger Aspekt dabei ist die Trennung von Modellentwicklung und Daten. Das ist entscheidend, da somit nicht Daten einzelner Kunden für die Entwicklung allgemeiner Modelle genutzt werden können. Denn das ist weder von der DSGVO noch vom EU AI Act gedeckt.
Ethische Herausforderungen
Die EU-Regulierung berücksichtigt ethische Fragen wie verantwortungsvolles Handeln, Fairness und den Schutz der Privatsphäre. Ein besonderes Problem ist «Bias», also systematische Verzerrungen bei Datenanalysen und Entscheidungen. Wenn eine AI mit unvollständigen oder einseitigen Daten trainiert wird, übernimmt sie oft bestehende Vorurteile. Das führt unter Umständen dazu, dass Menschen benachteiligt werden.
Ein verantwortungsvoller Umgang mit AI erfordert also klare Regeln und Prozesse. Ein Beispiel ist der «Code of Conduct AI»: Er gewährleistet den ethischen Einsatz von AI bei den BSI-Kunden und definiert ethische Prinzipien wie Schadensvermeidung, Fairness und Selbstbestimmung.
Die Entwicklungsteams müssen alle AI-Projekte systematisch auf ein potenzielles Risiko prüfen. Dafür gibt es in jedem Projekt die neue Rolle des «Ethics Enabler». Er entscheidet gemeinsam mit dem Projektteam, ob Anpassungen am AI-System, am Entwicklungsprozess oder an den Trainingsdaten nötig sind. Bei Wertekonflikten bringt er als Diskussionspartner eine neue Perspektive ein. Diese neue Rolle entspricht den Regeln des EU AI Acts: Künstliche Intelligenz soll einer ganzheitlichen Risikobewertung unterzogen werden, so dass sie wichtige Entscheidungen nicht in eigener Regie trifft.
Im “Code of Conduct AI” werden nicht nur Risiken und Grenzen von künstlicher Intelligenz beschrieben, sondern vor allem die Möglichkeiten, sie sinnvoll und verantwortungsvoll einzusetzen. Der Code dient weniger der Einschränkung, sondern vielmehr der Orientierung: Er zeigt auf, wo und wie AI echten Mehrwert für Kundinnen und Kunden schafft, ohne ethische, rechtliche oder gesellschaftliche Aspekte zu vernachlässigen.
Wege zu vertrauenswürdiger AI
Für Banken (und andere Unternehmen) ist die Situation unübersichtlich. Wer auf der sicheren Seite sein will, sollte nur europäische Anbieter in Betracht ziehen. Empfehlenswert sind zudem frei nutzbare Open-Source- oder Open-Weights-Modelle, die in Europa selbst betrieben werden können – ohne dass Daten “über den großen Teich” gehen.
Open-Source-Modelle stehen dabei für vollständige Transparenz aller relevanten Komponenten, inklusive der eingesetzten Trainingsdaten. Open-Weights-Modelle ermöglichen dagegen meist nur eingeschränkt Einblick in die Parameter und ihre Gewichtung.”
Grundsätzlich sollten Banken bei der Nutzung von AI auf drei Dinge achten: Klare regulatorische Konformität, technische Sicherheit im Sinne von DORA und das Vertrauen der Kundschaft. Wenn es einer Bank gelingt, diese drei Faktoren in Einklang zu bringen, kann sie AI nachhaltig und erfolgreich nutzen.Mauro Quadroni, BSI Software/ aj
Sie finden diesen Artikel im Internet auf der Website:
https://itfm.link/235173
Schreiben Sie einen Kommentar