KI-Compliance beginnt in der Architektur, nicht im Regelwerk

Schwerpunkt: Security by Design & Zero Trust. . Wie kann eine Bank oder Versicherung Monate später technisch beweisen, warum konkrete Ka I gestützte Rating- oder Underwriting Entscheidungen so gefallen sind? Und wie kann garantiert werden, dass niemand Daten, Modell, Regeln oder Entscheidungspfad unautorisiert verändert hat? Gleich drei aktuelle Rahmenwerke (Ka I VO, DORA und AICRIV Finanz) liefern Anhaltspunkte zur Beantwortung dieser und weiterer Fragen, setzen dabei aber sehr unterschiedliche Schwerpunkte. von Pascal Debus, Leiter Abteilung Cognitive Security Technologies, Fraunhofer Institut AISEC.. Die Ka I VO definiert Anforderungen an Logging (Art. 12), Nachvollziehbarkeit (Art. 11 14) und Absicherung (Art. 15), die bei Hochrisiko Ka I erfüllt werden müssen, schreibt für Rating und Underwriting aber weder ein konkretes Logschema noch Mechanismen wie RBAC vor. DORA konkretisiert für Finanzunternehmen Mechanismen wie manipulationsgeschützte Logs, eindeutige Identitäten (Art. 20) und Least Privilege (Art. 21). Schließlich versucht AICRIV Finanz, die abstrakten Anforderungen der Ka I VO sowie die von DORA definierten Sicherheitsmaßnahmen im Kontext von Ka I Systemen in prüfbare Kriterien und technische Nachweise zu übersetzen. Im Zusammenspiel der Rahmenwerke wird in Sachen Nachvollziehbarkeit Ka I gestützter Entscheidungen jedoch eine Lücke sichtbar: DORA kann die technische Integrität der Entscheidungskette absichern und Veränderungen oder Zugriffe nachvollziehbar machen. Ob sich daraus auch erklären lässt, wie eine komplexe Ka I gestützte Entscheidung zustande kam, ist eine (Heraus)forderung aus der Ka I VO. AICRIV Finanz liefert dazu konkrete Ansätze, aber je stärker Modelle, externe Komponenten und manuelle Eingriffe durch Menschen ineinandergreifen, desto weniger lässt sich Nachvollziehbarkeit mit einer Checkliste isolierter Maßnahmen erreichen.Die notwendige technische Nachweisgrundlage muss bereits am Anfang des Lebenszyklus in Architektur und Prozesse integriert werden. So wird Nachvollziehbarkeit zu einer Security by Design Aufgabe.“. Nachvollziehbarkeit muss orchestriert werden!. . Für die Nachvollziehbarkeit von Entscheidungen reicht es nicht, beispielsweise ein beliebiges Erklärverfahren isoliert zu integrieren, denn Entscheidungen entstehen selten allein im Ka I Modell: Daten, Features, Regeln und manuelle Eingriffe wirken zusammen und bilden den Kontext, ohne den der isolierte Output des Erklärverfahrens oft unbrauchbar ist. Gleichermaßen müssen auch DORA abgeleitete Maßnahmen wie signierte Modellartefakte, versionierte Feature Pipelines, Least Privilege und Audit Trails von Anfang an orchestriert ins System design integriert werden. Sie bestimmen, ob sich eine Entscheidung im Ernstfall verlässlich und manipulationssicher nachvollziehen lässt. Von der Anforderung zur realen Prüfbarkeit!. . . Bei klassischen Ai Tieh Systemen würde niemand einer bloßen Selbstauskunft vertrauen, ein System sei sicher. Technische Eigenschaften werden oft mit Werkzeugen anhand von Konfigurationen oder direkter Interaktion automatisiert überprüft. Auch bei Ka I Systemen hat die Entwicklung des AICRIV Finanz Katalogs gezeigt, dass die Erfüllung einer Anforderung erst dann real nachweisbar wird, wenn klar ist, durch welche Evidenz sie belegt und wie sie geprüft werden kann. Aussagen wie „das Modell ist erklärbar“ müssen sich mit konkreter Evidenz und reproduzierbaren Prüfverfahren belegen lassen. Wo sich solche Prüfungen technisch operationalisieren lassen, sollten sie durch Werkzeuge unterstützt werden. Werkzeuge schaffen die Voraussetzung, solche Nachweise skalierbar und wiederholt zu erbringen. Die dafür notwendigen Strukturen müssen allerdings häufig bereits in der Architekturphase vorgesehen werden. Agentic AI wird das Problem verschärfen!. . Ein agentischer Rating- oder Underwriting Workflow kann autonom Informationen beschaffen, Werkzeuge nutzen und in kurzer Zeit eine Kette von Teilentscheidungen erzeugen. Naives Logging im Sinne von „Wir speichern einfach alles“ wird dabei nicht skalieren: Das relevante Entscheidungssignal droht im Rauschen zu verschwinden und der Audit Trail wird selbst zum Big Data Problem. Benötigt werden strukturierte, maschinenlesbare Evidenzpunkte für sicherheits- und entscheiwungsrelevante Zustandswechsel. Für Systeme muss bereits im Design festlegt werden, welche Ereignisse für Security, Nachvollziehbarkeit und skalierbare Prüfbarkeit relevant sind. KI VO, DORA und AICRIV Finanz setzen unterschiedliche Akzente, laufen technisch aber auf dieselbe Kernfrage hinaus: Ist eine Ka I gestützte Entscheidung so gebaut, dass sie nachvollzogen, gegen Manipulation geschützt und automatisiert geprüft werden kann? Wer Nachvollziehbarkeit erst kurz vor dem Audit erzeugen will, hat sie zu spät entworfen. Sie hörten einen Beitrag von „Pascal Debus, Fraunhofer AISEC/dk“