Fairwashing: Das Fairness-auf-Knopfdruck-Siegel für Hochrisiko-KI

In KI-Modell diskriminiert – und besteht trotzdem den Fairness-Test? Das ist durchaus möglich, denn mit der passenden Metrik, Aggregation und Schwelle lässt sich selbst ein problematisches Ergebnis erstaunlich sauber aussehen lassen. Tobias Weitzel zeigt, wie „Fairness Hacking“ funktioniert. Wie aus Diskriminierung ein Alles-fair-Zertifikat wird: eine Anleitung in drei Schritten.

von Tobias Weitzel, Head of confora labs bei der spotixx

Kredite, Lebens- und Krankenversicherung: Wer hier KI einsetzt, muss sie nach dem EU AI Act bald auf Diskriminierung prüfen. Klingt nach einer klaren Ansage, die marginalisierte Gruppen schützen sollte. In der Praxis? Schwierig. Wie Fairness definieren? Was ist fair genug? Welche Gruppen vergleicht man? Ein „ergebnisorientierter“ Anwender kann jedes auch noch so unfaire Modell fair waschen – er muss nur wissen, an welchen Schrauben er wann wie drehen muss.

Problem 1: die Metrik

Mittlerweile existieren – je nach Zählweise – mehr als 70 Fairness-Metriken. Kleinberg, Mullainathan und Raghavan haben bereits 2016 gezeigt, dass sich manche dieser Metriken mathematisch nicht gleichzeitig erfüllen lassen, sobald sich die Grundraten zwischen den Gruppen unterscheiden. Eine Bedingung, die in der Realität – es gibt Nationalitäten mit unterschiedlichen Kreditausfallsraten – fast immer zutrifft. Konkret heißt das: Dasselbe System ist nach der einen Metrik fair und nach der anderen unfair – ohne dass sich am System irgendetwas ändert.

Ein Forscherteam aus Baden-Württemberg hat die Konsequenz daraus vorgeführt und ihr einen Namen gegeben: „Fairness Hacking“ (Meding & Hagendorff, 2024).

Für praktisch jedes KI-System, egal wie diskriminierend, lässt sich eine Metrik finden, die am Ende „fair“ ausspuckt.“

Der oben erwähnte „ergebnisorientierte“ Anwender rechnet also einfach alle Metriken durch – und nimmt die, die passt.

Problem 2: die Aggregation

Jetzt wird es technisch. Nehmen wir ein KI-System für die Kreditvergabe mit Bewerbern aus 50 Ländern. Die meisten Fairness-Metriken – auch die bekanntesten, Statistical Parity und Equalized Odds – funktionieren über Gruppenvergleiche. Also müssen alle 50 Gruppen paarweise verglichen werden: 50 über 2, macht 1.225 Vergleiche: Deutschland vs. Paraguay, Deutschland vs. Argentinien, Argentinien vs. Spanien, usw. Am Ende liegen 1.225 Einzelergebnisse vor, die zu einer einzigen Antwort verdichtet werden müssen: Diskriminiert das System aufgrund der Nationalität? Zählt der schlechteste Wert? Der Durchschnitt? Gewichtet nach Gruppengröße? Jede dieser Entscheidungen kann vertretbar sein und jede verändert das Ergebnis deutlich.

Problem 3: der Schwellenwert

Zuletzt braucht es einen Grenzwert, ab dem eine Diskriminierung vorliegt. Der liegt Stand jetzt, auch in den Augen von Aufsicht und Regulierung, im Ermessen des Anwenders: risikobasiert auswählen, begründen, dokumentieren. Die einzige weithin etablierte Zahl ist die 0,8 aus der Four-Fifths-Rule der US-Gleichbehandlungsbehörde EEOC – aufgestellt 1978, für Einstellungsverfahren, nicht für KI. Prominent wurde sie zuletzt durch das New Yorker Local Law 144, das Bias-Audits für KI-gestützte Recruiting-Tools vorschreibt und dafür genau solche Impact Ratios berechnen lässt; einen verbindlichen Pass/Fail-Schwellenwert nennt aber auch dieses Gesetz nicht. Trotzdem wird die 0,8 gern als Default übernommen. Nur: Fänden Sie es in Ordnung, wenn Männer bei gleicher Qualifikation nur vier von fünf der Kredite bekämen, die Frauen bekommen – und das System trotzdem als „fair“ durchginge?

Was gut gewillte Anwender tun können

Der Prozess macht es ergebnisorientierten Anwendern also leicht, diskriminierende Modelle fair zu waschen – und gut gewillten schwer, eine belastbare Messung aufzusetzen. Doch dafür gibt es Mittel und Wege.

Erstens: die Metrik vor der Messung festlegen und qualifiziert begründen. Statistical Parity – der Blick auf die Gleichheit der Ergebnisse – ist etwa sinnvoll, wenn die Trainingsdaten selbst Diskriminierung enthalten. Equalized Odds – der Blick auf die Gleichheit der Fehlerraten – eignet sich besser, wenn sich Gruppen tatsächlich unterscheiden und man den Labels vertraut. In manchen Fällen gehört dazu auch, auf weitere Faktoren zu „kontrollieren“: Wer die Kreditvergabe zwischen Männern und Frauen vergleicht, vergleicht dann nicht einfach Männer mit Frauen, sondern Männer mit einem Einkommen von 2.000 bis 3.000 Euro mit Frauen mit einem Einkommen von 2.000 bis 3.000 Euro – und so weiter (Details in der DIN SPEC 91512:2025-09).

Zweitens: den Schwellenwert ebenfalls vor der Messung festlegen – und zwar nicht allein, sondern in Abstimmung mit den relevanten Stakeholdern. Das können Data Science, die (KI-)Governance-Abteilung und die Rechtsabteilung sein, aber auch Betroffene oder ihre Interessenvertretungen.

Drittens: die Aggregationsmethode an der Risikoeinstufung ausrichten. In sehr kritischen Anwendungen sollte schon ein einzelner schlechter Paarvergleich eine Red Flag sein; in anderen kann gewichtet werden. Entscheidend ist, dass die Regel vorher feststeht – nicht nachher.

Viertens: All diese Entscheidungen dürfen nicht auf PowerPoint-Folien oder in PDFs liegen bleiben, sondern müssen aktiv umgesetzt werden – Stichwort MLOps. Fairness-Tests gehören nicht einmalig oder nur nach Modelländerungen durchgeführt, sondern kontinuierlich mit einem fortlaufenden System, etwa als Teil der CI/CD Pipeline. Nur so fällt auf, wenn Model Drift oder Data Drift ein bislang unauffälliges System kippen lassen.

Und der EU AI Act?

Die unbequeme Wahrheit: Der EU AI Act sagt, was erreicht werden muss, aber nicht wie. Er nennt keine Fairness-Metrik und keinen Grenzwert. Denn diese Dinge lassen sich nicht quer über alle Bereiche festlegen – immerhin gilt die Regulierung für kritische Infrastruktur, Spielzeuge sowie Kreditvergabe. ISO/IEC TR 24027, der technische Report zu Bias in KI-Systemen und KI-gestützter Entscheidungsfindung, listet die gängigen Metriken, schreibt aber bewusst keine vor. Und auch wenn die Hochrisiko-Pflichten in letzter Sekunde jetzt doch nicht im August 2026, sondern erst im Dezember 2027, in knapp anderthalb Jahren kommen – gilt grundsätzlich: Nicht zu diskriminieren, ist keine Compliance-Deadline, sondern Grundbedingung für jedes Modell, das über Menschen entscheidet.

Ob ein Modell diskriminiert, ist eine Frage für jedes KI-System und dessen Betreiber, nicht nur für die in Anhang III des EU AI Acts.“

Am Ende sollte man sich immer bewusst sein, dass aller Zahlenspielerei zum Trotz echte Menschenleben durch die KI-Systeme betroffen sind. Die Chance, hier bewusst Diskriminierung auszuschließen, sollte nicht leichtfertig vergeben werden. Tobias Weitzel, spotixx