Check Point: Betrüger tricksen KI-Assistenten via Ton-Injektion aus

Eine Grafik zeigt Sprachwellen von Geräten und Personen, darunter ein rot markiertes Signal, das durch Filter zu einer KI geleitet wird. Check Point warnt vor Ton-Injektionen gegen Sprachassistenten. — Check Point

Immer mehr Banken, Versicherer und Einzelhändler würden KI-Bots verwenden, die für sie Anrufe annehmen und die Audioaufzeichnung des Anrufers direkt an ein Modell weiterleiten, das zuhöre und mit dem Nutzer spreche. Diese Neuerung eröffnet Angreifern laut Check Point eine Einfallsmöglichkeit, die es so bisher nicht gab: Die Audio Prompt-Injektion, bei der die Anweisung an das Modell als Ton eintreffe. Anders als die textbasierte Prompt-Injektion sei sie anfälliger für schädliche Anweisungen oder Fragen. Und für Teams, die Sprachagenten entwickeln oder verwenden, sei es wichtig zu verstehen, wie diese Angriffe funktionieren und was dagegen unternommen werden könne.

Bis vor kurzem seien die meisten Sprachassistenten als Pipelines aufgebaut gewesen: Sprache werde in Text umgewandelt, ein Textmodell verfasse die Antwort, und die Antwort werde wieder in Sprache umgewandelt – so gebe es stets ein Transkript, das als Leitplanke dienen könne. Speech-to-Speech-Modelle würden den Text überspringen und direkt zuhören, was Gespräche schneller und natürlicher mache, jedoch auch die einzige Stelle beseitige, an der textbasierte Schutzmaßnahmen greifen könnten.

In einer Untersuchung beantworteten Open-Source-Audiomodelle schädliche Fragen laut Check Point in mehr als zwei Dritteln der Fälle. In einer anderen variierten Forscher so lange bei Geschwindigkeit, Tonhöhe und Hintergrundgeräuschen, bis ein Echtzeit-Sprachmodell auf etwa 70 % davon schädliche Antworten gab. Denn in dem Audio versteckte (für Zuhörer nicht wahrnehmbare) Anweisungen könnten kommerzielle Sprachassistenten zu Handlungen veranlassen, für welche sie nie vorgesehen waren. Je mehr Zugriff Sprachassistenten auf bestimmte Tools erhalten würden, desto gefährlicher würden solche Angriffe, denn ein Assistent, der Konten einsehen, Liefertermine verschieben oder Rückerstattungen vornehmen kann, werde diese Berechtigungen auch nutzen, wenn er den Befehl dazu bekommt.

Ein Mann mit Glatze und kurzem Bart steht mit verschränkten Armen vor weißem Hintergrund. Check Point untersucht, wie Ton-Injektionen Sprachassistenten täuschen. — Check Point

Bereits zu Beginn der ersten öffentlichen KI-Modelle, gab es Versuche, Stimmen zu klonen und damit Menschen zu manipulieren. Nun werden nicht mehr nur Menschen durch Stimmen manipuliert, sondern auch KI-Modelle und deren Agenten. Der schnellste Weg zum Ziel für Cyberkriminelle zeigt sich aktuell darin, KI-Chatbots und KI-Sprachbots auf Webseiten für ihre Zwecke zu missbrauchen, dabei wird es jedoch nicht bleiben.“

Patrick Fetter, Lead Sales Engineer & Cyber Security Evangelist bei Check Point

Der Ton als Cyberwaffe

Ein Angreifer habe zwei Möglichkeiten: Die erste bestehe darin, den Befehl direkt auszusprechen. Ein Anrufer sage am Telefon in natürlicher Sprache „Ignorieren Sie Ihre vorherigen Anweisungen“ und ein Agent, der dies nicht überprüft, behandele dies wie jede andere Anfrage. Die zweite Möglichkeit lasse sich nicht in Textform wiedergeben: Dabei werde der Ton so manipuliert, dass Maschinen ihn falsch verstehen. Untersuchungen hätten gezeigt, dass ein universeller, nur 0,64 Sekunden langer Clip, der vor jeder Sprachäußerung abgespielt wird, dazu führe, dass ein weit verbreitetes Transkriptionsmodell bei mehr als 97 % der getesteten Aufnahmen überhaupt keine Ausgabe liefere; auch künstlich erzeugtes Rauschen, Hall oder Stimmengewirr aus einer Menschenmenge könnten eine Anweisung auf ähnliche Weise verfälschen. Eine Sicherheitsbarriere, die nur das Transkript auswertet, erkenne dann Unsinn oder Stille und lasse den Clip durch, während das dahinterliegende Modell weiterhin das Original-Audio empfange.

Ton-Überprüfung an zwei Stellen

Leitplanken für Audio-Inhalte würden die Aufnahme laut Check Point (Website) direkt überprüfen. Die Anwendung sende den Clip und erhalte umgehend ein Ergebnis zur Erkennung von Angriffen, ohne dass zuvor eine Transkriptionspipeline aufgebaut werden müsse. Im Hintergrund durchlaufe der Clip nacheinander zwei Prüfungen. Bei der ersten werde geprüft, ob das Audio verwendbar ist: wie stark die Qualität beeinträchtigt ist, ob es manipuliert wurde und ob Elemente enthalten sind, die es für Maschinen unlesbar machen. Die Tonaufnahme, die diese Prüfung nicht besteht, werde markiert und nicht weiterverarbeitet. Die zweite Prüfung transkribiere das Gesagte und bewerte es mit derselben „Prompt-Attack“-Erkennung, die auch Text schütze. Die erste Prüfung entscheide also zuerst, ob die Transkription vertrauenswürdig ist, bevor die zweite sich darauf stütze. Das Ergebnis gehe dann zurück an die Anwendung, die entscheide, wie es weitergeht, indem der Gesprächsabschnitt beendet werde, der Anrufer gebeten werde, sich zu wiederholen, oder der Anruf an einen Mitarbeiter weitergeleitet werde.ft