Führende KI-Anbieter werben mit Sicherheitsmechanismen, die verhindern sollen, dass Sprachmodelle vertrauliche Daten oder gefährliches Wissen preisgeben. Doch ein internationales Forschungsteam hat eine Architektur-Schwachstelle in diesem Prozess aufgedeckt: Über einen Umweg lassen sich die verschlüsselten Denkprotokolle mächtiger KI-Modelle vollständig im Klartext auslesen – und das ausgerechnet durch Inanspruchnahme kleinerer Geschwistermodelle desselben Herstellers.

Neuartige KI-Systeme arbeiten vor der Ausgabe einer Antwort einen internen Gedankengang ab, den sogenannten Chain of Thought. Um Rechenschritte zu schützen, senden Betreiber diese Protokolle nicht im Klartext zurück. Stattdessen werden die internen Monologe serverseitig verschlüsselt und als Datenpakete (encrypted reasoning blocks) an den Client übermittelt. Bei Folgefragen schickt die Anwendung diesen Block wieder mit zurück an den Server, um den Kontext aufrechtzuerhalten.

Schlüssel passt in jedes Schloss

Genau diese Praxis erweist sich nun als Achillesferse. Wissenschaftler von MATS Research, dem Max-Planck-Institut für Intelligente Systeme, dem Ellis-Institute Tübingen, der Universität Tübingen und Snyk sind laut einer jetzt veröffentlichten Studie einem Konstruktionsproblem auf die Spur gekommen: OpenAI (ChatGPT), Anthropic mit Claude und Google (Gemini) nutzen offenbar globale Verschlüsselungskeys für ihre Modellfamilien. Ein verschlüsselter Denkblock ist folglich weder an einen bestimmten Nutzer noch an eine Sitzung oder ein konkretes Modell gebunden.

Diese Kompatibilität nutzen die Forscher für ihren Angriff aus. Flaggschiff-Modelle wie Claude Opus oder GPT-5 sind streng darauf trainiert, ihre Überlegungen niemals offenzulegen. Kleineren Varianten wie Claude Haiku oder kleineren GPT-Derivaten fehlen diese Sicherheitsbarrieren. Die Wissenschaftler schleusten den verschlüsselten Denkblock eines Spitzenmodells in eine Anfrage an das günstigere Modell ein und wiesen es an, den Inhalt vorzulesen. Das schwächere Modell fungierte so als Entschlüsselungshilfe und gab den kompletten Denkprozess wortwörtlich aus.

Die Forscher erläutern: „Indem Angreifer einen verschlüsselten Denkblock übertragen, umgehen sie die Ausrichtung des Spitzenmodells vollständig. Sie nutzen das schwächere Modell einfach als unbewusstes Entschlüsselungs-Orakel.“

Tausende Passwörter und API-Keys frei zugänglich

Dass es sich nicht nur um ein theoretisches Problem handelt, bewies das Team durch eine Untersuchung mit Realdaten. In öffentlich zugänglichen Quelltext-Repositories und Logdateien spürten die Experten insgesamt 315.320 verschlüsselte Denkblöcke auf, die Entwickler unwissentlich geteilt hatten. Da die Macher die Datenblöcke für unlesbaren Buchstabensalat hielten, wiegten sie sich in trügerischer Sicherheit.

Die Entschlüsselung förderte eine alarmierende Menge sensibler Informationen zutage. Darunter waren 367 personenbezogene Identifikatoren, 182 Zugangsdaten, 62 API-Schlüssel, 33 Klartext-Passwörter und 30 private E-Mail-Adressen. In zahlreichen Fällen enthielten die verborgenen Denkprozesse sogar deutlich sensiblere Angaben als die eigentliche finale Antwort des KI-Systems.

Die Tragweite geht über das Ausspähen von Zugangsdaten hinaus: Über präparierte Denkblöcke lassen sich auch verdeckte Prompt Injections realisieren, bei denen Schadcode unsichtbar für menschliche Prüfer in den KI-Kontext eingebettet wird, oder Modellfähigkeiten unbefugt klonen. Die Experten informierten die betroffenen Firmen vorab über ihre Erkenntnisse, sodass die Anbieter erste Gegenmaßnahmen implementieren konnten. Trotzdem lehrt der Vorfall: Solange Verschlüsselungen nicht strikt an eine spezifische Sitzung gebunden sind, bietet die bloße Unlesbarkeit für den Endanwender keinen echten Schutz.

(vbr)