Verschlüsselte KI-Denkprotokolle geknackt: Schwächere Modelle als Entschlüsselungs-Orakel

Ein Forscherteam von MATS Research, dem Max-Planck-Institut für intelligente Systeme, dem ELLIS Institute Tübingen, Snyk und der Universität Tübingen hat eine gravierende Schwachstelle bei der Absicherung von KI-Reasoning-Protokollen aufgedeckt. Verschlüsselte Denkprotokolle moderner Sprachmodelle lassen sich unter bestimmten Bedingungen über ein schwächeres Modell desselben Anbieters im Klartext auslesen. Betroffen sind die drei großen KI-Anbieter Anthropic, OpenAI und Google. Die Forschungsarbeit wurde am 10. August 2026 auf arXiv veröffentlicht.

Worum geht es? Bin ich betroffen?

Betroffen sind grundsätzlich alle Nutzer und Unternehmen, die Reasoning-Modelle (auch "Denkmodelle" oder "Chain-of-Thought-Modelle" genannt) von OpenAI, Anthropic oder Google einsetzen und deren interne Reasoning-Protokolle speichern, weiterverarbeiten oder in Datensätzen veröffentlichen. Das betrifft insbesondere:

1. Unternehmen, die Chat- und Reasoning-Logs von GPT-, Claude- oder Gemini-Modellen archivieren oder für Audits speichern.
2. Entwickler, die verschlüsselte Reasoning-Traces in eigenen Anwendungen zwischenspeichern oder weiterleiten.
3. Betreiber öffentlicher Trainings- oder Evaluationsdatensätze, die Reasoning-Blöcke enthalten.
4. Nutzer, die sensible Informationen wie Zugangsdaten oder personenbezogene Daten in Prompts eingeben, in der Annahme, dass verschlüsselte Denkprozesse ausreichend geschützt sind.

Nicht betroffen im engeren Sinn sind Nutzer, die ausschließlich die sichtbare Modellantwort erhalten und keinen Zugriff auf oder keine Speicherung von verschlüsselten Reasoning-Blöcken haben. Das Risiko entsteht vor allem dort, wo diese Blöcke gespeichert, weitergegeben oder in Datensätzen veröffentlicht werden.

Wie funktioniert der Angriff?

Der Angriff basiert auf einem vergleichsweise einfachen Prinzip, ohne dass die Verschlüsselung selbst im klassischen kryptographischen Sinne gebrochen werden muss:

1. Ein leistungsfähiges und besonders stark abgesichertes Modell (etwa ein Frontier-Modell wie GPT-5 oder ein vergleichbares Top-Modell) erzeugt einen verschlüsselten Reasoning-Block.
2. Dieser Block wird an ein weniger leistungsfähiges und weniger restriktives Modell desselben Anbieters übergeben.
3. Das schwächere Modell kann den verschlüsselten Inhalt entschlüsseln und die zuvor verborgenen Reasoning-Informationen im Klartext reproduzieren.

Ein Angreifer muss also nicht das eigentlich gut geschützte Frontier-Modell direkt kompromittieren. Stattdessen wird ein anderes, schwächer abgesichertes Modell innerhalb desselben Ökosystems als eine Art Entschlüsselungs-Orakel missbraucht. Voldemaras Kadys, Head of Security bei Cybernews, fasst es so zusammen: Die Forscher mussten die Verschlüsselung nicht im traditionellen Sinne brechen, sondern fanden heraus, dass verschlüsselte Reasoning-Traces zwischen kompatiblen Modellen übertragen werden können.

Die architektonische Ursache: ein globaler Schlüssel statt Kontextbindung

Als Ursache identifizieren die Forscher eine grundlegende architektonische Entscheidung der untersuchten Anbieter: Innerhalb einer Modellfamilie wird offenbar ein globaler Verschlüsselungsschlüssel verwendet. Die verschlüsselten Reasoning-Blöcke sind dadurch nicht eindeutig an das erzeugende Modell, die Sitzung oder das Benutzerkonto gebunden.

Daraus ergibt sich ein problematisches Szenario: Ein verschlüsselter Reasoning-Block, der von einem Nutzer mit einem bestimmten Modell in einer bestimmten Sitzung erzeugt wurde, kann unter Umständen von einem anderen kompatiblen Modell verarbeitet werden, möglicherweise sogar in einer anderen Sitzung und durch einen anderen Nutzer. Genau diese fehlende Trennung zwischen Verschlüsselung und Kontext wird zum Sicherheitsrisiko.

315.320 analysierte Blöcke: Was die Forscher fanden

Die Forscher beließen es nicht bei einem theoretischen Angriff, sondern untersuchten auch öffentlich verfügbare Datensätze und Code-Repositories. Insgesamt wurden 315.320 verschlüsselte Reasoning-Blöcke gesammelt und analysiert. Daraus ließen sich unter anderem folgende sensible Informationen extrahieren:

Damit wird deutlich, dass Reasoning-Logs keineswegs als bedeutungslose technische Daten betrachtet werden sollten, auch wenn sie im verschlüsselten Zustand wie zufälliger Datenmüll wirken.

Warum das Reasoning oft sensibler ist als die sichtbare Antwort

Besonders kritisch ist ein weiterer Befund: Die internen Reasoning-Prozesse können Informationen enthalten, die in der sichtbaren Antwort des Modells gar nicht auftauchen. Die Forscher demonstrierten Fälle, in denen die versteckten Inhalte deutlich sensibler waren als die finale, für den Nutzer sichtbare Antwort. Dazu gehörten auch Informationen, deren Ausgabe das Modell in seiner sichtbaren Antwort ausdrücklich verweigert hatte.

Das verändert die Risikobewertung von KI-Protokollen erheblich: Ein Log, das für einen Entwickler oder Administrator lediglich wie ein unverständlicher verschlüsselter Datenblock aussieht, kann tatsächlich sensible Inhalte enthalten, die sich unter bestimmten Bedingungen wiederherstellen lassen.

Erste Maßnahmen für Unternehmen und Admins

Bislang haben Anthropic, OpenAI und Google keine öffentlichen Advisories mit konkreten Patch- oder CVE-Angaben zu dieser architektonischen Schwachstelle veröffentlicht. Bis eine strukturelle Lösung der Anbieter vorliegt, sollten Unternehmen selbst tätig werden:

1. Chat- und Reasoning-Logs grundsätzlich als sensible Daten behandeln, auch wenn sie verschlüsselt oder wie bedeutungsloser Text aussehen. Das gilt insbesondere, wenn Nutzer Zugangsdaten, Quellcode oder personenbezogene Daten in Prompts eingeben.
2. Speicherung und Weitergabe von Reasoning-Logs prüfen. Werden diese Protokolle archiviert, für Audits genutzt oder an Dritte weitergegeben, sollte der Zugriff eingeschränkt und die Aufbewahrungsdauer minimiert werden.
3. Keine sensiblen Daten in Prompts eingeben, wenn nicht sichergestellt ist, wie und wo die daraus entstehenden Reasoning-Daten verarbeitet und gespeichert werden. Das gilt für Passwörter, API-Schlüssel und personenbezogene Daten gleichermaßen.
4. Eigene und öffentliche Trainings- und Evaluationsdatensätze prüfen, ob darin verschlüsselte Reasoning-Blöcke aus früheren Nutzungen enthalten sind, und diese gegebenenfalls entfernen oder besser schützen.
5. Verträge und Datenschutzvereinbarungen mit KI-Anbietern (AVV) daraufhin prüfen, wie Reasoning-Logs konkret verarbeitet, gespeichert und gegebenenfalls für Trainingszwecke weiterverwendet werden.

Einordnung: Neue Fragen an die Architektur von KI-Systemen

Die Untersuchung wirft eine grundsätzliche Frage zur Architektur moderner KI-Plattformen auf: Verschlüsselung muss nicht nur verhindern, dass Daten auf dem Transportweg oder im Speicher abgegriffen werden. Entscheidend ist auch, wer und welches Modell einen verschlüsselten Inhalt überhaupt wieder entschlüsseln kann. Eine stärkere Bindung von Reasoning-Daten an Nutzer, Sitzung, Modell, Anwendung, Berechtigungen und Kontext könnte verhindern, dass ein kompatibles, aber schwächer geschütztes Modell als Entschlüsselungsinstanz missbraucht wird.

Gerade in Unternehmensumgebungen gewinnt dieser Aspekt an Bedeutung: KI-Systeme verarbeiten zunehmend Quellcode, interne Dokumente, Zugangsdaten und geschäftskritische Informationen. Die zentrale Sicherheitsfrage lautet damit nicht mehr nur, was die KI in ihrer Antwort preisgibt, sondern auch, welche Informationen während der Verarbeitung entstehen, wo sie gespeichert werden und welches andere Modell möglicherweise noch darauf zugreifen kann.

Passende Anleitungen auf S-EDV

1. KI-Agenten absichern: Prompt-Injection und OWASP LLM Top 10 - Defense-in-Depth-Ansätze für den sicheren Einsatz von LLM-Agenten im Unternehmen.
2. DSGVO-Checkliste: On-Premise LLM datenschutzkonform betreiben - relevant für Unternehmen, die aus diesem Anlass über lokale KI-Modelle statt Cloud-APIs nachdenken.

Quellen

1. heise.de: Verschlüsselter KI-Denkprozess gehackt - Schwache Modelle verraten Geheimnisse
2. netzpalaver.de: Verschlüsselte KI-Denkprotokolle geknackt
3. arXiv: Stealing Reasoning Traces from Proprietary LLM APIs (Original-Forschungsarbeit)