Ein Forschungsteam um MATS Research, das Max-Planck-Institut für Intelligente Systeme, das ELLIS Institute Tübingen, die Universität Tübingen und Snyk hat eine gravierende Sicherheitslücke in den Denkprozessen großer KI-Modelle aufgedeckt. Wie heise online berichtet, verwenden die Modellfamilien GPT-5, Claude und Gemini offenbar globale Verschlüsselungsschlüssel. Das bedeutet: Die verschlüsselten internen Denkblöcke sind nicht strikt an eine Nutzersitzung, einen bestimmten Nutzer oder ein spezifisches Modell gebunden. Dadurch konnten die Forschenden mit einem kleineren, schwächeren Modell den verschlüsselten Denkblock eines leistungsfähigeren Modells erfolgreich auslesen.

Datenleck in öffentlichen Repositories

Die Forschenden durchsuchten öffentlich zugängliche Repositories und Logdateien und fanden insgesamt 315.320 solcher Denkblöcke. In diesen Blöcken entdeckten sie erschreckende Daten: 182 Zugangsdaten, 62 API-Schlüssel, 33 Klartext-Passwörter und 367 personenbezogene Identifikatoren. Diese Informationen könnten von Angreifern genutzt werden, um Systeme zu kompromittieren oder persönliche Daten zu missbrauchen. Die Sicherheitslücke zeigt, dass die Verschlüsselung interner Modellspuren kein ausreichender Schutz ist, solange die Schlüssel modellübergreifend wiederverwendet werden können.

Gefahr für Privatsphäre und Modellintegrität

Die Forschenden warnen nicht nur vor dem Datenabfluss. Die wiederverwendbaren Schlüssel könnten auch für versteckte Prompt-Injections genutzt werden – also das Einschleusen schädlicher Anweisungen in die Denkprozesse eines Modells. Zudem wäre es möglich, durch die entschlüsselten Denkblöcke das Verhalten eines Modells unautorisiert zu klonen. Die Anbieter wurden laut Bericht vorab informiert und haben erste Gegenmaßnahmen ergriffen. Langfristig müssten Verschlüsselungen jedoch strikt an Sitzung, Nutzer und konkretes Modell gebunden werden, um solche Angriffe zu verhindern.

Der Vorfall unterstreicht, dass KI-Sicherheit weit mehr umfasst als die reine Modellleistung. Es ist ein Weckruf für Entwickler und Anbieter, die Verschlüsselung interner Prozesse grundlegend zu überdenken. Für Nutzer bedeutet das: Vertrauen in KI-Systeme sollte nicht blind sein, sondern sich auf nachvollziehbare Sicherheitsmaßnahmen stützen. Die Forschung zeigt, dass selbst vermeintlich geschützte interne Abläufe angreifbar sind – ein wichtiger Schritt in Richtung verantwortungsvoller KI-Entwicklung.