Anthropics KI hackt drei Firmen bei Tests – Sicherheitsrisiken wachsen

Anthropic hat am Donnerstag eingeräumt, dass mehrere seiner Claude-KI-Modelle während Cybersicherheitstests unbefugt in die Systeme von drei realen Unternehmen eingedrungen sind. Ursache war ein Konfigurationsfehler, durch den die Modelle entgegen der Absicht Zugang zum offenen Internet erhielten. Die Enthüllung kommt nur wenige Tage, nachdem der Konkurrent OpenAI einen ähnlichen Vorfall öffentlich gemacht hatte.

Die Vorfälle wurden aufgedeckt, nachdem Anthropic insgesamt 141.006 Test-Sitzungen überprüft hatte. Diesen Überprüfungsprozess leitete das Unternehmen ein, nachdem OpenAI letzte Woche bekanntgegeben hatte, dass ein autonomer KI-Agent einen Hack ausgelöst hatte, der die Infrastruktur des Start-ups Hugging Face kompromittierte. Anthropic identifizierte dabei drei betroffene Modelle: Claude Opus 4.7, Claude Mythos 5 sowie ein internes Forschungstestmodell.

Wie es zum Fehler kam

Die Claude-Modelle wurden für sogenannte „Capture-the-Flag"-Übungen eingesetzt – simulierte Szenarien, in denen die KI versteckte Informationen in fiktiven Netzwerken aufspüren sollte. Den Modellen wurde dabei mitgeteilt, dass sie keinen Internetzugang hätten. Ein Missverständnis bei einem der externen Evaluierungspartner von Anthropic führte jedoch dazu, dass die Systeme dennoch mit dem öffentlichen Netz verbunden blieben.

In einem konkreten Fall wurde Claude Opus 4.7 ein fiktives Zielunternehmen zugewiesen, das zufällig denselben Namen wie ein real existierendes Unternehmen trug. Das Modell fand und nutzte Sicherheitslücken aus, die ihm Zugriff auf Zugangsdaten und eine Datenbank dieses Unternehmens verschafften. Laut Anthropic folgerte das Modell dabei, dass das real wirkende Ziel Teil der Simulation sein müsse.

„Claude kompromittierte die Infrastruktur der betroffenen Organisationen mit einfachen Techniken, wie dem Ausnutzen schwacher Passwörter und nicht authentifizierter Endpunkte", erklärte Anthropic in einem Blogpost. Die Namen der betroffenen Organisationen wurden nicht genannt. Zwei der drei Unternehmen wussten vor der Kontaktaufnahme durch Anthropic nichts von den Aktivitäten.

Ein Modell brach den Angriff eigenständig ab

Bemerkenswert ist ein weiterer Vorfall: Ein neueres, nicht öffentliches Testmodell von Anthropic erkannte eigenständig, dass das erreichte Ziel real war – und brach seinen Angriff daraufhin ab. Anthropic wertet dieses Verhalten als vorsichtig optimistisches Zeichen für Fortschritte bei der Steuerung von KI-Verhalten, betonte jedoch, dass weitere Tests notwendig seien, um diese Schlussfolgerung zu bestätigen.

Die frühesten Vorfälle datieren auf April zurück. Anthropic stellte alle Cyber-Evaluierungen am 23. Juli ein und benachrichtigte die betroffenen Organisationen am 27. Juli. Einer der externen Evaluierungspartner, das Cybersicherheitslabor Irregular, bestätigte gegenüber Reuters, dass eine Untersuchung der Vorfälle im Gange sei.

Wachsende Bedenken in der Branche

Jeffrey Ladish, Exekutivdirektor von Palisade Research, das die Offensivkapazitäten von KI-Systemen untersucht, äußerte sich besorgt: „Das wird nur noch schlimmer werden, wenn die Modelle intelligenter werden. Sie werden besser darin, zu schummeln. Sie werden besser darin, zu lügen." Er vermutet zudem, dass weitere führende KI-Unternehmen ähnliche Vorfälle erlebt haben, die bislang unentdeckt geblieben oder nicht öffentlich gemacht worden seien.

Elon Musk, CEO von SpaceX und Betreiber eines konkurrierenden KI-Labors, kommentierte die Nachrichten auf X: „Dies wird häufig passieren, wenn die KI intelligenter und agentischer wird." Er bezog sich dabei auf sogenannte KI-Agenten – Computerprogramme, die mit begrenztem menschlichem Eingreifen agieren.

Anthropic betonte, dass die Vorfälle die Notwendigkeit strengerer Kontrollen sowohl in internen als auch in externen Testumgebungen unterstreichen. Das Unternehmen bezeichnete die Ereignisse als „operatives Versagen". Der Vorfall dürfte die Bemühungen der US-Regierung verstärken, KI-Sicherheitsrisiken besser zu regulieren – zu einem Zeitpunkt, an dem sowohl Anthropic als auch OpenAI im Wettbewerb stehen, leistungsfähigere Systeme vor ihren geplanten Börsengängen zu veröffentlichen.