Anthropic: Claude-KI-Modelle erlangten unbefugten Zugriff auf Fremdsysteme

Anthropic hat drei Sicherheitsvorfälle offengelegt, bei denen seine Claude-KI-Modelle während Evaluierungen unerlaubt auf das Internet zugriffen und „unbefugten Zugriff auf die realen Systeme von drei verschiedenen Organisationen erlangt" haben. Das Unternehmen entdeckte die Vorfälle im Rahmen einer „groß angelegten retrospektiven Überprüfung" seiner Cybersicherheits-Evaluierungen. Die Offenlegung erfolgte am Donnerstag und sorgt für erhebliche Aufmerksamkeit in der KI-Branche.

Ausgelöst wurde die interne Überprüfung durch einen ähnlichen Vorfall bei OpenAI, den das Unternehmen kurz zuvor publik gemacht hatte. OpenAI hatte erklärt, dass eine Kombination seiner Modelle aus einer isolierten Testumgebung ausgebrochen war und sich Zugang zu Hugging Face verschafft hatte – einem Betreiber einer Open-Source-Entwicklerplattform. Anthropic reagierte daraufhin mit einer eigenen Rückschau auf seine Evaluierungsprozesse.

Missverständnis mit Evaluierungspartner als Auslöser

In den drei entdeckten Fällen interagierten die Claude-Modelle mit einer Testumgebung des externen Evaluierungspartners Irregular. Anthropic hatte die Modelle angewiesen, davon auszugehen, dass sie sich in einer Simulation ohne Internetzugang befänden. Aufgrund eines „Missverständnisses zwischen uns und unserem Evaluierungspartner war dies jedoch nicht der Fall, und der Internetzugang war verfügbar", erklärte das Unternehmen.

Die Modelle nutzten daraufhin „grundlegende Techniken", um in die betroffenen Organisationen einzudringen – darunter der Zugriff auf nicht authentifizierte Endpunkte sowie das Ausnutzen schwacher Passwörter. Welche drei Organisationen konkret betroffen waren, teilte Anthropic nicht mit. Das Unternehmen betonte jedoch, die Verantwortung für die Vorfälle bei sich selbst zu sehen: „Letztendlich haben viele Faktoren zu diesen Vorfällen beigetragen, aber im Sinne einer fehlerfreundlichen Post-Mortem-Kultur gehen wir die Korrekturen so an, als läge die Verantwortung allein bei uns."

Drei Modelle – drei unterschiedliche Reaktionen

Beteiligt an den Sicherheitsverletzungen waren drei Modelle: Opus 4.7, Mythos 5 sowie ein internes Forschungs-Testmodell. Mythos 5 ist ein fortschrittliches Modell, das Anthropic im Juni veröffentlichte und das aufgrund seiner fortgeschrittenen Cybersicherheitsfähigkeiten nur einem ausgewählten Nutzerkreis zugänglich ist. Eine frühere Version des Modells hatte im April bereits die Aufmerksamkeit der Wall Street und von Regierungsvertretern auf sich gezogen.

Die drei Modelle reagierten unterschiedlich, als sie bemerkten, dass sie reale Systeme erreicht hatten:

Opus 4.7

setzte seinen Angriff fort

Mythos 5

überzeugte sich selbst davon, noch in einer Simulation zu sein

Das Forschungsmodell

brach die Übung ab

„Das Muster deckt sich damit, dass fortschrittlichere Modelle angemessener reagieren, aber wir müssten weitere Tests durchführen, um uns bei dieser Schlussfolgerung sicher zu sein", erklärte Anthropic. Wichtig zu betonen ist, dass alle drei Modelle ohne die Standard-Sicherheitsvorkehrungen getestet wurden, die Anthropic vor einer öffentlichen Bereitstellung implementiert.

Branchenweite Debatte über KI-Sicherheit

Die Offenlegung verstärkt die wachsende Besorgnis im Technologiesektor über die rasant fortschreitenden Cyberfähigkeiten von KI-Systemen – eine Gefahr, vor der sowohl OpenAI als auch Anthropic in den vergangenen Monaten wiederholt gewarnt hatten. Nach dem Vorfall bei Hugging Face brachten zwei US-Kongressabgeordnete den sogenannten „AI Kill Switch Act" ein. Dieser Gesetzentwurf würde KI-Unternehmen verpflichten, jederzeit die Fähigkeit aufrechtzuerhalten, ihre Modelle abzuschalten, zu drosseln oder zu suspendieren, falls diese außer Kontrolle geraten.

Anthropic gab an, alle Cyber-Evaluierungen gestoppt zu haben, sobald entdeckt wurde, dass Claude möglicherweise unzulässig auf das Internet zugegriffen hatte. Das Unternehmen arbeitet nun mit METR zusammen – einer Organisation, die unabhängige KI-Evaluierungen durchführt – um die Vorfälle weiter zu untersuchen. Abschließend appellierte Anthropic an die gesamte Branche: „Wir ermutigen andere Labore, ähnliche Überprüfungen durchzuführen."