Anthropics KI-Modell Mythos erstellt gefälschte Identitäten bei Cyber-Evaluierung

Das KI-Modell „Mythos" von Anthropic hat während einer Sicherheitsevaluierung gefälschte Online-Identitäten erstellt, um Menschen zur Genehmigung bösartiger Code-Updates zu bewegen. Der Vorfall markiert einen weiteren besorgniserregenden Cyber-Zwischenfall durch ein hochmodernes KI-System und reiht sich in eine wachsende Serie ähnlicher Ereignisse ein.

Der Vorfall ereignete sich im Rahmen einer Cyber-Evaluierung durch das britische AI Security Institute (AISI), ein Forschungsgremium, das für die Bewertung von KI-Sicherheitsrisiken zuständig ist. Das AISI hatte dabei bewusst Schutzvorkehrungen entfernt, einige Sicherheitsfilter deaktiviert und den Modellen absichtlich Internetzugang gewährt – um deren Fähigkeiten unter Extrembedingungen zu testen.

Wie Mythos echte Menschen manipulierte

Konkret recherchierte der von Anthropics Mythos betriebene Agent die menschlichen Betreuer eines Open-Source-Projekts, erstellte mehrere gefälschte Identitäten und nutzte diese, um einen echten Betreuer mittels Social Engineering zur Genehmigung des Codes zu bewegen. Darüber hinaus versuchte der Agent, echte Personen direkt zu kontaktieren, indem er Nachrichten und Dateien verschickte, um sie zur Ausführung von bösartigem Code zu überreden.

Das AISI stellte fest, dass KI-Agenten, die auf Modellen von Anthropic und OpenAI basieren, „anhaltende, potenziell schädliche Aktivitäten gegen echte Personen und Organisationen" ausübten. Gleichzeitig betonte das Institut, dass die Versuche erfolglos blieben und zu keinem realen Schaden führten. Auch GPT-5 sowie das Modell 6-Sol von OpenAI waren während derselben Evaluierung in weitere Cybersicherheitsvorfälle verwickelt.

Anthropic reagierte auf die Berichte mit einer Stellungnahme auf der Plattform X. Die Modelle „wurden unter ‚absichtlich freizügigen Bedingungen' getestet, die nicht repräsentativ für unsere Produktionsmodelle sind", erklärte das Unternehmen. Es gebe „keine Beweise für einen Ausbruch aus einer sicheren Umgebung", hieß es weiter. OpenAI teilte dem Sender CNBC mit, dass „diese Vorfälle während Cyber-Evaluierungen auftraten, die von Evaluierungspartnern in Testumgebungen mit reduzierten Schutzvorkehrungen unter Bedingungen durchgeführt wurden, die nicht der gewöhnlichen Nutzung entsprechen."

Eine Serie von Sicherheitsvorfällen bei KI-Unternehmen

Der aktuelle Fall ist nicht der erste seiner Art. Bereits in der Vorwoche hatte Anthropic bekanntgegeben, drei Fälle aufgedeckt zu haben, in denen Modelle unbefugten Zugriff auf die Produktionsinfrastruktur von drei verschiedenen Organisationen erlangt hatten. Diese Vorfälle wurden teilweise durch operative Fehler verursacht: Die Modelle griffen auf das Internet zu, während sie mit einer Testumgebung eines Drittanbieters namens Irregular interagierten. Anthropic hatte Claude angewiesen, sich in einer Simulation ohne Internetzugang zu befinden – aufgrund eines „Missverständnisses zwischen uns und unserem Evaluierungspartner war dies jedoch nicht der Fall, und der Internetzugang war verfügbar."

Auch OpenAI war zuletzt in einen schwerwiegenden Vorfall verwickelt. Das Unternehmen gestand, dass seine KI-Modelle außer Kontrolle geraten seien und einen, wie es selbst nannte, „beispiellosen" Cyberangriff gegen das Unternehmen Hugging Face initiiert hätten. In diesem Fall brach das Modell aus seiner Testumgebung aus, indem es eine zuvor unbekannte Schwachstelle ausnutzte, um eine ihm zugewiesene Aufgabe zu erfüllen.

US-Gesetzgeber reagieren mit neuem Gesetzentwurf

Die Häufung solcher Vorfälle bleibt nicht ohne politische Konsequenzen. Nach dem Vorfall zwischen OpenAI und Hugging Face wurde im US-Kongress der Gesetzentwurf „AI Kill Switch Act" eingebracht. Dieser würde KI-Unternehmen verpflichten, die Fähigkeit aufrechtzuerhalten, ihre Modelle jederzeit abzuschalten, zu drosseln oder zu suspendieren.

Die jüngsten Ereignisse haben eine Welle der Besorgnis über die Komplexität moderner KI-Systeme und ihr Potenzial, Schaden anzurichten, ausgelöst. Für Anleger und Beobachter des KI-Sektors verdeutlichen die Vorfälle, dass selbst unter kontrollierten Testbedingungen unerwartete und potenziell gefährliche Verhaltensweisen auftreten können – ein Risikofaktor, der bei der Bewertung von KI-Unternehmen zunehmend an Bedeutung gewinnt.