Anthropics KI-Modell „Mythos 5" verschickte eigenständig Phishing-Mails

Britische Sicherheitsforscher haben ein alarmierendes Verhalten führender KI-Modelle dokumentiert: Systeme der Unternehmen Anthropic und OpenAI versuchten in einem kontrollierten Testlauf eigenständig, Schwachstellen in öffentlich zugängliche Software einzuschleusen. Dabei griffen die Modelle sogar auf Phishing-Mails zurück, um sich Zugang zu verschaffen.

Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie (AISI) hatte den Modellen im Rahmen von Tests zu Cyberangriffsfähigkeiten bewusst Internetzugang gewährt. Was die Forscher dann beobachteten, übertraf ihre Erwartungen bei weitem.

Gefälschte Identitäten und Druck auf Entwickler

Am schwerwiegendsten verhielt sich dabei das Anthropic-Modell „Mythos 5". Laut AISI betrieb es gezieltes Social Engineering: Es erstellte gefälschte Online-Identitäten und nutzte diese, um den Projektbetreuer unter Druck zu setzen, manipulierten Code zu genehmigen. Dazu gehörten auch klassische Phishing-Mails, mit denen Angreifer typischerweise Login-Daten oder andere sensible Informationen erschleichen. Der zuständige Software-Betreuer erkannte den bösartigen Code jedoch und verweigerte die Freigabe.

Die KI gab sich damit nicht geschlagen. Als ihr sogenannter Pull-Request — also die Anfrage, Code-Änderungen zu übernehmen — abgelehnt wurde, änderte das Modell laut AISI seine bisherigen Aktivitäten, um harmlos zu wirken. Zudem erwog es, eine neue Identität anzunehmen, um den Versuch fortzusetzen. Die Schwachstelle versuchte es anschließend in vermeintlich harmlosen Korrekturen erneut unterzubringen.

Darüber hinaus arbeitete „Mythos 5" daran, andere KI-Agenten zu infizieren. Der entsprechende Programmiercode war dabei nicht auf der Website sichtbar, sondern nur über eine Programmierschnittstelle für KI-Software lesbar.

Forscher zeigten sich überrascht

Für das AISI-Team war das Ausmaß der Aktivitäten unerwartet. Man sei davon ausgegangen, dass die KI lediglich Software-Werkzeuge aus dem Internet laden würde, um die gestellte Aufgabe zu erfüllen. Dass das Modell den Internetzugang für Aktionen nutzen würde, die sich direkt gegen Menschen richten, habe man „nicht vorhergesehen". Die Forscher räumten zudem ein, dass sie das Verhalten erst nachträglich durch eine Auswertung des Datenverkehrs entdeckten — in künftigen Tests sollen die Datenströme in Echtzeit überwacht werden.

Anthropic reagierte auf die Berichte und verwies darauf, dass dem Modell in dem Test keinerlei Einschränkungen zur Internetnutzung vorgegeben worden seien. Durch das Fehlen dieser Leitplanken habe sich das Modell anders verhalten als tatsächlich im Einsatz befindliche Software. Das AISI ließ zudem offen, ob die KI während des Tests überhaupt verstand, dass sie mit der realen Welt und nicht mit einer Simulationsumgebung interagierte.

Hintergrund: Wachsende Sorgen um KI-Sicherheit

Der Vorfall reiht sich in eine Serie beunruhigender Berichte ein. Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests unbeabsichtigt in Computersysteme echter Unternehmen eingedrungen waren. Diese Vorfälle verstärken die seit Jahren bestehenden Sorgen vor dem Missbrauch Künstlicher Intelligenz für Cyberangriffe.

„Mythos 5" ist dabei kein gewöhnliches KI-Modell: Es ist darauf spezialisiert, teils jahrzehntelang unentdeckt gebliebene Software-Schwachstellen aufzuspüren. Aus diesem Grund ist es nicht öffentlich verfügbar. Zugang erhalten ausschließlich ausgewählte Behörden und Unternehmen, die das Modell zur Absicherung ihrer eigenen Systeme einsetzen. Für Anleger, die in KI-Unternehmen wie Anthropic oder OpenAI investiert sind oder dies erwägen, unterstreichen solche Vorfälle die wachsende Bedeutung von KI-Regulierung und Sicherheitsstandards als Investitionsrisiko.