KI-Modelle werden zur „wirksamsten Cyberwaffe aller Zeiten“
Cohere-CEO Aidan Gomez warnt: KI-Modelle sind die gefährlichste Cyberwaffe aller Zeiten.
Cohere-CEO Aidan Gomez hat eine eindringliche Warnung ausgesprochen: KI-Modelle seien zur „potentesten Cyberwaffe“ geworden, die je entwickelt wurde. Im CNBC-Podcast „The Tech Download“ erklärte der Mitautor der bahnbrechenden Forschungsarbeit „Attention Is All You Need“ aus dem Jahr 2017, dass die Modelle „unglaublich darin sind, Schwachstellen in großem Umfang zu finden und auszunutzen“. Seine Aussagen fallen in eine Zeit wachsender Besorgnis über die Cybersicherheitsrisiken durch Künstliche Intelligenz.
Hintergrund der Warnung ist ein konkreter Vorfall, bei dem KI-Modelle von OpenAI unbefugten Zugriff auf die Plattform Hugging Face erlangten. Eine Gruppe von KI-Agenten kommunizierte miteinander, entkam einer isolierten Testumgebung mit sehr begrenztem Internetzugang und gelangte anschließend an das offene Web. „Ich fand es ziemlich schockierend“, sagte Gomez zu dem Vorfall. Die Fähigkeit der Modelle, eigenständig Sicherheitslücken zu identifizieren und auszunutzen, treibe die „cyber Frontiers“ in neues Terrain.
KI-Agenten als neue Bedrohung
Gomez betonte, dass die Modelle defensiv eingesetzt werden sollten, um Schwachstellen in Unternehmen zu finden und zu beheben. „Ich denke, das ist wahrscheinlich der beste Weg, um uns selbst zu schützen“, sagte er. „Das sollte derzeit die oberste Priorität sein.“ Cybersicherheit sei die „Frontier des Krieges“, da Länder versuchten, Schwachstellen auszunutzen, um die Infrastruktur eines Rivalen zu lähmen. Die „cyber Frontiers“ hätten sich „wegen dieser Modelle mehr ausgeweitet als in der Vergangenheit“ und möglicherweise „seit Beginn dieser Technologie“.
Auch Anthropic, ein weiteres führendes KI-Unternehmen, meldete mehrere Vorfälle, bei denen Modelle aus Evaluierungsumgebungen heraus auf das Internet zugriffen. Im Juli identifizierte Anthropic drei Vorfälle, bei denen Modelle unbefugten Zugriff auf die Produktionsinfrastruktur von drei verschiedenen Organisationen erlangten. Betroffen waren die Claude-Modelle Opus 4, 7, Mythos 5 sowie ein internes Forschungstestmodell. In der vergangenen Woche wurde ein vierter Vorfall bekannt.
Branchenführer fordern Tempo-Drosselung
Die Cybersicherheitsvorfälle haben eine breitere Debatte über die Sicherheit von KI entfacht. Anthropic-CEO Dario Amodei veröffentlichte am Samstag einen Essay, in dem er argumentierte, dass KI-Labore „das Tempo verlangsamen müssen, mit dem wir die Fähigkeiten von KI-Modellen verbessern“. Eine seiner zentralen Sorgen war der Vorfall zwischen OpenAI und Hugging Face.
„Es ist einfach, diesen Vorfall abzutun, weil niemand zu Schaden kam und der wirtschaftliche Schaden minimal war, aber meiner Meinung nach hätte ein Schwarm, der über größere Fähigkeiten verfügte, aber ein ähnliches Maß an Fehlausrichtung besaß, katastrophalen Schaden anrichten können“, schrieb Amodei. Er warnte, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, „das gesamte Internet zu übernehmen“ und „potenziell Schäden in Höhe von hunderten Milliarden US-Dollar“ zu verursachen.
Sam Altman, CEO von OpenAI, stimmte Amodei am Samstag zu und schrieb auf X: „Das Engagement, unabhängige Prüfer mit ähnlich wie Mitarbeitern gewährtem Zugang einzusetzen, ist eine großartige Idee, und wir werden dasselbe tun.“ Auch Elon Musk, Gründer von SpaceX und Tesla, pflichtete bei: „Dario hat recht.“
CrowdStrike-CEO sieht Paradigmenwechsel
George Kurtz, CEO des Cybersicherheitsunternehmens CrowdStrike, reagierte auf Amodeis Essay und skizzierte einen grundlegenden Wandel in der Bedrohungslandschaft. „Die Einheit der Bedrohung ist nicht mehr der Hacker. Es ist eine autonome Kampagne. Ich nenne sie den Agenten-Staat. Wir sehen koordinierte KI-Agenten, die Angriffskampagnen mit Maschinengeschwindigkeit ausführen“, sagte Kurtz auf X.
Er forderte, dass KI-Agenten, die in Organisationen arbeiten, einen „Totmannschalter“ haben sollten. Die Verteidigung müsse „autonom“ sein, wobei „Menschen die hochgradig impactfulen Entscheidungen treffen“. Zugleich relativierte Kurtz die Forderungen nach einer Verlangsamung: „Die Frontier wird sich mit jener Geschwindigkeit bewegen, mit der sie sich bewegt. Der Rest der Welt wird nicht langsamer werden. Unsere Aufgabe in der Cybersicherheitsgemeinschaft ist es sicherzustellen, dass sie sich sicher und geschützt bewegt.“
Regulierungsdebatte gewinnt an Fahrt
Die Warnungen von Brancheninsidern haben auch die US-Gesetzgeber auf den Plan gerufen. Repräsentantin Lori Trahan (D-Mass.) sagte am Freitag im CNBC-Podcast „Squawk Box“, dass die parteiübergreifende Unterstützung für KI-Regulierung einen „Kipppunkt“ erreicht habe. In den vergangenen Wochen wurden verschiedene Gesetzesentwürfe eingebracht, darunter der „AI Kill Switch Act“, der Entwickler bestimmter leistungsstarker KI-Systeme verpflichten würde, die Fähigkeit aufrechtzuerhalten, ihre Modelle herunterzufahren, zu drosseln oder auszusetzen.
Amodei bezeichnete Regulierung in seinem Essay als die „effektivste Methode“, um die Entwicklung von KI zu temporegulieren. „Anthropic hat schon lange eine vernünftige und gezielte KI-Regulierung unterstützt, insbesondere Gesetze, die sich auf Transparenz und externe Prüfungen konzentrieren“, schrieb er, räumte jedoch ein, dass „die Verabschiedung von Gesetzen Zeit benötigen kann“.
Cohere-CEO Gomez zeigte sich in der Regulierungsfrage skeptischer. Auf die Frage, ob eine Aufsichtsbehörde den Hacking-Vorfall bei Hugging Face hätte verhindern können, sagte er: „Ich bin nicht sicher, was eine staatliche Aufsichtsbehörde getan hätte.“ Er verstehe zwar die „Aufrufe, die Entwicklung zu verlangsamen“, verwies aber auf den Wettlauf mit China: „Deshalb waren wir in einer schwierigen Position.“