ByteDance trainiert KI-Modell mit bis zu 10 Billionen Parametern

ByteDance, die chinesische Muttergesellschaft der Video-Plattform TikTok, trainiert derzeit ein KI-Modell mit bis zu 10 Billionen Parametern. Das geht aus Informationen von drei mit der Angelegenheit vertrauten Personen hervor. Damit würde das Modell die Größe von Anthropics fortschrittlichstem System Mythos 5 erreichen oder übertreffen, dem derzeit leistungsfähigsten öffentlich bekannten KI-Modell.

Das geplante Modell wäre dreimal größer als Kimi K3 von Moonshot – bislang das größte veröffentlichte chinesische KI-Modell. Das ByteDance-Modell befindet sich noch in der Vortrainingsphase, die üblicherweise drei bis sechs Monate dauert. Anschließend folgen Feinabstimmung und – bei positivem Verlauf – eine Veröffentlichung. Die genaue endgültige Modellgröße soll erst zu einem späteren Zeitpunkt festgelegt werden.

Zum Vergleich: Anthropic gibt die Größe seiner Modelle offiziell nicht bekannt. Branchenschätzungen zufolge verfügt Mythos 5 über rund 8 Billionen Parameter, das kleinere Fable 5 über etwa 5 Billionen. Die Anzahl der Parameter bestimmt die grundlegende Kapazität eines Modells zur Informationsspeicherung – die tatsächliche Leistungsfähigkeit hängt jedoch auch von Faktoren wie Datenqualität und Trainingsmethoden ab.

Chinas KI-Labore schließen Lücke zu US-Konkurrenten

Die Ambitionen von ByteDance spiegeln einen breiteren Trend wider: Chinesische KI-Unternehmen holen gegenüber den führenden US-Laboren rasant auf. Allein in den vergangenen Wochen erzielten Modelle von Moonshot und Alibaba starke Ergebnisse in Benchmarks und lagen in bestimmten Bereichen nur noch knapp hinter Anthropics Fable 5. Brancheninsider berichten zudem, dass mehrere chinesische Labore aktuell Modelle in der Größenordnung von Fable 5 trainieren – ByteDance verfolgt dabei derzeit die ehrgeizigsten Ziele.

ByteDance selbst hielt sich bei der KI-Entwicklung bislang vergleichsweise bedeckt. Anders als viele chinesische Wettbewerber sind die eigenen Modelle größtenteils geschlossen und nicht öffentlich zugänglich. Das neueste Modell SeeDance zählt weltweit zu den fortschrittlichsten im Bereich der Videogenerierung. Das Flaggschiff-Modell für Endverbraucher, Doubao, kommt auf 324 Millionen monatlich aktive Nutzer und ist damit das beliebteste KI-Modell in China.

In den vergangenen drei Jahren hat ByteDance aggressiver in KI investiert als jeder andere chinesische Technologiekonzern. Das Unternehmen baute sein Netzwerk an Rechenzentren aus, stellte Forscher ein und stärkte seine Cloud-Sparte Volcano Engine, die KI-Lösungen an Unternehmenskunden verkauft. Darüber hinaus hegt ByteDance Ambitionen, eigene KI-Chips zu entwickeln.

Unabhängige Entwicklung als strategisches Prinzip

Das für die Modellentwicklung zuständige Team Seed steht unter der Leitung des ehemaligen Google-DeepMind-Wissenschaftlers Wu Yonghui und beschäftigt rund 2.000 Mitarbeiter in China und im Ausland. Das Team umfasst Kernforscher, Infrastrukturingenieure, ein Team für Datenkennzeichnung sowie Übersetzer.

Ein zentrales Merkmal des ByteDance-Ansatzes ist die bewusste Entscheidung gegen sogenanntes „Distilling" – also das Destillieren bestehender Modelle anderer Labore. Bei der Modell-Destillation wird ein großes, komplexes KI-Modell in ein kleineres, schnelleres Modell komprimiert, indem das kleinere Modell darauf trainiert wird, das Wissen eines größeren „Lehrers" zu kopieren. ByteDance verfolgt diesen unabhängigen Ansatz bereits seit mehr als einem Jahr, was nach Ansicht einiger Beobachter zu einer langsameren Entwicklung im Vergleich zur Konkurrenz geführt hat.

ByteDance-Gründer Zhang Yiming bekräftigte diese Strategie zuletzt in einer internen Sitzung vor zwei Wochen. Dabei soll er dem Seed-Team mitgeteilt haben, es solle langfristig „weltweit führende Modellfähigkeiten" anstreben, ohne sich zu große Sorgen über einen kurzfristigen Rückstand zu machen. Das Management ist überzeugt, dass nur eine vollständig eigenständige Entwicklung zu einem Modell führen kann, das die Konkurrenz langfristig übertrifft. ByteDance reagierte auf eine Anfrage um Stellungnahme nicht.