KI-Prognosen auf dem Niveau von Superprognostikern – Fluch oder Segen?
Spezialisierte KI-Systeme erreichen fast die Treffsicherheit menschlicher Top-Prognostiker – mit weitreichenden Folgen.
Künstliche Intelligenz wird immer besser darin, die Zukunft vorherzusagen. Spezialisierte KI-Prognosesysteme erreichen inzwischen fast die Treffsicherheit menschlicher "Superprognostiker". Das wirft grundlegende Fragen auf: Sollen wir Maschinen diese Aufgabe überlassen – und was geht dabei verloren?
Die Entwicklung ist das Ergebnis jahrzehntelanger Forschung. In den 1980er Jahren war der Psychologe Philip Tetlock fasziniert davon, dass hochangesehene geopolitische Analysten oft fundamental unterschiedlicher Meinung darüber waren, wie der Kalte Krieg verlief und was die Zukunft bereithielt. Seine Antwort: Er sammelte überprüfbare wirtschaftliche und politische Prognosen von einer breiten Palette von Experten und wartete ab, welche Vorhersagen richtig lagen.
Das Ergebnis war ernüchternd. In seinem 2005 erschienenen Buch "Expert Political Judgment: How Good Is It? How Can We Know?" zeigte Tetlock, dass die fachkundigen Spezialisten kaum vorhersagekräftiger waren als Schimpansen, die auf ein Ziel werfen. Doch er gab die Hoffnung nicht auf. In "Superforecasting" (2015) beschrieb er gemeinsam mit Dan Gardner eine ausgewählte Gruppe wirklich talentierter Prognostiker und hob deren besondere Merkmale hervor.
KI gegen den Menschen – ein neuer Vergleich
Die neueste Entwicklung ist naheliegend: Warum sollte man die öffentlich testbaren Prophezeiungen von Superprognostikern nicht mit denen vergleichen, die aus Large Language Models (LLMs) und anderen KI-Systemen hervorgehen? Erste Ergebnisse zeigen: Bei der Vorhersage von Zinsentscheidungen schlagen KI-Systeme den Markt nicht, sie schneiden aber auch nicht schlechter ab.
Eine systematische Evaluierung liefert ForecastBench, ein Projekt des Forecasting Research Institute unter der Leitung von Philip Tetlock. Die Ergebnisse sind beeindruckend. Der durchschnittliche Superprognostiker erzielt einen Wert von 68,9 auf dem ForecastBench-Index der Prognosegenauigkeit. Die besten spezialisierten KI-Prognostiker liegen bei 68,8 – ein nahezu identischer Wert. Zum Vergleich: Ein durchschnittlicher menschlicher Prognostiker erreicht 62,8, reguläre LLMs ohne spezielle Anpassung erzielen Werte von über 61.
Zum besseren Verständnis: Ein unfehlbares Orakel, das jeder Vorhersage perfekte Sicherheit zuordnet und immer recht behält, würde einen Wert von 100 erzielen. Ein Prognostiker, der jedes Ereignis als 50-50-Chance einstuft, erreicht den Schimpansen-Benchmark von 50. Der Superprognostiker-Wert von 68,9 liegt weit über bloßem Raten, aber noch weit entfernt von Allwissenheit.
Einschränkungen und offene Fragen
Allerdings gibt es eine lange Liste von Einschränkungen. ForecastBench vergleicht nicht ganz Äpfel mit Birnen: Die menschlichen Superprognostiker beantworteten 2024 eine Reihe von Fragen, während die KI-Systeme heute eine andere Reihe von Fragen beantworten. "Wird Schottland bis Ende Oktober seine Unabhängigkeit vom Vereinigten Königreich erklären?" ist einfacher zu beantworten als "Wird Wladimir Putin Ende 2030 Präsident Russlands sein?"
ForecastBench versucht, die Schwierigkeit dieser Fragen anzupassen, räumt jedoch ein, dass der Vergleich "auf einer statistischen Extrapolation beruht, die im Laufe der Zeit weniger zuverlässig wird". Das Institut verspricht, dass mehr menschliche Prognosen gesammelt werden, sodass bald mehr Klarheit herrschen könnte.
Der Wert des menschlichen Prozesses
Doch selbst wenn sich KI-Prognosesysteme als genau erweisen, fehlt etwas Wesentliches. Prognosen sind nicht nur wegen des Ergebnisses wertvoll – einer Zahl, die die Wahrscheinlichkeit eines zukünftigen Ereignisses beschreibt –, sondern wegen des Prozesses. Carissa Véliz, Autorin von "Prophecy: Prediction, Power, and the Fight for the Future, from Ancient Oracles to AI", bringt es auf den Punkt: "Der einzige Weg, um sicher zu wissen, wo jemand morgen sein wird, besteht darin, ihn dorthin zu bringen."
Eine Analogie bietet die Nutzung eines LLM zum Schreiben eines Aufsatzes. Egal wie hervorragend das Ergebnis sein mag – die Person, die den Prompt eingegeben hat, hat die Erfahrung des Durchdenkens, Entwerfens und Überarbeitens verpasst. Gleiches gilt für die Prognose. Eine gute Szenarioplanungsübung bringt Experten und Entscheidungsträger zusammen, um das Undenkbare auf strukturierte Weise zu bedenken.
Tetlock selbst hat gemeinsam mit den Co-Autoren Barbara Mellers und Hal Arkes festgestellt, dass die Teilnahme an Prognoseturnieren die politische Polarisierung reduziert. Gute Prognosen erfordern einen offenen Geist, die Fähigkeit, die Welt so zu sehen, wie andere sie sehen, und die Bereitschaft, Fehler zuzugeben. Prognostizieren im guten Glauben ist eine Praxis, die Menschen zu besseren Menschen macht.
Die Frage ist daher nicht nur, ob KI gut prognostizieren kann. Sondern auch, ob wir diese Aufgabe an eine Maschine delegieren sollten – oder ob wir uns das zweimal überlegen müssen.