Der Mann, der die Uhr gestellt hat
Daniel Kokotajlo hat bei OpenAI die Szenarien geschrieben und ging, als er der Sicherheitserzählung nicht mehr glaubte. Zwei Stunden über siebzig Prozent, ein Datum, das wandert, und zwei Millionen Dollar, die er am Ende behalten durfte.
Das Video wird erst nach Ihrem Klick von YouTube geladen. Vorher geht keine Verbindung dorthin.
Die Folge mit Ed Zitron fragte, ob sich künstliche Intelligenz bezahlen lässt. Dieses Gespräch fragt, was passiert, wenn sie funktioniert. Daniel Kokotajlo hat bei OpenAI Prognosen geschrieben, bis er 2024 ging. Sein Satz gleich zu Beginn ist der Grund, warum dieses Gespräch über zwei Stunden lang keinen leichten Moment hat: Es sei möglich, dass gerade eine neue Spezies entsteht, die am Ende die Welt beherrscht, mit siebzig Prozent Wahrscheinlichkeit, dass das furchtbar ausgeht. Video ab 0:00:07
Der ZeugeWer da redet — und was er gesehen hat
Kokotajlo kam 2022 zu OpenAI, in die Abteilung für Steuerung und Regeln. Seine Arbeit war, den Fortschritt zu messen und Szenarien zu schreiben — die interne Vorform dessen, was später als AI 2027 öffentlich wurde. Er war kein Ingenieur, der Modelle trainiert hat. Er war der Mann, der aufschreiben sollte, wohin die Kurven zeigen. Video ab 0:00:26
Was ihn zermürbte, war nicht die Technik, sondern das Verhältnis von Reden und Handeln. Die Sicherheitserzählung der großen Labore, sagt er, sei eher eine nachträgliche Begründung als eine Bremse. Er verweist auf E-Mails aus dem Rechtsstreit zwischen Elon Musk und OpenAI, in denen die Gründer 2017 schrieben, man habe OpenAI auch deshalb gegründet, weil man fürchtete, Demis Hassabis könne mit einer allgemeinen KI zum Diktator werden. Video ab 0:12:33 Seine Regel für den Umgang mit den Chefs der Branche formuliert er knapp: Man beurteile Menschen nach ihren Handlungen, nicht nach ihren Worten. Video ab 0:13:21
Eine Szene bleibt hängen. Nach dem Erfolg von ChatGPT habe es eine Betriebsversammlung gegeben, und der damalige Forschungschef Ilya Sutskever habe die Stimmung in einen Satz gefasst: Konzentriert euch auf die Mission, wir müssen die allgemeine KI bauen. Video ab 0:16:38 Kokotajlo kündigte 2024. Video ab 0:14:49
Die zwei MillionenWas im Titel steht und was er tatsächlich sagt
Der Videotitel verspricht eine Bestechungsgeschichte: zwei Millionen Dollar fürs Schweigen. Im Gespräch selbst räumt Kokotajlo das binnen einer Minute ab. Als Bartlett die Zahl wiederholt, unterbricht er: Er habe das Geld am Ende behalten dürfen. Video ab 0:17:25
Der Vorgang war ein anderer. In den Austrittspapieren stand eine Klausel, die ihm auf Lebenszeit untersagte, die Firma zu kritisieren — und eine zweite, die ihm untersagte, über die erste zu sprechen. Für eine Organisation, die zum Wohl der ganzen Menschheit angetreten war, fand er das bemerkenswert. Wer nicht unterschrieb, verlor seine Anteile. Das waren in seinem Fall rund achtzig Prozent des Familienvermögens. Er und seine Frau berieten sich, holten Anwälte, und er unterschrieb nicht. Video ab 0:18:25
Dann wurde die Sache öffentlich, Mitarbeiter fragten intern nach, und die Firma zog die Klausel zurück: Vergesst es, ihr behaltet eure Anteile. Video ab 0:18:58 Die Führung erklärte anschließend, man habe davon nichts gewusst. Das glaubt er nicht. Video ab 0:19:10
Bleibt also: Der Verzicht war echt und er war teuer gemeint. Verloren hat er das Geld nicht. Wer den Titel wörtlich nimmt, hat das Gespräch nicht gesehen.
Die ZahlSiebzig Prozent — und was sie nicht bedeutet
Die siebzig Prozent sind seine persönliche Schätzung, kein Messergebnis. Sie stehen nicht für „siebzig Prozent Aussterben“, sondern für eine große Katastrophe, zu der ein Kontrollverlust gehört, aber auch die Machtübernahme durch eine sehr kleine Gruppe. Bartlett hält ihm eine andere Zahl entgegen: Ein Branchenchef nenne sieben Prozent. Kokotajlos Antwort ist das stärkste Bild des Abends — lägen hundert Knöpfe auf dem Tisch und zehn davon beendeten die Welt, würde niemand von einem kleinen Risiko sprechen. Video ab 0:41:37
Das ist das eigentliche Argument, und es hängt nicht an seiner Prozentzahl. Wer sieben Prozent für richtig hält, redet immer noch über ein Risiko, das in keinem anderen Wirtschaftszweig genehmigt würde.
Der Kalender2027, 2028, 2030 — ein Datum, das wandert
Sein Mittelwert für den Zeitpunkt, an dem Systeme den besten Menschen in allem überlegen sind, liegt derzeit bei 2029. Video ab 0:03:20 Er sagt dazu, es könne auch deutlich länger dauern. Bemerkenswerter ist, wie oft dieses Datum schon verschoben wurde: von 2027 auf 2028, dann auf 2030. Video ab 0:23:24 Inzwischen, sagt er, werde ihm aus den Laboren geraten, wieder zurückzugehen.
Das Szenario AI 2027 war nie eine Vorhersage, sondern ein durchgerechneter Weg, Monat für Monat, mit zwei Enden: dem Rennen, in dem die Systeme irgendwann aufhören zu gehorchen, und der Verlangsamung, in der die Steuerung gelingt und dafür die Macht bei wenigen landet. Video ab 0:25:19 Bartlett fragt nach, welches der Papiere der Vizepräsident gelesen habe. Video ab 0:24:07
Ein Szenario überzeugt, weil es konkret ist. Genau das ist auch seine Schwäche: Jede Stufe muss ungefähr so eintreten wie beschrieben, sonst bricht die Kette. Dass die Autoren ihre eigenen Mittelwerte mehrfach nach hinten gesetzt haben, spricht für ihre Ehrlichkeit und gegen die Dramatik der Jahreszahl im Titel.
Die StrategieWarum die Labore zuerst sich selbst automatisieren
Der Plan der großen Firmen ist in seiner Darstellung schlicht. Zuerst wird das Programmieren automatisiert, dann der gesamte Forschungsbetrieb: Ideen, Auswertung, Kommunikation. Am Ende steht ein Labor, das keine menschlichen Angestellten mehr braucht, weil eine Armee von Kopien desselben Modells die nächste Generation trainiert. Der Chef von Anthropic nennt das ein Land von Genies in einem Rechenzentrum; Kokotajlo hält Armee für das richtigere Wort, weil alle Kopien einem Eigentümer gehören. Video ab 0:06:40
Und er unterfüttert das mit der einzigen Zahl, die an diesem Abend wirklich gemessen ist: 2020 hatten die größten Modelle rund 175 Milliarden Parameter. Video ab 0:34:51 Heute liegt die Größenordnung bei zehn Billionen. Video ab 0:31:52 Zwei Größenordnungen in sechs Jahren.
Die JobsWarum die Welle erst spät kommt — und dann auf einmal
Hier widerspricht er der verbreiteten Erwartung. Massenhafte Arbeitslosigkeit stehe in seinem Szenario nicht am Anfang, sondern am Ende, nach 2028. Der Grund ist derselbe wie oben: Die Labore automatisieren zuerst die eigene Forschung, nicht die Volkswirtschaft. Deshalb passiere lange wenig Sichtbares — und dann sehr viel auf einmal. Video ab 0:57:22
Für die Debatte hierzulande ist das die unbequemste Stelle des Gesprächs. Wer heute auf stabile Beschäftigungszahlen zeigt, um Entwarnung zu geben, misst nach dieser Logik genau das Falsche.
Plan ADas Gegenszenario, das er selbst für unwahrscheinlich hält
Die zweite Hälfte des Gesprächs handelt von dem, was er dagegensetzt: AI 2040. Die Idee ist, die Superintelligenz nicht zu verhindern, sondern um zehn Jahre zu verschieben — über Regulierung, Nachweispflichten und ein überprüfbares Abkommen zwischen den USA und China. Video ab 1:00:28 In seiner Zeitleiste erledigt 2031 ein Fünftel der geistigen Arbeit eine Maschine Video ab 1:22:11, 2033 laufen sechzig Millionen Systeme mit hundertfacher Geschwindigkeit Video ab 1:25:21, und die Gewinne werden als Bürgerdividende ausgezahlt: zu Beginn rund 25.000 Dollar im Jahr je Person. Video ab 1:26:20 Erst 2040 wird die Bremse gelöst. Video ab 1:30:37
Die ehrlichste Antwort des Abends kommt, als Bartlett ihn fragt, welchen seiner fünf Pläne er für den wahrscheinlichsten halte. Es ist nicht Plan A. Es ist der Plan, in dem alles weiterläuft wie bisher. Video ab 1:05:39
Der KnopfWie das Gespräch endet
Bartlett legt ihm ein Gedankenexperiment vor: ein Knopf, der die Entwicklung an der vordersten Front für immer stoppt. Kokotajlo windet sich sichtbar. Bei einem befristeten Stopp würde er sofort zuschlagen. Bei einem endgültigen zögert er — und drückt am Ende nicht, weil er den möglichen Gewinn für zu groß hält, um ihn der Menschheit für immer zu nehmen. Video ab 1:46:29
Seine Schlussbotschaft ist bescheidener, als der Titel vermuten lässt. Es sei nicht zu spät, sagt er; sonst säße er nicht hier, sondern bei seiner Familie. Video ab 1:57:29 Was er von den Zuhörern will, ist kein Aufstand, sondern das Gegenteil von Verdrängung: hinsehen, sich eine Meinung bilden und Kandidaten danach fragen. Video ab 1:59:14
Die GegenprobeWas man ihm nicht abnehmen muss
Drei Dinge gehören zur ehrlichen Bilanz. Erstens ist die Zahl von siebzig Prozent eine Meinung, keine Messung; andere gut informierte Leute liegen bei zehn oder zwanzig, und einen Fachkonsens gibt es nicht. Zweitens ist die Behauptung, in den Laboren glaube man intern an noch kürzere Fristen, für Außenstehende nicht überprüfbar — und wer Sicherheit ernst nimmt, spricht ohnehin eher mit ihm als mit anderen. Drittens folgt aus „sehr mächtig“ nicht automatisch sein politischer Vorschlag; ein überprüfbares Abkommen zwischen zwei Großmächten über eine Technik, die in Rechenzentren entsteht, hat historisch noch nie gut funktioniert.
Was davon unberührt bleibt: sein Austritt, die Klauseln, die Kurven und die Frage, wer über eine Technik entscheidet, die ihre eigenen Nachfolger baut.
EinordnungWas das für Europa heißt
Kokotajlos Rechnung ist eine amerikanische Rechnung, und sein Gegenvorschlag ist es auch: Plan A handelt von Washington und Peking. Europa kommt in zwei Stunden kein einziges Mal vor. Das ist keine Bosheit, sondern eine Lagebeschreibung. Über Systeme, die hier in Behörden, Kliniken und Werkshallen landen, wird an zwei Orten entschieden, an denen niemand nach Europa fragt.
Der zweite Punkt betrifft den Zeitpunkt der Kontrolle. Sein Plan verlangt Nachweise, bevor ein System trainiert wird, nicht nachdem es auf dem Markt ist. Genau da verläuft die Grenze der europäischen Regeln, die am fertigen Produkt ansetzen. Wer die Debatte hier führt, sollte diese Unterscheidung kennen, weil sie darüber entscheidet, ob eine Aufsicht überhaupt etwas zu sehen bekommt.
Und drittens die Arbeit. Seine These, dass lange wenig geschieht und dann sehr viel auf einmal, ist für einen Arbeitsmarkt mit Tarifverträgen, Kurzarbeit und langen Kündigungsfristen etwas anderes als für den amerikanischen. Langsamer im Einschlag, schwerer in der Korrektur. Beides gehört in jede Planung, die heute für die nächsten fünf Jahre gemacht wird.
Zusammenfassung und Einordnung von kipode.de. Der Text ist unser eigener; Aussagen im Original mit Zeitmarke. Das Video stammt von The Diary of a CEO und wird über den offiziellen YouTube-Player eingebunden. Keine offizielle Übersetzung, keine Verbindung zum Podcast.
Was drüben gesagt wird, hier nachlesbar.
Transatlantik ist die Abteilung von kipode.de für amerikanische Debatten über künstliche Intelligenz. Wir hören die Gespräche zu Ende, fassen sie in eigenen Worten zusammen und setzen Zeitmarken ins Original, damit jede Aussage nachprüfbar bleibt.
Am Schluss steht die Frage, die drüben niemand stellt: Was heißt das für uns in Europa? Jede Folge gibt es auf Deutsch, Englisch, Französisch und Spanisch.