Der Mann, der die Uhr gestellt hat

Daniel Kokotajlo hat von 2022 bis 2024 bei OpenAI gearbeitet. Er schrieb dort Zukunftsszenarien, untersuchte, welche gefährlichen Fähigkeiten die Systeme bekommen, und war zeitweise auch an der Entwicklung von KI-Agenten beteiligt. 2024 kündigte er, weil er nicht mehr glaubte, dass die Firma ihre eigenen Sicherheitsversprechen ernst nimmt. Heute leitet er das AI Futures Project, eine kleine Forschungsgruppe, die Zukunftsszenarien schreibt und daraus politische Vorschläge ableitet. Im Vorspann der Folge steht der Satz, um den das ganze Gespräch kreist: Es sei möglich, dass gerade eine neue Spezies entstehe, die am Ende die Welt beherrscht, und die Wahrscheinlichkeit, dass das furchtbar ausgeht, liege bei siebzig Prozent. Danach hat dieses Gespräch zwei Stunden lang keinen leichten Moment mehr. Video ab 0:00:07

Der ZeugeWer da redet — und was er gesehen hat

Kokotajlo kam 2022 zu OpenAI und arbeitete dort an der Frage, wie sich leistungsfähige KI kontrollieren und gesellschaftlich steuern lässt. Er nennt drei Aufgaben. Er schrieb Zukunftsszenarien für den internen Gebrauch, die Vorform des Papiers, das er später unter dem Namen AI 2027 veröffentlichte und das Monat für Monat durchspielt, wie es zu einer Superintelligenz kommen könnte. Er prüfte, welche gefährlichen Fähigkeiten ein Modell entwickelt, vom Eindringen in fremde Rechner bis zur Überredungskunst. Und er arbeitete eine Zeit lang in einem Team mit, das KI-Agenten entwickelte, also Programme, die selbständig Aufgaben erledigen. Eine genaue Berufsbezeichnung nennt er nicht. Video ab 0:10:21

Was ihn zermürbte, war nicht die Technik, sondern das Verhältnis von Reden und Handeln. Wenn die großen Labore über Sicherheit sprechen, sagt er, sei das eher eine nachträgliche Rechtfertigung als eine echte Bremse. Er verweist auf E-Mails aus dem Rechtsstreit zwischen Elon Musk und OpenAI, in denen die Gründer 2017 schrieben, man habe OpenAI auch deshalb gegründet, weil man fürchtete, Demis Hassabis, der Chef des Google-Labors DeepMind, könne mit einer allgemeinen KI zum Diktator werden. Video ab 0:12:33 Seine Regel für den Umgang mit den Chefs der Branche formuliert er knapp: Man beurteile Menschen nach ihren Handlungen, nicht nach ihren Worten. Video ab 0:13:21

Eine Szene bleibt hängen. Nach dem Erfolg von ChatGPT habe es eine Betriebsversammlung gegeben, und der damalige Forschungschef Ilya Sutskever habe die Stimmung in einen Satz gefasst: Konzentriert euch auf die Mission, wir müssen die allgemeine KI bauen. Video ab 0:16:38 Das ist seine Schilderung; von außen lässt sie sich nicht überprüfen. Kokotajlo kündigte 2024. Video ab 0:14:49

Die zwei MillionenWas im Titel steht und was er tatsächlich sagt

Der Videotitel verspricht eine Bestechungsgeschichte: zwei Millionen Dollar fürs Schweigen. Im Gespräch selbst räumt Kokotajlo das binnen einer Minute ab. Als Bartlett die Zahl wiederholt, unterbricht er: Er habe das Geld am Ende behalten dürfen. Video ab 0:17:25

Der Vorgang war ein anderer. In den Austrittspapieren stand eine Klausel, die ihm auf Lebenszeit untersagte, die Firma zu kritisieren, und eine zweite, die ihm untersagte, über die erste zu sprechen. Für eine Organisation, die zum Wohl der ganzen Menschheit angetreten war, fand er das bemerkenswert. Wer nicht unterschrieb, musste nach den Vertragsbedingungen damit rechnen, seine bereits erworbenen Anteile an der Firma zu verlieren. Das waren in seinem Fall rund achtzig Prozent des Familienvermögens. Er und seine Frau berieten sich, holten Anwälte, und er unterschrieb nicht. Video ab 0:18:25

Dann wurde die Sache öffentlich, Mitarbeiter fragten intern nach, und die Firma zog die Klausel zurück: Vergesst es, ihr behaltet eure Anteile. Video ab 0:18:58 Die Führung erklärte anschließend, man habe davon nichts gewusst. Das glaubt er nicht. Video ab 0:19:10

Bleibt also: Er war bereit, den größten Teil des Familienvermögens zu verlieren, und hat das Geld am Ende trotzdem behalten. Der Videotitel verkürzt diesen Vorgang erheblich.

Die ZahlSiebzig Prozent — und was sie nicht bedeutet

Die siebzig Prozent sind seine persönliche Schätzung, kein Messergebnis, und sie hängen an einer Bedingung, die im Titel des Videos verschwindet: Sie gelten, wenn die Entwicklung ohne wesentliche Kursänderung weiterläuft. Video ab 0:28:40 Gemeint ist damit auch nicht, dass die Menschheit mit siebzig Prozent Wahrscheinlichkeit ausstirbt. Er zählt ausdrücklich den Fall dazu, dass KI-Systeme die Kontrolle übernehmen und die Menschen weiterleben. Video ab 0:42:06

Bartlett hält ihm eine andere Zahl entgegen. Ein Bekannter habe ihm erzählt, Chefs großer KI-Firmen bezifferten die Gefahr des Aussterbens auf etwa sieben Prozent, an die genaue Zahl erinnere er sich aber nicht sicher. Daraus macht Bartlett ein Gedankenexperiment: Lägen hundert Knöpfe auf dem Tisch und einer davon beendete die Welt, würde man dann drücken? Kokotajlo antwortet, er würde keinen davon anrühren. Video ab 0:41:37 Das Argument hängt damit nicht an der Prozentzahl. Auch wer sehr viel niedriger liegt, redet über ein Risiko, bei dem die Frage bleibt, wie viel davon eine Gesellschaft überhaupt hinnehmen will.

Der Kalender2027, 2028, 2030 — ein Datum, das wandert

Sein eigener Tipp für das Jahr, in dem Systeme den besten Menschen in allem überlegen sind, liegt derzeit bei 2029. Gemeint ist damit der Median: Nach seiner Einschätzung ist es genauso gut möglich, dass es früher kommt, wie dass es später kommt. Er sagt dazu, es könne auch deutlich länger dauern, vielleicht zehn Jahre. Video ab 0:03:20

Dieses Datum hat er mehrfach verschoben, und dabei muss man zwei Dinge auseinanderhalten. 2027 ist das Jahr im Titel seines Szenarios. Seine eigene Fünfzig-Prozent-Marke lag bei der Veröffentlichung bei 2028, danach schob er sie auf 2030, heute steht sie bei 2029. Inzwischen, sagt er, werde ihm aus den Laboren geraten, wieder früher anzusetzen. Video ab 0:23:24 Außerdem meinen nicht alle genannten Jahreszahlen denselben technischen Schritt.

AI 2027 ist ein Zukunftsszenario mit Prognoseanspruch. Beim Schreiben, sagt er, sei es seine beste Vermutung darüber gewesen, was tatsächlich passieren wird. Video ab 0:22:19 Das Papier spielt Monat für Monat einen möglichen Weg durch, mit zwei Enden: dem Rennen, in dem die Systeme irgendwann aufhören zu gehorchen, und der Verlangsamung, in der die Steuerung gelingt und dafür die Macht bei wenigen landet. Video ab 0:25:19 Eine sichere Vorhersage ist das nicht. Dass jedes Ereignis genau so und genau in diesem Jahr eintritt, behaupten die Autoren selbst nicht. Ein Szenario überzeugt, weil es konkret ist, und genau das ist auch seine Schwäche: Jede Stufe muss ungefähr so eintreten wie beschrieben, sonst bricht die Kette.

Die StrategieWarum die Labore zuerst sich selbst automatisieren

Der Plan der großen Firmen ist in seiner Darstellung schlicht. Zuerst wird das Programmieren automatisiert, dann der gesamte Forschungsbetrieb: Ideen, Auswertung, Kommunikation. Am Ende steht ein Labor, das keine menschlichen Angestellten mehr braucht, weil eine Armee von Kopien desselben Modells die nächste Generation trainiert. Der Chef von Anthropic nennt das ein Land von Genies in einem Rechenzentrum; Kokotajlo hält Armee für das richtigere Wort, weil alle Kopien einem Eigentümer gehören. Video ab 0:06:40

Dazu nennt er eine Größe, an der sich das Wachstum ablesen lässt. 2020 hatten die größten Modelle rund 175 Milliarden Parameter; diese Zahl steht in der Fachveröffentlichung zu GPT-3. Video ab 0:34:51 Für die heutigen Spitzenmodelle nennt er eine geschätzte Größenordnung von zehn Billionen, ohne sie für ein bestimmtes Modell zu belegen; die Hersteller veröffentlichen solche Angaben längst nicht mehr. Video ab 0:31:52 Er selbst spricht vom Hundertfachen, gerechnet sind es etwa sechzigmal so viel. Parameter sind die veränderbaren Zahlenwerte im Inneren eines Modells. Wie viele es davon gibt, sagt für sich genommen noch nichts darüber, wie leistungsfähig oder wie verlässlich eine KI arbeitet.

Die JobsWarum die Welle erst spät kommt — und dann auf einmal

Hier widerspricht er der verbreiteten Erwartung. Massenhafte Arbeitslosigkeit stehe in seinem Szenario nicht am Anfang, sondern am Ende, 2028 oder 2029, nach dem Durchbruch bei der automatisierten KI-Forschung. Der Grund ist derselbe wie oben: Die Labore automatisieren zuerst die eigene Arbeit, nicht die Volkswirtschaft. Deshalb passiere lange wenig Sichtbares und dann sehr viel auf einmal. Video ab 0:57:22

Für die Debatte hierzulande ist das die unbequemste Stelle des Gesprächs. Wer heute auf stabile Beschäftigungszahlen zeigt, um Entwarnung zu geben, misst die Gegenwart richtig. Ausschließen lässt sich eine spätere Entwicklung damit nicht. Ob die Wirtschaft sich tatsächlich in dieser Reihenfolge verändert, ist offen.

Plan ADas Gegenszenario, das er selbst für unwahrscheinlich hält

Die zweite Hälfte des Gesprächs handelt von dem, was er dagegensetzt, seinem Gegenentwurf AI 2040. Die Idee ist, die Superintelligenz nicht zu verhindern, sondern um zehn Jahre zu verschieben, über staatliche Regeln, Nachweispflichten und ein überprüfbares Abkommen zwischen den USA und China. Video ab 1:00:28 Der Vorschlag geht weit über die übliche Aufsicht hinaus. Inspektoren beider Länder sollen in die Rechenzentren des jeweils anderen und dort nachsehen, ob nur bestehende Systeme betrieben oder neue trainiert werden. Die Forschung soll weitgehend offengelegt werden, damit andere Länder aufholen können. Und neue Rechenzentren sollen von vornherein so gebaut werden, dass sie sich zerstören lassen, falls das Abkommen bricht und das Rennen wieder losgeht. Video ab 1:18:17 Ob Staaten solche Bedingungen annehmen und zuverlässig kontrollieren könnten, ist offen.

In seiner Zeitleiste erledigt 2031 ein Fünftel der geistigen Arbeit eine Maschine Video ab 1:22:11, danach laufen sechzig Millionen Systeme, jedes hundertmal schneller als ein Mensch Video ab 1:25:21, und 2033 bekommen die amerikanischen Bürger eine jährliche Dividende, zu Beginn rund 25.000 Dollar je Person. Das Geld stammt nicht aus einer allgemeinen Abgabe auf die Gewinne der KI-Firmen: Die Bürger sollen Anteile an einer staatlichen Stelle halten, die Genehmigungen für Rechenleistung und Roboter verkauft und daran verdient. Video ab 1:26:20 Erst 2040 wird die Bremse gelöst. Video ab 1:30:37 Das alles sind Annahmen seines Vorschlags, keine zugesagten Leistungen.

Er hat fünf Wege durchgespielt, vom vollständigen Stopp bis zum ungebremsten Weiter. Eine wichtige Einschränkung nennt er selbst, als Bartlett ihn fragt, welcher davon ihm am wahrscheinlichsten vorkommt. Es ist nicht Plan A. Es ist der Plan, in dem alles weiterläuft wie bisher. Video ab 1:07:04

Der KnopfWie das Gespräch endet

Bartlett legt ihm ein Gedankenexperiment vor: ein Knopf, der die Entwicklung an der vordersten Front, also bei den leistungsfähigsten Systemen, für immer stoppt. Bei einem befristeten Stopp, sagt Kokotajlo, würde er sofort zuschlagen, weil die Welt für diesen Schritt nicht bereit sei. Video ab 1:46:29 Beim endgültigen wägt er lange ab und kommt zu dem Schluss, er würde wahrscheinlich nicht drücken, betont aber, wie schwer ihm diese Abwägung fällt. Sein Grund ist, dass er den möglichen Gewinn für zu groß hält, um ihn der Menschheit für immer zu nehmen. Video ab 1:49:52

Seine Schlussbotschaft ist bescheidener, als der Titel vermuten lässt. Es sei nicht zu spät, sagt er; sonst säße er nicht hier, sondern bei seiner Familie. Video ab 1:57:29 Was er von den Zuhörern will, ist kein Aufstand, sondern das Gegenteil von Verdrängung: hinsehen, sich eine Meinung bilden und die Politiker, die bei der nächsten Wahl antreten, danach fragen, wie sie es mit der künstlichen Intelligenz halten. Und danach wählen. Video ab 1:51:44

Die GegenprobeWas man ihm nicht abnehmen muss

Drei Dinge gehören zur ehrlichen Bilanz. Erstens ist die Zahl von siebzig Prozent eine Meinung, keine Messung; andere gut informierte Leute liegen bei zehn oder zwanzig Prozent, und eine gemeinsame Linie der Fachleute gibt es nicht. Zweitens ist die Behauptung, in den Laboren glaube man intern an noch kürzere Fristen, für Außenstehende nicht überprüfbar. Es kann gut sein, dass ohnehin eher die Leute mit ihm sprechen, die sich um Sicherheit sorgen; wie repräsentativ deren Einschätzung für die Branche ist, lässt sich von außen nicht beurteilen. Drittens folgt aus „sehr mächtig“ nicht automatisch sein politischer Vorschlag. Ob ein solches Abkommen überprüfbar wäre und dauerhaft gehalten würde, ist ungeklärt; schwierig wäre vor allem, verdeckte Entwicklung zu entdecken und auf einen Bruch zu reagieren.

Was davon unberührt bleibt: sein Austritt, die Klauseln, die belegten Wachstumszahlen und die Frage, wer über eine Technik entscheidet, die ihre eigenen Nachfolger baut.

Zusammenfassung und Einordnung von kipode.de. Der Text ist unser eigener; Aussagen im Original mit Zeitmarke. Das Video stammt von The Diary of a CEO und wird über den offiziellen YouTube-Player eingebunden. Keine offizielle Übersetzung, keine Verbindung zum Podcast.