L'homme qui a réglé l'horloge
Daniel Kokotajlo a rédigé les scénarios chez OpenAI et est parti quand il a cessé de croire au récit sécuritaire de l'entreprise. Deux heures sur soixante-dix pour cent, une date qui se déplace, et deux millions de dollars qu'il a finalement pu garder.
La vidéo n'est chargée depuis YouTube qu'après votre clic. Avant cela, aucune connexion n'est établie.
L'épisode 2 demandait si l'intelligence artificielle pouvait se rentabiliser. L'épisode 3 demande ce qui se passe si elle fonctionne. Daniel Kokotajlo rédigeait des prévisions chez OpenAI, jusqu'à son départ en 2024. Sa phrase liminaire explique pourquoi cet entretien de plus de deux heures ne connaît aucun moment de légèreté : une nouvelle espèce serait peut-être en train de naître, qui finirait par dominer le monde — avec, selon lui, soixante-dix pour cent de chances que cela tourne à la catastrophe. Vidéo à partir de 0:00:07
Le témoinQui parle — et ce qu'il a vu
Kokotajlo a rejoint OpenAI en 2022, au sein de l'équipe chargée de la gouvernance. Son travail consistait à mesurer les progrès et à rédiger des scénarios — la préfiguration interne de ce qui deviendra plus tard public sous le nom d'AI 2027. Il n'était pas ingénieur, il n'entraînait pas de modèles. Il était celui chargé de consigner où menaient les courbes. Vidéo à partir de 0:00:26
Ce qui l'a usé, ce n'est pas la technique, mais l'écart entre le discours et les actes. Le récit sécuritaire des grands laboratoires, dit-il, tient moins du garde-fou que de la justification a posteriori. Il cite des courriels issus du litige entre Elon Musk et OpenAI, dans lesquels les fondateurs écrivaient en 2017 avoir créé OpenAI en partie par crainte que Demis Hassabis ne devienne, grâce à une IA générale, une sorte de dictateur. Vidéo à partir de 0:12:33 Sa règle pour juger les dirigeants du secteur tient en une phrase : on juge les gens sur leurs actes, pas sur leurs paroles. Vidéo à partir de 0:13:21
Une scène reste gravée. Après le succès de ChatGPT, une réunion générale a eu lieu, et l'ancien responsable de la recherche, Ilya Sutskever, a résumé l'ambiance en une phrase : concentrez-vous sur la mission, nous devons construire l'IA générale. Vidéo à partir de 0:16:38 Kokotajlo a démissionné en 2024. Vidéo à partir de 0:14:49
Les deux millionsCe que promet le titre — et ce qu'il dit vraiment
Le titre de la vidéo promet une histoire de corruption : deux millions de dollars pour acheter le silence. En l'espace d'une minute, Kokotajlo démonte lui-même cette idée. Quand Bartlett répète le chiffre, il l'interrompt : il a finalement pu garder cet argent. Vidéo à partir de 0:17:25
La réalité était différente. Ses papiers de départ contenaient une clause lui interdisant à vie de critiquer l'entreprise — et une seconde lui interdisant même d'évoquer l'existence de la première. Pour une organisation censée œuvrer au bien de l'humanité tout entière, il a trouvé cela remarquable. Quiconque refusait de signer perdait ses parts. Dans son cas, cela représentait environ quatre-vingts pour cent du patrimoine familial. Avec sa femme, ils ont consulté des avocats, et il n'a pas signé. Vidéo à partir de 0:18:25
L'affaire est ensuite devenue publique, des salariés ont posé des questions en interne, et l'entreprise a retiré la clause : oubliez ça, vous gardez vos parts. Vidéo à partir de 0:18:58 La direction a ensuite affirmé n'en avoir rien su. Il n'y croit pas. Vidéo à partir de 0:19:10
Au bout du compte : le renoncement était réel, et pensé pour coûter cher. Il n'a pas perdu cet argent. Qui prend le titre au pied de la lettre n'a pas regardé l'entretien.
Le chiffreSoixante-dix pour cent — et ce que cela ne veut pas dire
Les soixante-dix pour cent sont une estimation personnelle, pas une mesure. Ils ne signifient pas « soixante-dix pour cent d'extinction », mais désignent une catastrophe majeure, qui peut relever d'une perte de contrôle comme d'une prise de pouvoir par un tout petit groupe. Bartlett lui oppose un autre chiffre : un dirigeant du secteur parle, lui, de sept pour cent. La réponse de Kokotajlo est l'image la plus forte de la soirée — s'il y avait cent boutons sur une table et que dix d'entre eux mettaient fin au monde, personne ne parlerait d'un petit risque. Vidéo à partir de 0:41:37
C'est là le véritable argument, et il ne dépend pas de son pourcentage précis. Même celui qui retient sept pour cent parle encore d'un risque qu'aucun autre secteur économique ne serait autorisé à prendre.
Le calendrier2027, 2028, 2030 — une date qui se déplace
Son estimation médiane actuelle pour le moment où les systèmes surpasseront les meilleurs humains en tout se situe en 2029. Vidéo à partir de 0:03:20 Il précise que cela pourrait aussi prendre bien plus de temps. Ce qui frappe surtout, c'est le nombre de fois où cette date a déjà été repoussée : de 2027 à 2028, puis à 2030. Vidéo à partir de 0:23:24 Aujourd'hui, dit-il, des voix venues des laboratoires lui conseillent de la reculer encore.
Le scénario AI 2027 n'a jamais été une prédiction, mais un cheminement calculé, mois après mois, avec deux issues possibles : la course, où les systèmes finissent par cesser d'obéir, et le ralentissement, où le contrôle est maintenu mais où le pouvoir se retrouve concentré entre quelques mains. Vidéo à partir de 0:25:19 Bartlett cherche à savoir lequel de ces documents le vice-président a réellement lu. Vidéo à partir de 0:24:07
Un scénario convainc parce qu'il est concret. C'est aussi sa faiblesse : chaque étape doit se produire à peu près comme prévu, sinon la chaîne se brise. Le fait que ses auteurs aient plusieurs fois repoussé leurs propres estimations médianes plaide en faveur de leur honnêteté — et contre le caractère spectaculaire de l'année affichée dans le titre.
La stratégiePourquoi les laboratoires s'automatisent d'abord eux-mêmes
Le plan des grandes entreprises, tel qu'il le décrit, est simple. On automatise d'abord la programmation, puis l'ensemble de l'activité de recherche : idées, évaluation, communication. Au bout du chemin, un laboratoire qui n'a plus besoin d'employés humains, parce qu'une armée de copies d'un même modèle entraîne la génération suivante. Le dirigeant d'Anthropic parle d'un pays de génies dans un centre de données ; Kokotajlo préfère le mot « armée », car toutes ces copies appartiennent à un seul propriétaire. Vidéo à partir de 0:06:40
Et il l'étaye avec le seul chiffre véritablement mesuré de toute la soirée : en 2020, les plus grands modèles comptaient environ 175 milliards de paramètres. Vidéo à partir de 0:34:51 Aujourd'hui, on est de l'ordre de dix mille milliards. Vidéo à partir de 0:31:52 Deux ordres de grandeur en six ans.
L'emploiPourquoi la vague arrive tard — et d'un coup
Ici, il va à l'encontre de l'idée reçue. Dans son scénario, le chômage de masse n'arrive pas en premier, mais en dernier, après 2028. La raison est la même que précédemment : les laboratoires automatisent d'abord leur propre recherche, pas l'économie dans son ensemble. Résultat : longtemps, presque rien de visible — puis beaucoup de choses d'un seul coup. Vidéo à partir de 0:57:22
Pour le débat de ce côté-ci de l'Atlantique, c'est le passage le plus dérangeant de l'entretien. Qui brandit aujourd'hui des chiffres de l'emploi stables pour se rassurer mesure, selon cette logique, exactement la mauvaise variable.
Plan ALe contre-scénario que lui-même juge peu probable
La seconde moitié de l'entretien porte sur ce qu'il oppose à tout cela : AI 2040. L'idée n'est pas d'empêcher la superintelligence, mais de la retarder de dix ans — par la régulation, des obligations de transparence et un accord vérifiable entre les États-Unis et la Chine. Vidéo à partir de 1:00:28 Dans sa chronologie, une machine accomplit dès 2031 un cinquième du travail intellectuel Vidéo à partir de 1:22:11, en 2033 soixante millions de systèmes tournent à cent fois la vitesse humaine Vidéo à partir de 1:25:21, et les gains sont redistribués sous forme de dividende citoyen : environ 25 000 dollars par an et par personne au départ. Vidéo à partir de 1:26:20 Ce n'est qu'en 2040 que le frein est finalement levé. Vidéo à partir de 1:30:37
La réponse la plus sincère de la soirée arrive quand Bartlett lui demande lequel de ses cinq scénarios il juge le plus probable. Ce n'est pas le plan A. C'est celui où tout continue comme aujourd'hui. Vidéo à partir de 1:05:39
Le boutonComment se termine l'entretien
Bartlett lui soumet une expérience de pensée : un bouton qui arrêterait pour toujours le développement à la pointe de la technologie. Kokotajlo se tortille visiblement. Face à un arrêt temporaire, il appuierait sans hésiter. Face à un arrêt définitif, il hésite — et finit par ne pas appuyer, jugeant le gain potentiel trop important pour le retirer à jamais à l'humanité. Vidéo à partir de 1:46:29
Son message final est plus modeste que ne le laisse croire le titre. Il n'est pas trop tard, dit-il ; sinon, il ne serait pas ici, mais auprès des siens. Vidéo à partir de 1:57:29 Ce qu'il attend des auditeurs n'est pas un soulèvement, mais l'inverse du déni : regarder la réalité en face, se forger une opinion, et interroger les candidats sur le sujet. Vidéo à partir de 1:59:14
La contre-épreuveCe qu'on ne doit pas lui accorder les yeux fermés
Trois éléments s'imposent pour un bilan honnête. D'abord, le chiffre de soixante-dix pour cent relève de l'opinion, non de la mesure ; d'autres personnes bien informées le situent à dix ou vingt pour cent, et il n'existe aucun consensus scientifique. Ensuite, l'affirmation selon laquelle, en interne, les laboratoires croiraient à des délais encore plus courts n'est pas vérifiable de l'extérieur — et quiconque prend la sécurité au sérieux a de toute façon plus de chances de s'adresser à lui qu'à d'autres. Enfin, de « très puissant » ne découle pas automatiquement sa proposition politique ; un accord vérifiable entre deux grandes puissances portant sur une technologie née dans des centres de données n'a, historiquement, jamais vraiment fonctionné.
Ce qui, en revanche, demeure intact : son départ, les clauses, les courbes, et la question de savoir qui décide du sort d'une technologie capable de construire ses propres successeurs.
ÉclairageCe que cela signifie pour l'Europe
Le raisonnement de Kokotajlo est américain, tout comme sa contre-proposition : le plan A ne parle que de Washington et de Pékin. En deux heures, l'Europe n'est pas mentionnée une seule fois. Ce n'est pas de la malveillance, c'est un simple constat. Les décisions concernant des systèmes appelés à s'installer ici, dans les administrations, les hôpitaux et les usines, se prennent en deux endroits où personne ne se soucie de l'Europe.
Le deuxième point concerne le moment où s'exerce le contrôle. Son plan exige des preuves avant qu'un système ne soit entraîné, pas une fois qu'il est sur le marché. C'est exactement là que s'arrête la portée des règles européennes, qui visent le produit fini. Quiconque veut peser sur ce débat ici devrait connaître cette distinction, car elle détermine si les autorités de contrôle ont ne serait-ce qu'un aperçu de ce qui se passe.
Et troisièmement, l'emploi. Sa thèse selon laquelle il ne se passe pas grand-chose pendant longtemps, puis énormément d'un coup, ne joue pas de la même façon sur un marché du travail structuré par des conventions collectives, le chômage partiel et de longs délais de préavis que sur le marché américain. Plus lent à frapper, plus difficile à corriger. Les deux doivent entrer dans toute planification faite aujourd'hui pour les cinq prochaines années.
Résumé et mise en perspective de kipode.de. Le texte est le nôtre ; les propos originaux sont indiqués avec horodatage. La vidéo provient de The Diary of a CEO et est intégrée via le lecteur YouTube officiel. Il ne s'agit pas d'une traduction officielle, et il n'y a aucun lien avec le podcast.
Ce qui se dit là-bas, lisible ici.
Transatlantik est le service de kipode.de consacré aux débats américains sur l’intelligence artificielle. Nous écoutons les échanges jusqu’au bout, les résumons avec nos propres mots et renvoyons à l’original par des horodatages, pour que chaque affirmation reste vérifiable.
Et à la fin, la question que personne ne pose là-bas : qu’est-ce que cela signifie pour nous, en Europe ? Chaque épisode existe en allemand, anglais, français et espagnol.