L'homme qui a réglé l'horloge

Daniel Kokotajlo a travaillé chez OpenAI de 2022 à 2024. Il y écrivait des scénarios d'avenir, examinait quelles capacités dangereuses les systèmes développaient et a aussi participé, un temps, à la mise au point d'agents d'intelligence artificielle. Il a démissionné en 2024 parce qu'il ne croyait plus que l'entreprise prenait au sérieux ses propres engagements de sécurité. Il dirige aujourd'hui l'AI Futures Project, un petit groupe de recherche qui écrit des scénarios d'avenir et en tire des propositions politiques. La phrase autour de laquelle tourne tout l'entretien apparaît dans le générique d'ouverture : une nouvelle espèce est peut-être en train d'apparaître, qui finira par dominer le monde, dit-il, et la probabilité que cela tourne très mal est de soixante-dix pour cent. Ensuite, pendant deux heures, l'entretien ne connaît plus un seul moment léger. Vidéo à partir de 0:00:07

Le témoinQui parle — et ce qu'il a vu

Kokotajlo a rejoint OpenAI en 2022 et y a travaillé sur la question de savoir comment contrôler et encadrer une intelligence artificielle puissante. Il cite trois missions. Il écrivait des scénarios d'avenir à usage interne, l'ébauche du texte qu'il a publié plus tard sous le nom d'AI 2027 et qui déroule mois par mois la façon dont une superintelligence pourrait apparaître. Il mesurait quelles capacités dangereuses un modèle acquiert, de l'intrusion dans les ordinateurs d'autrui à l'art de persuader. Et il a fait partie un moment d'une équipe qui développait des agents, c'est-à-dire des programmes capables d'accomplir des tâches seuls. Il ne donne pas d'intitulé de poste précis. Vidéo à partir de 0:10:21

Ce qui l'a usé, ce n'est pas la technique, mais l'écart entre le discours et les actes. Le récit sécuritaire des grands laboratoires, dit-il, tient moins du garde-fou que de la justification a posteriori. Il cite des courriels issus du litige entre Elon Musk et OpenAI, dans lesquels les fondateurs écrivaient en 2017 avoir créé OpenAI en partie par crainte que Demis Hassabis, le patron du laboratoire DeepMind de Google, ne devienne, grâce à une IA générale, une sorte de dictateur. Vidéo à partir de 0:12:33 Sa règle pour juger les dirigeants du secteur tient en une phrase : on juge les gens sur leurs actes, pas sur leurs paroles. Vidéo à partir de 0:13:21

Une scène reste gravée. Après le succès de ChatGPT, une réunion générale a eu lieu, et le directeur scientifique de l'époque, Ilya Sutskever, a résumé l'état d'esprit en une phrase : concentrez-vous sur la mission, nous devons construire l'intelligence artificielle générale. Vidéo à partir de 0:16:38 C'est son récit ; rien ne permet de le vérifier de l'extérieur. Kokotajlo a démissionné en 2024. Vidéo à partir de 0:14:49

Les deux millionsCe que promet le titre — et ce qu'il dit vraiment

Le titre de la vidéo promet une histoire de corruption : deux millions de dollars pour acheter le silence. En l'espace d'une minute, Kokotajlo démonte lui-même cette idée. Quand Bartlett répète le chiffre, il l'interrompt : il a finalement pu garder cet argent. Vidéo à partir de 0:17:25

La réalité était différente. Ses papiers de départ contenaient une clause lui interdisant à vie de critiquer l'entreprise, et une seconde lui interdisant de parler de la première. Pour une organisation créée pour le bien de toute l'humanité, il a trouvé cela remarquable. Selon les termes du contrat, celui qui refusait de signer devait s'attendre à perdre les parts déjà acquises. Dans son cas, cela représentait environ quatre-vingts pour cent du patrimoine familial. Sa femme et lui en ont discuté, ont consulté des avocats, et il n'a pas signé. Vidéo à partir de 0:18:25

L'affaire est ensuite devenue publique, des salariés ont posé des questions en interne, et l'entreprise a retiré la clause : oubliez ça, vous gardez vos parts. Vidéo à partir de 0:18:58 La direction a ensuite affirmé n'en avoir rien su. Il n'y croit pas. Vidéo à partir de 0:19:10

Au bout du compte : il était prêt à perdre l'essentiel du patrimoine familial, et il a finalement gardé l'argent. Le titre de la vidéo raccourcit considérablement cette histoire.

Le chiffreSoixante-dix pour cent — et ce que cela ne veut pas dire

Les soixante-dix pour cent sont une estimation personnelle, pas une mesure, et ils sont assortis d'une condition qui disparaît dans le titre de la vidéo : ils valent si le développement se poursuit sans changement de cap notable. Vidéo à partir de 0:28:40 Cela ne signifie pas non plus soixante-dix pour cent de chances d'extinction de l'humanité. Il y inclut expressément le cas où des systèmes d'intelligence artificielle prennent le pouvoir et où les humains continuent de vivre. Vidéo à partir de 0:42:06

Bartlett lui oppose un autre chiffre. Une connaissance lui aurait dit que des dirigeants de grandes entreprises d'intelligence artificielle estiment le risque d'extinction à environ sept pour cent, mais il n'est pas sûr du chiffre exact. Bartlett en tire une expérience de pensée : s'il y avait cent boutons sur la table et qu'un seul mettait fin au monde, appuierait-on ? Kokotajlo répond qu'il n'en toucherait aucun. Vidéo à partir de 0:41:37 L'argument ne dépend donc pas du pourcentage. Même bien plus bas, la question demeure : quelle part d'un tel risque une société devrait-elle accepter ?

Le calendrier2027, 2028, 2030 — une date qui se déplace

Son estimation médiane actuelle pour le moment où les systèmes surpasseront les meilleurs humains en tout se situe en 2029. Médiane veut dire qu'à ses yeux, cela peut tout aussi bien arriver plus tôt que plus tard. Il ajoute que cela pourrait prendre nettement plus de temps, une dizaine d'années peut-être. Vidéo à partir de 0:03:20

Il a déplacé cette date à plusieurs reprises, et il faut distinguer deux choses. 2027 est l'année qui figure dans le titre de son scénario. Sa propre barre des cinquante pour cent était à 2028 au moment de la publication, elle est ensuite passée à 2030 et se situe aujourd'hui en 2029. Désormais, dit-il, on lui conseille dans les laboratoires de la ramener plus tôt. Vidéo à partir de 0:23:24 Toutes les dates citées ne désignent d'ailleurs pas la même étape technique.

AI 2027 est un scénario d'avenir à visée prédictive. Au moment de l'écrire, dit-il, c'était sa meilleure hypothèse sur ce qui allait réellement se passer. Vidéo à partir de 0:22:19 Le texte déroule mois par mois un cheminement possible, avec deux fins : la course, où les systèmes finissent par ne plus obéir, et le ralentissement, où le contrôle réussit mais où le pouvoir se concentre entre quelques mains. Vidéo à partir de 0:25:19 Ce n'est pas pour autant une prédiction sûre. Les auteurs ne prétendent pas que chaque événement se produira exactement ainsi et exactement cette année-là. Un scénario convainc parce qu'il est concret, et c'est aussi sa faiblesse : chaque étape doit se produire à peu près comme décrit, sinon la chaîne se rompt.

La stratégiePourquoi les laboratoires s'automatisent d'abord eux-mêmes

Le plan des grandes entreprises, tel qu'il le décrit, est simple. On automatise d'abord la programmation, puis l'ensemble de l'activité de recherche : idées, évaluation, communication. Au bout du chemin, un laboratoire qui n'a plus besoin d'employés humains, parce qu'une armée de copies d'un même modèle entraîne la génération suivante. Le dirigeant d'Anthropic parle d'un pays de génies dans un centre de données ; Kokotajlo préfère le mot « armée », car toutes ces copies appartiennent à un seul propriétaire. Vidéo à partir de 0:06:40

Il cite tout de même une grandeur qui montre la croissance. En 2020, les plus grands modèles comptaient environ 175 milliards de paramètres, un chiffre documenté dans la publication scientifique consacrée à GPT-3. Vidéo à partir de 0:34:51 Pour les modèles de pointe actuels, il avance un ordre de grandeur estimé de dix mille milliards, sans le démontrer pour un modèle précis ; les entreprises ne publient plus ces chiffres depuis longtemps. Vidéo à partir de 0:31:52 Il parle lui-même d'un facteur cent ; le calcul donne environ soixante. Les paramètres sont les valeurs numériques modifiables à l'intérieur d'un modèle. Leur nombre ne dit rien à lui seul de la puissance ni de la fiabilité d'une intelligence artificielle.

L'emploiPourquoi la vague arrive tard — et d'un coup

Ici, il va à l'encontre de l'idée reçue. Dans son scénario, le chômage de masse n'arrive pas au début mais à la fin, en 2028 ou 2029, après la percée de la recherche automatisée en intelligence artificielle. La raison est la même que plus haut : les laboratoires automatisent d'abord leur propre travail, pas l'économie. Pendant longtemps, il ne se passe donc presque rien de visible, puis beaucoup de choses d'un coup. Vidéo à partir de 0:57:22

Pour le débat de ce côté-ci de l'Atlantique, c'est le passage le plus dérangeant de l'entretien. Celui qui montre aujourd'hui des chiffres d'emploi stables mesure correctement le présent. Ces chiffres ne permettent simplement pas d'exclure une évolution ultérieure. Reste ouverte la question de savoir si l'économie changera vraiment dans cet ordre.

Plan ALe contre-scénario que lui-même juge peu probable

La seconde moitié de l'entretien porte sur ce qu'il oppose à tout cela : AI 2040. L'idée n'est pas d'empêcher la superintelligence, mais de la repousser de dix ans, au moyen de règles nationales, d'obligations de preuve et d'un accord vérifiable entre les États-Unis et la Chine. Vidéo à partir de 1:00:28 La proposition va bien au-delà d'une surveillance ordinaire. Des inspecteurs de chaque pays entreraient dans les centres de données de l'autre pour vérifier si l'on y exploite seulement des systèmes existants ou si l'on en entraîne de nouveaux. La recherche serait largement rendue publique, pour que d'autres pays puissent rattraper leur retard. Et les nouveaux centres de données seraient construits de façon à pouvoir être détruits si l'accord se rompt et que la course reprend. Vidéo à partir de 1:18:17 Que des États acceptent de telles conditions et puissent les contrôler de façon fiable reste ouvert.

Dans sa chronologie, une machine accomplit en 2031 un cinquième du travail intellectuel Vidéo à partir de 1:22:11, puis soixante millions de systèmes fonctionnent à cent fois la vitesse humaine Vidéo à partir de 1:25:21, et à partir de 2033 les citoyens américains reçoivent un dividende annuel, d'environ 25 000 dollars par personne au départ. Cet argent ne provient pas d'un prélèvement général sur les bénéfices des entreprises d'intelligence artificielle : les citoyens détiendraient des parts d'un organisme public qui vend des autorisations pour la puissance de calcul et les robots et en tire des recettes. Vidéo à partir de 1:26:20 Ce n'est qu'en 2040 que le frein est relâché. Vidéo à partir de 1:30:37 Tout cela relève des hypothèses de sa proposition, non de prestations promises.

Il a envisagé cinq scénarios, de l'arrêt total à la poursuite sans frein. Il formule lui-même une réserve importante quand Bartlett lui demande lequel lui paraît le plus probable. Ce n'est pas le plan A. C'est celui où tout continue comme aujourd'hui. Vidéo à partir de 1:07:04

Le boutonComment se termine l'entretien

Bartlett lui soumet une expérience de pensée : un bouton qui arrêterait pour toujours le développement de pointe, c'est-à-dire le travail sur les systèmes les plus puissants. Pour un arrêt temporaire, dit Kokotajlo, il appuierait aussitôt, parce que le monde n'est pas prêt pour cette étape. Vidéo à partir de 1:46:29 Pour un arrêt définitif, il pèse longuement le pour et le contre et conclut qu'il n'appuierait probablement pas, tout en soulignant combien cet arbitrage lui est difficile. Sa raison : il juge le gain possible trop important pour le retirer à l'humanité à jamais. Vidéo à partir de 1:49:52

Son message final est plus modeste que ne le laisse croire le titre. Il n'est pas trop tard, dit-il ; sinon, il ne serait pas ici, mais auprès des siens. Vidéo à partir de 1:57:29 Ce qu'il attend des auditeurs n'est pas un soulèvement, mais l'inverse du déni : regarder la réalité en face, se forger une opinion, et demander aux responsables politiques qui se présentent à la prochaine élection où ils se situent sur l’intelligence artificielle. Puis voter en conséquence. Vidéo à partir de 1:51:44

La contre-épreuveCe qu'on ne doit pas lui accorder les yeux fermés

Trois éléments s'imposent pour un bilan honnête. D'abord, le chiffre de soixante-dix pour cent est une opinion, pas une mesure ; d'autres personnes bien informées se situent à dix ou vingt pour cent, et il n'existe pas de position commune des spécialistes. Ensuite, l'affirmation selon laquelle on croirait en interne, dans les laboratoires, à des délais encore plus courts n'est pas vérifiable de l'extérieur. Il se peut d'ailleurs que ce soient surtout les personnes soucieuses de sécurité qui lui parlent ; leur représentativité pour l'ensemble du secteur ne peut être jugée de l'extérieur. Enfin, de « très puissant » ne découle pas automatiquement sa proposition politique. La question de savoir si un tel accord serait vérifiable et durablement respecté reste ouverte ; le plus difficile serait de détecter un développement clandestin et de réagir à une rupture.

Ce qui, en revanche, demeure intact : son départ, les clauses, les chiffres de croissance documentés, et la question de savoir qui décide d'une technique qui construit ses propres successeurs.

Résumé et mise en perspective de kipode.de. Le texte est le nôtre ; les propos originaux sont indiqués avec horodatage. La vidéo provient de The Diary of a CEO et est intégrée via le lecteur YouTube officiel. Il ne s'agit pas d'une traduction officielle, et il n'y a aucun lien avec le podcast.