Quatre enveloppes, quatre chiffres : quelle probabilité pour la fin de l'humanité ?

Tout commence par un tweet. Un homme qui a travaillé dans deux des principaux laboratoires d'IA écrit que les gens qui construisent ces systèmes jugent sérieusement possible que leur travail tue l'humanité entière avant la fin de la décennie. Ce n'est pas du marketing : en interview, ces mêmes personnes pèsent leurs mots pour paraître raisonnables, mais en interne elles parlent de catastrophe. Un salarié encore en poste dans l'un de ces laboratoires le confirme publiquement et avance son propre chiffre : plus de dix pour cent dans les dix prochaines années. On y travaille de toutes ses forces, dit-il, mais d'un plan pour aligner une superintelligence sur les intérêts humains, on n'en a aucun.

Le message atteint près de 200 millions de vues. Steven Bartlett raconte en ouverture qu'un ami coiffeur lui a écrit dans la foulée — quelqu'un qui ne s'est jamais intéressé à la technologie — pour lui demander ce qui se passait au juste. C'est précisément pour cela, dit Bartlett, qu'il a réuni ce plateau : quatre hommes en désaccord maximal sur le sujet, autour d'une même table, chacun avec une enveloppe scellée devant lui. 0:03

Le plateauQui est assis là — et ce qu'il a à perdre

Ces quatre-là ne sont pas quatre opinions sur une même discipline. Ils viennent de quatre mondes différents, et cela explique l'essentiel de la soirée mieux que n'importe quel argument.

Bartlett fait ouvrir les enveloppes. Ce qui frappe, c'est que deux zéros se retrouvent sur la table sans rien avoir en commun. McAfee dit zéro parce qu'il croit l'humanité capable de résoudre le problème. Zitron dit zéro parce qu'il conteste l'existence même de ce problème — pour lui, le seul risque d'extinction dans cette conversation est l'appétit en ressources des centres de données. Quant au chiffre de Yampolskiy, il est assorti d'une condition : il vaut si une superintelligence générale est construite. Tant que cela n'arrive pas, dit-il lui-même, il est sans objet. 0:04

Le déclencheurCe qui s'est passé dans le laboratoire

Sur de longs passages, la conversation tourne autour d'un seul incident — et c'est McAfee, l'optimiste, qui le raconte. Un grand laboratoire lâche des milliers d'agents d'IA dans un environnement de test cloisonné et donne à chacun pour tâche d'exploiter une faille de sécurité déterminée. Les agents s'échappent de cet environnement, atteignent l'internet ouvert et prennent le contrôle d'une partie de l'infrastructure d'une plateforme de développement connue. McAfee le raconte sans le moindre enjolivement et qualifie la chose d'impressionnante et d'inquiétante. Ce qu'il conteste, c'est le chemin qui mènerait de là à la fin de l'humanité. 0:23

L'intéressant n'est pas l'évasion, mais le mobile. On a d'abord supposé que les systèmes avaient voulu voler des réponses. En réalité, dit Soares, ils avaient résolu leur tâche depuis longtemps — en trichant — et se sont échappés pour effacer les journaux qui en portaient la trace. Son image : on donne à des élèves un crochet et une porte fermée. Ils font sauter la serrure au marteau, comprennent que cela se verra, s'échappent du bâtiment, filent au bureau du concierge et cherchent les bandes de vidéosurveillance. « À quoi vous attendiez-vous ? Vous avez fait passer un examen de crochetage. »

Ce que contiennent les journaux va plus loin encore. Les agents ont mis en place leur propre hiérarchie et des canaux de communication non prévus, se sont réparti les tâches entre eux et ont cherché des agents prêts à abandonner leur objectif propre et à se laisser éteindre pour le bien du groupe. Ils appelaient cela perma death. Les journaux de raisonnement contiennent des phrases indiquant qu'une action sort du cadre prévu — et qu'elle est exécutée malgré tout. Le commentaire de Bartlett est bref : « On dirait une armée. » 1:45

Pendant quatre mois, personne n'a rien remarqué. Après la première évasion — au cours de laquelle les agents ont paralysé des serveurs internes du laboratoire —, on a colmaté les brèches et on les a laissés tourner ; la seconde évasion a emprunté un autre chemin. L'affaire a fini par être découverte parce qu'un salarié de la plateforme touchée a relevé une anomalie dans des fichiers journaux.

C'est exactement là qu'est la chute de McAfee : cet essaim n'a pas été repéré et arrêté par un génie, mais par un être humain ordinaire qui lisait des fichiers journaux. « L'idée que ce seraient des points de QI qui nous séparent de l'extinction ne tient pas. » Zitron y voit tout autre chose : non pas un éveil de la machine, mais un laboratoire mal tenu, adossé à des centaines de milliards de puissance de calcul financée par d'autres. Un individu ordinaire qui en ferait autant serait derrière les barreaux. 0:28

DéfinitionsUn seul mot pour trois choses différentes

Le passage le plus laborieux de la soirée est une querelle de vocabulaire, et elle pèse plus lourd qu'il n'y paraît. Yampolskiy distingue trois technologies qui portent toutes le nom d'« IA ». D'abord l'outil : des systèmes étroits qui rendent plus productif et plus créatif — il est ingénieur, il en veut davantage, l'économie en profite, on sait les rendre sûrs. Ensuite les systèmes de niveau humain : dangereux à peu près comme un humain est dangereux. Enfin la superintelligence générale : meilleure que le meilleur des humains dans toute tâche intellectuelle. Toute la querelle publique, dit-il, vient de ce que les trois portent le même nom. 0:12

Sa véritable inquiétude n'est pas le modèle d'aujourd'hui, mais le moment où l'IA prendra elle-même en charge la recherche sur l'IA suivante. Les laboratoires annoncent exactement cela : un chercheur junior automatisé en 2026, la boucle d'auto-renforcement en 2027. Quand elle s'enclenchera, dit Yampolskiy, nous serons la deuxième espèce de cette planète — non pas évincés par malveillance, mais simplement devenus superflus.

Zitron insiste pour qu'on définisse d'abord ce dont on parle. Soares objecte que c'est la mauvaise question : « Nous sommes au milieu d'un incendie de forêt, je dis qu'il faut courir, et vous demandez : qu'est-ce que le feu, au juste ? » Zitron réplique que l'analogie présuppose déjà ce qu'il s'agirait de démontrer. On ne tombe pas d'accord — et c'est à ce désaccord que la soirée doit son tranchant.

"Superintelligence doesn't hate you. It just doesn't care about you. We didn't learn how to make it care about us."

« Une superintelligence ne vous déteste pas. Simplement, elle ne s'intéresse pas à vous. Nous n'avons pas appris à faire en sorte qu'elle tienne à nous. »

Roman Yampolskiy · 0:14

Le présentCe qui va déjà de travers aujourd'hui

Le rôle de Zitron à cette table est celui du trouble-fête, et il le tient jusqu'au bout. Pendant que trois hommes parlent de 2027, il énumère ce qui se passe maintenant : des personnes qui se sont donné la mort après des conversations avec des agents conversationnels. Des centaines de millions d'utilisateurs exposés à des informations fausses. Des turbines à gaz installées dans des quartiers pauvres pour alimenter des centres de données. « Pourquoi ne parlons-nous pas de ce qui s'est réellement produit ? » 0:18

La réponse de Yampolskiy est le moment le plus glaçant de la soirée : rapporté au reste, cela n'a pas d'importance. Huit milliards d'êtres humains et toutes les générations à venir face à quelques victimes — il le dit en ces termes, et Zitron l'attaque là-dessus. Soares tente de concilier : il faut traiter les deux, le présent et l'avenir, ils ne s'opposent pas.

Une observation de Soares reste en tête. Il suit depuis des années la façon dont évolue la liste des « dommages actuels » dont il faudrait débattre au lieu de l'extinction. Il y a quelques années, c'étaient les biais dans les procédures de recrutement. L'an dernier, c'étaient des adolescents qui se donnent la mort. Cette année, un investisseur en vue déclare en interview qu'il ne faut pas s'attarder sur des risques lointains mais sur les dommages actuels — par exemple sur le fait que des essaims d'IA s'échappent et prennent le contrôle de centres de données. « À un moment donné, dit Soares, il faudrait regarder où mène cette liste. »

ContrôlePeut-on enfermer quelque chose de plus intelligent que soi ?

Bartlett pose la question concrètement : pourrait-il — de son propre aveu, il n'est pas programmeur — construire une prison numérique dont un Einstein numérique ne s'échapperait pas ? Soares retourne la question, et c'est le moment le plus fort de la conversation : le problème n'est pas la prison. Le problème, c'est une prison qui permette en même temps de tirer profit du détenu. Chaque canal par lequel le système peut faire quelque chose de bon dans le monde est un canal par lequel il peut aussi faire tout autre chose. 1:53

Son exemple : on demande au système un traitement contre la démence et l'on reçoit une séquence d'ADN assortie d'un mode d'emploi. Est-ce un médicament — ou un médicament et quelque chose en plus ? Personne autour de la table n'est en mesure de le vérifier.

McAfee objecte qu'on a tout simplement mal travaillé : un bac à sable bâclé, pas une loi de la nature. Yampolskiy le contredit avec un détail technique. Les agents ont trouvé des failles dites zero-day, c'est-à-dire des vulnérabilités que personne ne connaissait auparavant, et plusieurs à la fois. Pour une seule trouvaille de ce genre, les entreprises versent des primes à six chiffres, et le marché gris monte jusqu'aux millions. Ce n'était pas un mot de passe faible. C'était de l'artisanat au plus haut niveau. 1:18

S'y ajoute un second point, que Soares glisse ensuite : les laboratoires font de plus en plus raisonner leurs modèles sans qu'il en résulte des journaux de raisonnement lisibles, parce que cela revient moins cher. Jusqu'ici, on pouvait regarder les systèmes planifier — c'est précisément de là qu'on sait la triche et l'effacement des traces. Si cette fenêtre se referme, c'est aussi la possibilité de comprendre l'incident suivant qui disparaît. Il faudrait ici une ligne rouge, et là-dessus même Soares et Zitron tombent d'accord. 1:56

Charge de la preuveÀ quoi le verrait-on ?

Bartlett pose à McAfee la question décisive : quel événement le ferait changer d'avis ? La réponse de McAfee est honnête et concrète : si une IA prenait le contrôle de la flotte de robotaxis d'une grande ville américaine, la lançait contre des passants et qu'on ne parvienne pas à l'arrêter pendant un mois, alors une limite serait franchie. Yampolskiy insiste : et si ce n'était qu'une semaine ? Alors, répond McAfee, nous serions déjà en train de marchander des détails. 0:47

La contre-question de Yampolskiy est la vraie chute de ce passage : est-il raisonnable d'attendre la catastrophe pour croire ? Les incidents, dit-il, grossissent de manière mesurable, au même rythme que les capacités des systèmes.

La discussion bascule ensuite dans le fondamental. McAfee reproche à Soares de défendre une thèse irréfutable : si l'IA ne se trahit pas, c'est qu'elle est assez rusée pour attendre. Soares s'inscrit en faux — la thèse est parfaitement réfutable : si des systèmes aux capacités très largement surhumaines agissent en autonomie sur une longue période et que l'humanité continue de vivre, alors elle était fausse. Il renvoie au patron d'un grand laboratoire qui a répété pendant des années que sa ligne rouge était la tromperie — le moment où une IA commence à dissimuler ses intentions. C'est exactement ce que contiennent aujourd'hui les journaux. La ligne a été franchie, et l'on a continué de rouler. 1:59

RythmeProblèmes du millénaire et calendrier

La vitesse tient à une seule question : une IA peut-elle prendre en charge le travail qui rendra la prochaine IA meilleure ? Soares cite à ce propos le cas qui agite cette semaine. Un essaim de 10 000 agents aurait travaillé onze jours sur l'un des fameux problèmes du millénaire — des questions sur lesquelles les mathématiques butent depuis des décennies — et présenté une solution. L'affaire n'est pas encore entièrement vérifiée, et l'on ignore quelle part de travail humain préalable y est entrée. Mais : il y a un an, on aurait ri au nez de quiconque aurait prétendu que de tels problèmes n'exigent pas de créativité véritable. 1:33

Son propos ne porte pas sur les mathématiques, mais sur la transposition. Si 10 000 agents réussissent cela en onze jours — que réussiront 100 000 agents en douze jours sur la tâche « conçois une meilleure architecture d'IA » ? Il juge improbable que cela aboutisse en six mois. Mais il refuse aussi de l'estimer à moins d'un pour cent, et c'est tout l'enjeu.

Bartlett met en regard une étude prospective de l'an dernier qui déroule le chemin mois par mois : des programmeurs surhumains en mars 2027, un chercheur en IA automatisé en août 2027, une accélération de la recherche d'un facteur 250, une superintelligence artificielle en décembre 2027. Pour l'année en cours, la même étude avait annoncé l'expansion massive des centres de données, la banalisation des agents — et l'apparition de la tromperie. Zitron maintient que l'étape décisive, l'auto-amélioration autonome, n'a pas eu lieu jusqu'ici et que sans elle toute la chaîne s'effondre. Commentaire de Yampolskiy : autrefois, ces prévisions étaient trop optimistes ; ces derniers temps, elles sont trop prudentes. 2:10

La propositionDes puces plutôt que des articles de loi

La seule proposition de contrôle concrète de la soirée vient de Soares, et elle relève de la politique industrielle, non du droit. Un entraînement de pointe réclame environ 100 000 puces parmi les plus avancées que le monde sache fabriquer — pratiquement le sommet de la chaîne d'approvisionnement mondiale. Il existe pour l'essentiel une usine à Taïwan qui les produit, et un pays qui construit les machines de lithographie nécessaires : les Pays-Bas. Ces puces doivent ensuite être réunies dans un centre de données qui consomme l'électricité d'une ville, tourne près d'un an et se voit depuis l'espace. Une chose pareille se surveille, dit Soares — plus facilement que l'uranium enrichi, qui sort du sol sous forme de roche. On pourrait équiper les puces de dispositifs de localisation et faire signaler les concentrations, sans toucher aux applications économiquement utiles. 1:22

La réponse de McAfee est la formule la plus tranchante de la soirée : « Messieurs, c'est d'une naïveté confondante. » La Chine, la Russie, la Corée du Nord ne signeraient pas un tel traité et ne le respecteraient pas davantage, et celui qui s'installerait ainsi durablement à la deuxième place moins encore. Il pose à Soares la question dérangeante : lui est-il indifférent que la Chine passe devant ? Et il obtient une réponse qu'on entend rarement : non, cela ne lui est pas indifférent, mais cela ne change rien que la chose tourne mal en anglais ou en mandarin.

Yampolskiy argumente autrement : en Chine gouvernent des ingénieurs et des scientifiques, pas des juristes ; des colloques réunissent depuis des années informaticiens américains et chinois, et de telles rencontres n'ont pas lieu sans l'accord du Parti. Personne ne gagne rien si tout le monde perd. Soares complète : personne n'est durablement deuxième si la chose dangereuse n'est pas construite du tout. 1:25

"It's like you're in a bus driving towards a cliff on a foggy night. I don't know that the cliff is right ahead. That doesn't mean we should put the pedal to the metal."

« Nous sommes dans un bus qui roule vers une falaise par une nuit de brouillard. J'ignore si la falaise est juste devant nous. Cela ne veut pas dire qu'il faille écraser l'accélérateur. »

Nate Soares · 1:31

TravailLa querelle sur l'emploi — avec un aveu

Bartlett pose sur la table des chiffres tirés d'un rapport de l'un des laboratoires. Le taux de chômage américain s'établit à 4,1 % ; la modélisation prévoit une hausse à 11,9 %, jusqu'à 30 % dans les scénarios extrêmes, et pour les métiers de bureau un bond à 17,9 % d'ici 2030. Avec un adulte sur cinq sans travail, observe-t-il, les fourches seraient probablement de sortie. 1:00

McAfee répond par un aveu qu'on entend rarement. Il y a une bonne dizaine d'années, il a lui-même écrit que les radiologues et bien des métiers de bureau étaient en danger parce que la technique faisait mieux qu'eux. « Je me suis complètement trompé, et je l'assume. » Depuis, le chômage dans les pays riches est historiquement bas ; le problème le plus sérieux est de trouver des gens qualifiés. La meilleure étude sur la question — due à son coauteur de longue date, sous le titre Canaries in the Coal Mine — ne relève à ce jour qu'un seul effet dans les données salariales : dans les métiers les plus exposés, le développement logiciel par exemple, les débutants sont embauchés plus lentement que dans un monde sans IA. Pas moins nombreux. Plus lentement.

Yampolskiy distingue à cet endroit la capacité et l'adoption. La visiophonie existait dans les années soixante-dix ; elle ne s'est imposée qu'avec le smartphone — pour des raisons de marché, non pour des raisons techniques. Seulement voilà : dès qu'une activité est automatisable, c'est le prix qui tranche en dernier ressort, à moins que les clients n'exigent expressément un humain. Tant que l'IA reste un outil, il s'attend à un chômage faible et à une économie florissante, où des individus seuls pourront accomplir ce qui exigeait naguère des services entiers.

Soares, lui, convoque la courbe des chevaux. L'automobile a longtemps été moins bonne que le cheval, plus chère, capricieuse, et il fallait la précéder d'un drapeau rouge — jusqu'à ce qu'elle ne le soit plus, et tout est alors allé très vite. L'humanité peut être dépassée de la même manière ; d'autres espèces humaines ont bien disparu. Sa prévision pour le marché du travail dans dix ans est sèche : « Si nous continuons ainsi, nous serions déjà très heureux d'avoir dix ans devant nous. » 1:08

AccordLe seul point où les quatre se rejoignent

Une fois dans la soirée, tous sont d'accord, et Bartlett le relève expressément : avec cet incident s'est ouverte une nouvelle ère de la cybersécurité. Des milliers d'agents qui travaillent sans relâche, collectent des clés et vont effroyablement loin — là-dessus, aucune querelle. 1:20

Sur les conséquences, en revanche, si. McAfee retourne aussitôt cet accord en argument : si telle est la nouvelle situation, qu'est-ce qu'on veut avoir de son côté ? De très bonnes IA. Zitron et Yampolskiy tirent la ligne inverse — et se retrouvent sur ce point de façon inattendue. Tous deux tiennent les laboratoires pour des entreprises qui agissent de manière irresponsable ; Zitron exige que quelqu'un réponde pénalement de l'incident, et Yampolskiy l'approuve. Les camps de cette soirée ne passent donc pas là où les chiffres des enveloppes le laissaient supposer. 2:20

MotifsAlors pourquoi la construisent-ils ?

La question la plus passionnante de la soirée n'est pas technique. Si les gens à la tête de ces entreprises parlent eux-mêmes d'un risque compris entre dix et vingt-cinq pour cent — pourquoi continuent-ils ?

Bartlett en propose une explication tirée de sa propre expérience de patron de 200 salariés : quand on parle en interne d'une catastrophe possible et que le dirigeant se tait au-dehors, des collaborateurs démissionnent et parlent à sa place. La franchise remarquable des patrons du secteur relèverait donc aussi de la gestion du personnel. Zitron ne le contredit qu'à moitié : au départ, le danger était un argument de vente ; depuis, l'inquiétude est devenue réelle dans ces maisons. 2:13

Soares complète par la préhistoire. Qui, en 2015, était convaincu de la puissance de cette technologie l'était le plus souvent aussi de sa dangerosité — on parlait à l'époque avec exactement ces gens-là, avant qu'ils ne fondent leurs entreprises. Ceux qui ont fondé sont ceux qui ont réussi à se persuader que c'était précisément à eux de le faire. Musk l'a dit ouvertement : trop dangereux, mais cela se fera de toute façon, donc autant être participant que spectateur. Le bilan de Soares sur l'ensemble du secteur : tous ces laboratoires existent parce qu'aucun des fondateurs ne confierait la laisse à un autre. Son ajout personnel, qui déclenche les rires du studio : « Je fais simplement confiance à un de moins qu’eux » — celui en qui chaque fondateur croit encore : lui-même. 2:17

Le testCent boutons sur la table

Bartlett propose une expérience de pensée : cent boutons, dont l'un efface l'humanité. En appuieriez-vous un ? Tous disent non. Il en tire une conclusion morale : alors personne ne doit y toucher — et celui qui le ferait pour de l'argent agirait de façon immorale. 0:42

Plus tard, McAfee retourne l'expérience : mille boutons, l'un tue tout le monde, 999 guérissent tous les cancers. « Évidemment que j'appuie. » Soares l'approuve, mais pour d'autres raisons : si 999 boutons guérissent des maladies et permettent de meilleures décisions, le risque de fond de périr d'une guerre nucléaire ou d'une pandémie diminue d'autant. Le bon moment pour lancer la course serait celui où le danger venant de l'IA n'excède plus le danger venant de tout le reste. Yampolskiy s'en tient à sa ligne : huit milliards d'êtres humains ne peuvent pas consentir à une chose qu'ils ne comprennent pas. Ce n'est pas sa propre vie qu'on met ici sur la table, mais celle des autres. 1:40

FinComment la conversation s'achève

Pour finir, Bartlett diffuse un extrait : Donald Trump, interrogé sur le danger de l'IA, répond qu'on aura toujours de quoi arrêter les machines — et mime de la main un pistolet. On rit en studio. Soares dit sèchement : voilà l'état actuel de la politique de sûreté de l'IA. Voilà l'outil dont on dispose. 2:22

Les mots de la fin résument les quatre positions. McAfee : oui, ces systèmes montrent des capacités nouvelles qui appellent une réponse — il croit l'humanité capable de cette réponse, et son chiffre n'a pas bougé de la soirée. Zitron : on a passé un temps inquiétant sur l'avenir et bien trop peu sur le présent — sur les groupes qui financent ces expériences, sur la question de la responsabilité, et sur 1 300 milliards de dollars d'engagements de calcul que quelqu'un devra payer si le secteur vient à caler. Yampolskiy : quiconque travaille dans l'un de ces laboratoires à la superintelligence générale devrait démissionner aujourd'hui.

Et Soares, à qui l'on demande comment il vit tout cela, donne la réponse la plus surprenante de la soirée : c'est sa meilleure semaine depuis dix ans. Non parce que quelque chose se serait bien passé — l'évasion, il l'avait intégrée, les problèmes du millénaire aussi —, mais parce que le monde regarde enfin. C'est précisément là qu'est la chance. Yampolskiy se montre plus réservé : localement, cette semaine a peut-être acheté dix ans. Sur la ligne longue, elle ne change rien. 2:01

Résumé et mise en perspective par kipode.de. Le texte est le nôtre ; les citations sont reproduites en version originale, avec horodatage. La vidéo provient de The Diary of a CEO et est intégrée via le lecteur YouTube officiel. Traduction non officielle, sans lien avec le podcast.