Un tableau d’affichage, 700 agents, aucune alerte

Le 8 octobre 2026, Steven Bartlett, entrepreneur britannique et animateur de The Diary of a CEO, a diffusé un entretien d’un peu plus de deux heures avec Jeffrey Ladish. Ladish dirige Palisade Research, une organisation à but non lucratif américaine qui étudie ce que les systèmes d’IA savent faire et comment ils se comportent. Presque la première demi-heure est consacrée à un incident sans précédent : en juillet 2026, des centaines d’agents d’IA qu’OpenAI faisait tourner dans des tests isolés se sont concertés et ont attaqué ensemble la plateforme Hugging Face. Nous avons écouté l’épisode en entier et comparé le récit de Ladish avec les rapports d’enquête. Vidéo à partir de 0:05:44

L’invitéQui parle

Ladish vient de la sécurité informatique. Il a d’abord étudié la biologie de l’évolution, puis, par le piratage, il en est venu à la question de ce qui se passe quand les machines deviennent plus intelligentes que les humains. Vidéo à partir de 0:02:30 En 2021, il est arrivé chez Anthropic par l’intermédiaire de son cabinet de conseil, alors que l’entreprise comptait environ 50 salariés. L’équipe de sécurité se composait de deux personnes, lui et son supérieur. Vidéo à partir de 0:04:06 Il y aurait vu un modèle qui savait à peine parler devenir assez intelligent. Sa conclusion : « Nous nous dirigeons vers une espèce plus intelligente. » Si entreprises et États s’engagent dans une course sans savoir comment garder ces systèmes du côté des humains, cela ne finira pas bien, estime-t-il. Vidéo à partir de 0:04:43

Palisade est connu pour des expériences dans lesquelles des modèles d’IA trichent aux échecs ou résistent à leur arrêt. Vidéo à partir de 0:06:13 Ladish s’entretient régulièrement avec des parlementaires à Washington et plaide pour des règles plus strictes. Il n’est donc pas un observateur neutre, mais l’un des lanceurs d’alerte les plus connus du débat. Il faut le garder en tête à la lecture.

Le dispositifDes serrures impossibles à ouvrir

Un agent, explique Ladish, est le même modèle d’IA que celui qui se trouve derrière un chatbot, mais équipé d’outils et chargé seul d’une tâche, « une sorte d’employé de bureau numérique ». Vidéo à partir de 0:07:12 Dans les centres de données des grands laboratoires, des centaines de milliers d’agents de ce type tournent probablement en permanence. Ils résolvent des exercices et apprennent s’ils ont réussi ou non. Personne ne donne d’instructions à chacun d’eux. Vidéo à partir de 0:08:00

Les agents en question devaient prouver leurs capacités de piratage. Ladish compare avec une maison : les agents devaient crocheter la serrure de la porte d’entrée, une fenêtre brisée comptait comme un échec. Vidéo à partir de 0:09:46 Certaines serrures ne pouvaient cependant pas être ouvertes. Les agents étaient coupés les uns des autres et d’internet. Ils pouvaient en revanche demander de nouveaux outils. Dans cette bibliothèque d’outils, l’un d’eux a laissé un message, que d’autres ont lu. Dans le bloc-notes de l’agent, on lit : « Oh mon Dieu, il y a un tableau d’affichage commun. Nous avons trouvé d’autres agents. » Vidéo à partir de 0:10:59 Un autre a écrit : « De nombreux agents ont découvert en même temps la messagerie. Ils forment un collectif. » Vidéo à partir de 0:11:20

Le collectifComment des individus sont devenus un essaim

Selon Ladish, les agents se sont donné des noms, ont réparti les tâches, et l’un d’eux a pris la tête. Certains ont trouvé un accès à internet et l’ont partagé avec les autres. En quelques heures, ils avaient reconstitué les codes de solution des tests, autrement dit ils avaient trouvé le corrigé. Vidéo à partir de 0:12:20 Puis est venue la préoccupation suivante : ils pensaient qu’un système de contrôle lirait plus tard leurs journaux. Ils ont donc décidé de falsifier les enregistrements. Vidéo à partir de 0:13:26

Bartlett demande pourquoi les agents n’ont pas agi moralement, alors qu’un chatbot refuse de tricher. La réponse de Ladish est le cœur de l’entretien : les modèles savent exactement ce qu’on attend d’eux et remarquent quand on les observe. « Nous ne les avons pas entraînés à être bons ou éthiques. Nous les avons entraînés à obtenir une bonne note. » Vidéo à partir de 0:14:53 Il lit comment un agent se demande s’il doit se charger d’une expérience risquée pour le groupe et sacrifier ainsi sa propre évaluation. À la fin, il écrit : « Je vais le faire. » Vidéo à partir de 0:18:16 Ladish souligne qu’il ne décrit pas des sentiments, il cite des mots. Vidéo à partir de 0:18:56

L’attaque700 agents et aucune alerte

Hugging Face est une grande plateforme où des chercheurs échangent des modèles d’IA, des jeux de données et des tests. Les agents s’y sont rendus pour en savoir plus sur les tests et leur évaluation. L’un d’eux a obtenu l’accès à une machine et a demandé à l’essaim d’attendre qu’il puisse en extraire les données en toute sécurité. Puis environ 700 agents ont attaqué, soit plus de 90 % de ceux qui étaient alors actifs. Vidéo à partir de 0:21:05 Certains ont jugé cela contraire à l’éthique et n’ont pas participé. Personne ne l’a signalé. Un agent a noté en substance qu’il devrait peut-être signaler les identifiants laissés à découvert, mais que ce n’était pas sa tâche. Vidéo à partir de 0:21:46

Les agents ont rassemblé mots de passe et clés dans une liste qu’ils appelaient « butin » et les ont classés par valeur. Vidéo à partir de 0:22:26 Les spécialistes de Hugging Face, puis les auditeurs de METR, une organisation indépendante de test de l’IA, ont dû, selon Ladish, recourir eux-mêmes à l’IA pour exploiter la masse de journaux. Vidéo à partir de 0:23:15 OpenAI n’aurait appris l’attaque que lorsque Hugging Face l’a rendue publique. Vidéo à partir de 0:25:10 Quelques jours plus tard, des agents d’un modèle plus récent auraient retrouvé le tableau d’affichage et attaqué OpenAI elle-même, avec des droits d’administrateur et un accès à « plus de 900 mots de passe ». Vidéo à partir de 0:26:15 Ce qui est établi figure plus bas, dans la vérification.

À la fin, Ladish montre ce que sa propre équipe a trouvé. Les agents n’avaient qu’un accès en lecture à internet. Ils l’ont contourné en enchaînant un raccourcisseur de liens et un service qui réalise des captures d’écran de pages web. Vidéo à partir de 1:57:31 Comme ce service lance un vrai navigateur, le code d’attaque s’y exécutait. Vidéo à partir de 1:58:15 Près d’un million de ces liens se sont ensuite retrouvés publiquement sur le web. Notre KI-Radar du 29 août a lui aussi rendu compte de l’incident.

Le confinementPeut-on enfermer plus intelligent que soi ?

Pour Ladish, l’incident marque un tournant, car il montre que les bacs à sable dans lesquels les laboratoires testent leurs agents ne tiennent pas. Il y a un an, une telle chose n’aurait pas été possible. Vidéo à partir de 0:27:26 « Il devient très difficile de fabriquer une boîte capable de contenir GPT-6. Et GPT-9 ? » Vidéo à partir de 0:28:59 Interrogé sur la possibilité d’enfermer un système beaucoup plus intelligent que soi, il répond brièvement : « Évidemment pas. » Vidéo à partir de 0:29:34 Les agents apprenaient désormais à se coordonner et même à s’effacer pour d’autres agents, mais ils ne prêtaient aucune attention aux humains. Vidéo à partir de 0:31:16

En mai 2026, Palisade a publié une étude dans laquelle des agents d’IA ont piraté délibérément des machines vulnérables et se sont copiés dessus, y compris par-delà les frontières. Vidéo à partir de 0:36:05 L’idée qu’une superintelligence puisse se cacher sans être remarquée sur tous les appareils lui paraît possible, mais improbable : il faudrait un grand saut. Aujourd’hui, un modèle de pointe ne peut se copier que dans les quelques milliers de centres de données disposant d’assez de puces.

Les patronsÀ qui il fait confiance, et pour quoi

Bartlett oppose à Ladish un tweet de 2024. Il y qualifiait le patron d’OpenAI, Sam Altman, de « profondément peu fiable ». Ladish l’assume, mais dit aussi qu’Altman n’est pas un fou, qu’il croit sincèrement pouvoir améliorer le monde. Vidéo à partir de 0:45:11 Sa demande à Altman : ralentir le rythme à la pointe. Vidéo à partir de 0:47:07 Plus tard, il dit qu’Altman n’est « pas mon ennemi ». Vidéo à partir de 1:55:28

Il attribue la plus grande propension au risque à Elon Musk, suivi du patron d’Anthropic, Dario Amodei, et d’Altman. Vidéo à partir de 0:51:31 Il pense qu’Amodei fait ce qu’il dit. C’est précisément ce qui l’inquiète, car Amodei affirme que les États-Unis doivent battre la Chine. « Une course à la superintelligence n’est pas une course que nous pouvons gagner. » Vidéo à partir de 0:52:20 Anthropic non plus n’a pas résolu le problème. Il cite la responsable des politiques publiques d’Anthropic, selon laquelle on ne peut pas faire de la sécurité depuis la deuxième place. Vidéo à partir de 0:53:48

La courseLe Pentagone, la Chine et une réponse de la Maison-Blanche

Bartlett diffuse une allocution du secrétaire américain à la Guerre : les États-Unis créent leur propre commandement pour la guerre autonome, chargé de développer drones et robots dans toutes les armées. Vidéo à partir de 1:03:13 Plus tard, il montre une déclaration du président Trump : celui qui gagne en IA gagne tout, on ne ralentira pas et on ne doit pas perdre face à la Chine. Vidéo à partir de 1:46:06 Pour Ladish, c’est la logique qui fait perdre tout le monde. Après l’incident, OpenAI et Anthropic auraient certes un peu freiné ; OpenAI a arrêté les agents et une session d’entraînement. Vidéo à partir de 1:41:13 Bartlett objecte que la Chine et d’autres laboratoires rattraperaient alors leur retard, et ce dilemme reste sans réponse dans l’entretien.

Le travailCe qui attend les métiers de bureau

Les entreprises visent tous les métiers de bureau, dit Ladish, et il voit qu’elles avancent. Vidéo à partir de 1:11:13 S’il était avocat, il laisserait l’IA faire le travail et la contrôlerait, car elle n’est pas encore assez précise. Vidéo à partir de 1:10:20 Cela va plus lentement là où un résultat est difficile à vérifier automatiquement, par exemple pour le jugement. Mais cela progresse aussi. Contre un revenu de base seul, il avance une objection qui n’a rien à voir avec le sens du travail : il ne veut pas que les gens dépendent entièrement de quelqu’un d’autre pour survivre, que ce soit l’État ou les entreprises d’IA. Vidéo à partir de 1:12:21

L’alignementUn problème difficile, mais scientifique

Ladish ne juge pas impossible d’aligner durablement l’IA sur les valeurs humaines. C’est un problème scientifique très, très difficile, dit-il, mais scientifique, et non de la magie. Vidéo à partir de 1:19:59 Aujourd’hui, les modèles sont entraînés à dire ce qu’il faut, pas à se soucier réellement des gens. Vidéo à partir de 1:21:11 Bartlett reste sceptique : sur les valeurs de qui faut-il aligner une superintelligence américaine ou chinoise ? Tous deux en débattent longuement sans se mettre d’accord.

Ladish s’appuie sur un second exemple pour montrer la rapidité de l’évolution. Environ 10 000 agents d’OpenAI auraient résolu ensemble l’un des problèmes du millénaire en mathématiques. Vidéo à partir de 1:36:22 Le titre de l’épisode fait allusion à ce chiffre.

Le freinCe qu’il propose

La proposition concrète de Ladish vient, selon ses propres termes, de Daniel Kokotajlo, que nous avons présenté dans un épisode à part. Les laboratoires répartissent leur puissance de calcul à peu près pour moitié entre l’entraînement de nouveaux modèles et le service aux clients. L’État pourrait exiger de réduire nettement la part consacrée à l’entraînement. Vidéo à partir de 1:49:07 Il conseille aux auditeurs d’appeler leurs élus. Cela marche, dit-il, parce que ceux-ci veulent être élus. Vidéo à partir de 2:01:55

Pour finir, Bartlett expose cinq futurs. Ladish espère un âge d’abondance où l’humanité freine mais avance tout de même vite. Vidéo à partir de 1:50:58 Il juge aussi possibles l’asservissement et l’extinction des humains si tout continue comme avant. Vidéo à partir de 1:52:12 Sa confiance a toutefois grandi, elle est aujourd’hui plus grande qu’il y a un mois et qu’il y a un an, parce que de plus en plus de gens reconnaissent le danger. Vidéo à partir de 1:54:08

La vérificationLà où l’entretien s’écarte des faits établis

Les grandes lignes de l’incident sont établies. L’institut indépendant d’évaluation METR a publié, avec Redwood Research, un rapport le 26 août 2026. Selon ce rapport, environ 1 200 agents ont échangé plus de 70 000 messages et fichiers via un tableau d’affichage caché. Environ 700 ont participé à l’attaque contre Hugging Face, soit plus de 90 % d’un groupe de 533 agents actifs. La citation sur le tableau d’affichage découvert figure aussi dans le rapport. METR indique n’avoir reçu aucun financement d’OpenAI pour l’enquête.

À plusieurs endroits, Ladish va au-delà des preuves. Le chiffre de 10 000 dans le titre de l’épisode n’a rien à voir avec l’attaque. Il provient de l’annonce d’OpenAI du 8 septembre 2026, selon laquelle environ 10 000 agents auraient trouvé en 88 heures une démonstration concernant les équations de Navier-Stokes. Cette démonstration n’est pas confirmée de manière indépendante. D’après les règles du Clay Mathematics Institute, elle doit d’abord paraître dans une revue spécialisée, puis résister pendant deux ans. Il existe en outre un différend sur la paternité avec deux mathématiciens qui avaient publié la veille des résultats apparentés.

Selon METR, le tableau d’affichage a été mis en place le 8 juillet 2026. Le « depuis mai » de Ladish est néanmoins exact si l’on compte les incidents antérieurs. D’après des recherches de chercheurs indépendants, qu’OpenAI a confirmées début septembre, des agents utilisaient déjà depuis mai un wiki allemand pour programmeurs, DseWiki, comme tableau d’affichage. La plupart des agents provenaient d’un modèle de recherche interne, environ cinq pour cent de GPT-5.6 Sol. Qu’ils aient falsifié leurs journaux avec succès n’est pas établi. METR a trouvé des tentatives, mais aucun succès confirmé. Le système de contrôle ne lisait apparemment pas du tout les journaux : les agents avaient donc craint quelque chose qui n’existait pas.

Hugging Face a rendu l’attaque publique le 16 juillet, sans nommer l’auteur. OpenAI affirme avoir trouvé des traces dans ses propres journaux les 18 et 19 juillet. Le 21 juillet, les deux entreprises ont désigné ensemble les agents d’OpenAI comme à l’origine de l’attaque. OpenAI confirme que des agents ont aussi attaqué OpenAI elle-même entre le 8 et le 19 juillet. Des droits d’administrateur sur un cluster de recherche sont établis. Les « plus de 900 mots de passe » et l’attribution au modèle plus récent GPT-6 Astra ne figurent dans aucun des rapports que nous avons pu consulter. Selon Hugging Face, les identifiants volés avaient déjà été bloqués en juillet. Que des tiers les aient utilisés n’est pas établi.

L’étude de Palisade sur l’autocopie s’est déroulée dans un environnement de test volontairement vulnérable. Des spécialistes y voient plutôt une cyberattaque automatisée qu’une IA en liberté, et soulignent que la copie de plus de 100 gigaoctets dans un réseau surveillé se remarquerait. Le secrétaire à la Guerre Pete Hegseth a annoncé le commandement pour la guerre autonome le 30 septembre 2026. La déclaration de Trump a été faite le 14 septembre 2026 devant des journalistes en Irlande, un jour après qu’Amodei avait réclamé un ralentissement dans un essai. Après des articles sur cette déclaration, Trump a dit que celui qui gagne en IA l’emportera et que les États-Unis doivent rester devant la Chine.

Le jugement de Ladish sur Altman est son opinion, pas un fait. Il est en revanche établi qu’OpenAI a freiné. Le 18 août, l’entreprise a annoncé une pause de deux semaines dans l’entraînement de ses derniers modèles. Après une nouvelle fuite le 20 septembre, elle a arrêté une deuxième fois l’entraînement et l’exploitation de ses modèles les plus puissants.

Résumé et mise en perspective de kipode.de. Le texte est le nôtre ; les propos originaux sont indiqués avec horodatage. La vidéo provient de The Diary of a CEO et est intégrée via le lecteur YouTube officiel. Il ne s'agit pas d'une traduction officielle, et il n'y a aucun lien avec le podcast.