El hombre que puso en hora el reloj

Daniel Kokotajlo trabajó en OpenAI de 2022 a 2024. Allí escribía escenarios de futuro, estudiaba qué capacidades peligrosas iban adquiriendo los sistemas y durante un tiempo participó también en el desarrollo de agentes de inteligencia artificial. Dimitió en 2024 porque ya no creía que la empresa se tomara en serio sus propios compromisos de seguridad. Hoy dirige el AI Futures Project, un pequeño grupo de investigación que escribe escenarios de futuro y de ahí deriva propuestas políticas. La frase sobre la que gira toda la conversación aparece en el montaje inicial: puede que esté surgiendo una nueva especie que acabe dominando el mundo, dice, y la probabilidad de que esto salga terriblemente mal es del setenta por ciento. A partir de ahí, durante dos horas la conversación no tiene un solo momento ligero. Vídeo desde 0:00:07

El testigoQuién habla — y qué ha visto

Kokotajlo se incorporó a OpenAI en 2022 y trabajó en la cuestión de cómo controlar y gobernar una inteligencia artificial potente. Menciona tres tareas. Escribía escenarios de futuro para uso interno, el precursor del documento que publicó después con el nombre de AI 2027 y que recorre mes a mes cómo podría llegar una superinteligencia. Medía qué capacidades peligrosas desarrolla un modelo, desde entrar en ordenadores ajenos hasta persuadir. Y durante un tiempo formó parte de un equipo que desarrollaba agentes, es decir, programas capaces de realizar tareas por su cuenta. No da un cargo exacto. Vídeo desde 0:10:21

Lo que lo desgastó no fue la tecnología, sino la distancia entre lo que se dice y lo que se hace. El relato de seguridad de los grandes laboratorios, sostiene, funciona más como justificación a posteriori que como freno real. Cita correos surgidos del litigio entre Elon Musk y OpenAI en los que los fundadores escribían en 2017 que una de las razones para crear la empresa era el temor a que Demis Hassabis, el jefe del laboratorio DeepMind de Google, pudiera convertirse, gracias a una IA general, en una suerte de dictador. Vídeo desde 0:12:33 Su regla para juzgar a los líderes del sector es tajante: se juzga a las personas por sus actos, no por sus palabras. Vídeo desde 0:13:21

Hay una escena que queda grabada. Tras el éxito de ChatGPT se celebró una reunión general, y el entonces director científico, Ilya Sutskever, resumió el ánimo en una frase: centraos en la misión, tenemos que construir la inteligencia artificial general. Vídeo desde 0:16:38 Es su relato; desde fuera no puede comprobarse. Kokotajlo dimitió en 2024. Vídeo desde 0:14:49

Los dos millonesLo que promete el título — y lo que él dice en realidad

El título del vídeo promete una historia de soborno: dos millones de dólares por guardar silencio. En apenas un minuto, el propio Kokotajlo lo desmonta. Cuando Bartlett repite la cifra, lo interrumpe: al final pudo quedarse con el dinero. Vídeo desde 0:17:25

Lo que ocurrió fue otra cosa. Los papeles de su salida incluían una cláusula que le prohibía de por vida criticar a la empresa, y una segunda que le prohibía hablar de la primera. Para una organización creada para el bien de toda la humanidad, le pareció llamativo. Según las condiciones del contrato, quien no firmara debía contar con perder las participaciones ya adquiridas. En su caso eso suponía alrededor del ochenta por ciento del patrimonio familiar. Su mujer y él lo hablaron, consultaron a abogados, y no firmó. Vídeo desde 0:18:25

Después el asunto salió a la luz, empleados empezaron a preguntar internamente, y la empresa retiró la cláusula: olvídenlo, conservan su participación. Vídeo desde 0:18:58 La dirección afirmó después que no sabía nada al respecto. Él no se lo cree. Vídeo desde 0:19:10

El resultado: estaba dispuesto a perder la mayor parte del patrimonio familiar y al final conservó el dinero. El título del vídeo acorta esa historia de forma considerable.

La cifraSetenta por ciento — y lo que no significa

El setenta por ciento es una estimación personal, no una medición, y lleva una condición que desaparece en el título del vídeo: vale si el desarrollo continúa sin un cambio de rumbo importante. Vídeo desde 0:28:40 Tampoco significa un setenta por ciento de probabilidad de extinción de la humanidad. Incluye expresamente el caso en que los sistemas de inteligencia artificial tomen el control y las personas sigan viviendo. Vídeo desde 0:42:06

Bartlett le contrapone otra cifra. Un conocido le habría contado que jefes de grandes empresas de inteligencia artificial cifran el riesgo de extinción en torno al siete por ciento, aunque no está seguro del número exacto. Con eso Bartlett construye un experimento mental: si hubiera cien botones sobre la mesa y uno de ellos acabara con el mundo, ¿pulsaría alguien? Kokotajlo responde que no tocaría ninguno. Vídeo desde 0:41:37 El argumento no depende, pues, del porcentaje. Incluso con una cifra mucho más baja queda la pregunta de cuánto riesgo de este tipo debería aceptar una sociedad.

El calendario2027, 2028, 2030: una fecha que se desplaza

Su estimación mediana actual para el momento en que los sistemas superen en todo a los mejores humanos se sitúa en 2029. Mediana quiere decir que, a su juicio, es igual de posible que llegue antes como después. Añade que también podría tardar bastante más, quizá diez años. Vídeo desde 0:03:20

Ha movido esa fecha varias veces, y ahí hay que distinguir dos cosas. 2027 es el año que aparece en el título de su escenario. Su propia marca del cincuenta por ciento estaba en 2028 cuando se publicó el documento, después pasó a 2030 y hoy está en 2029. Ahora, dice, en los laboratorios le aconsejan adelantarla otra vez. Vídeo desde 0:23:24 Además, no todas las fechas mencionadas se refieren al mismo paso técnico.

AI 2027 es un escenario de futuro con pretensión de pronóstico. Al escribirlo, dice, era su mejor conjetura sobre lo que realmente iba a ocurrir. Vídeo desde 0:22:19 El documento recorre mes a mes un camino posible, con dos finales: la carrera, en la que los sistemas acaban por dejar de obedecer, y la desaceleración, en la que el control funciona pero el poder queda en muy pocas manos. Vídeo desde 0:25:19 No es, con todo, una predicción segura. Los autores no afirman que cada acontecimiento vaya a suceder exactamente así y exactamente ese año. Un escenario convence precisamente porque es concreto, y ahí está también su debilidad: cada etapa tiene que ocurrir más o menos como se describe, o la cadena se rompe.

La estrategiaPor qué los laboratorios se automatizan primero a sí mismos

El plan de las grandes empresas, tal como él lo expone, es sencillo. Primero se automatiza la programación, luego toda la actividad investigadora: ideas, evaluación, comunicación. Al final del camino hay un laboratorio que ya no necesita empleados humanos, porque un ejército de copias de un mismo modelo entrena a la siguiente generación. El jefe de Anthropic lo llama un país de genios dentro de un centro de datos; Kokotajlo cree que «ejército» es la palabra más exacta, porque todas esas copias pertenecen a un único dueño. Vídeo desde 0:06:40

Sí aporta una magnitud que muestra el crecimiento. En 2020 los modelos más grandes tenían unos 175.000 millones de parámetros, una cifra documentada en la publicación científica sobre GPT-3. Vídeo desde 0:34:51 Para los modelos punteros de hoy da un orden de magnitud estimado de diez billones, sin demostrarlo para ningún modelo concreto; las empresas hace tiempo que no publican esos datos. Vídeo desde 0:31:52 Él mismo habla de cien veces más; el cálculo da unas sesenta veces. Los parámetros son los valores numéricos modificables del interior de un modelo. Cuántos haya no dice por sí solo nada sobre lo capaz ni lo fiable que es una inteligencia artificial.

El empleoPor qué la ola llega tarde — y de golpe

Aquí contradice la expectativa más extendida. En su escenario, el desempleo masivo no llega al principio, sino al final, en 2028 o 2029, tras el salto de la investigación automatizada en inteligencia artificial. El motivo es el mismo de antes: los laboratorios automatizan primero su propio trabajo, no la economía. Por eso durante mucho tiempo apenas pasa nada visible, y después pasa muchísimo de golpe. Vídeo desde 0:57:22

Para el debate a este lado del Atlántico, es el punto más incómodo de la conversación. Quien hoy señala cifras de empleo estables mide bien el presente. Lo que esas cifras no pueden es descartar una evolución posterior. Queda abierto si la economía cambiará realmente en ese orden.

Plan AEl escenario alternativo que él mismo considera poco probable

La segunda mitad de la conversación gira en torno a lo que él opone a todo esto: AI 2040. La idea no es impedir la superinteligencia, sino retrasarla diez años mediante normas estatales, obligaciones de prueba y un acuerdo verificable entre Estados Unidos y China. Vídeo desde 1:00:28 La propuesta va mucho más allá de la supervisión habitual. Inspectores de cada país entrarían en los centros de datos del otro y comprobarían si allí solo se explotan sistemas existentes o se entrenan otros nuevos. La investigación se haría pública en buena medida, para que otros países puedan ponerse al día. Y los nuevos centros de datos se construirían de modo que puedan destruirse si el acuerdo se rompe y la carrera vuelve a empezar. Vídeo desde 1:18:17 Que los Estados acepten tales condiciones y puedan controlarlas de forma fiable está abierto.

En su cronología, en 2031 una máquina hace una quinta parte del trabajo intelectual Vídeo desde 1:22:11, después funcionan sesenta millones de sistemas, cada uno cien veces más rápido que una persona Vídeo desde 1:25:21, y a partir de 2033 los ciudadanos estadounidenses reciben un dividendo anual, de unos 25.000 dólares por persona al principio. El dinero no sale de un impuesto general sobre los beneficios de las empresas de inteligencia artificial: los ciudadanos tendrían participaciones en un organismo público que vende permisos para capacidad de cálculo y robots y gana con ello. Vídeo desde 1:26:20 Solo en 2040 se suelta el freno. Vídeo desde 1:30:37 Todo esto son supuestos de su propuesta, no prestaciones garantizadas.

Él ha barajado cinco planes, desde la parada total hasta seguir sin freno. Él mismo formula una salvedad importante cuando Bartlett le pregunta cuál le parece más probable. No es el plan A. Es el plan en el que todo sigue como hasta ahora. Vídeo desde 1:07:04

El botónCómo termina la conversación

Bartlett le plantea un experimento mental: un botón que detendría para siempre el desarrollo de vanguardia, es decir, el trabajo en los sistemas más potentes. Ante una parada temporal, dice Kokotajlo, lo pulsaría de inmediato, porque el mundo no está preparado para este paso. Vídeo desde 1:46:29 Ante una definitiva sopesa largo rato y concluye que probablemente no lo pulsaría, aunque subraya lo difícil que le resulta esa ponderación. Su razón es que considera el beneficio posible demasiado grande como para quitárselo a la humanidad para siempre. Vídeo desde 1:49:52

Su mensaje final es más modesto de lo que sugiere el título. No es demasiado tarde, dice; si lo fuera, no estaría aquí, sino con su familia. Vídeo desde 1:57:29 Lo que pide a quienes escuchan no es una revuelta, sino lo contrario de mirar hacia otro lado: informarse, formarse una opinión y preguntar a los políticos que se presenten a las próximas elecciones qué postura tienen sobre la inteligencia artificial. Y votar en consecuencia. Vídeo desde 1:51:44

La contrapruebaLo que no hay que darle por bueno sin más

Tres cosas forman parte de un balance honesto. Primero, la cifra del setenta por ciento es una opinión, no una medición; otras personas bien informadas la sitúan en el diez o el veinte por ciento, y no existe una postura común de los especialistas. Segundo, la afirmación de que dentro de los laboratorios se creen plazos aún más cortos no puede comprobarse desde fuera. Puede muy bien ser que quienes hablan con él sean sobre todo las personas preocupadas por la seguridad; hasta qué punto su visión representa al sector no puede juzgarse desde fuera. Tercero, de «muy potente» no se sigue automáticamente su propuesta política. Si un acuerdo así sería verificable y se mantendría en el tiempo es algo sin resolver; lo difícil sería detectar un desarrollo encubierto y reaccionar ante un incumplimiento.

Lo que todo esto no toca: su salida, las cláusulas, las cifras de crecimiento documentadas y la pregunta de quién decide sobre una técnica que construye a sus propios sucesores.

Resumen y contexto de kipode.de. El texto es propio; las afirmaciones remiten al original mediante marca de tiempo. El vídeo procede de The Diary of a CEO y se integra a través del reproductor oficial de YouTube. No es una traducción oficial ni existe vínculo con el pódcast.