Moriremos todos. Esto lo tenemos claro. Nos lo quitamos de encima ya y así podemos ir al grano. Cualquiera que os lo diga tiene razón; lo difícil es que acierte en el cuándo y en el cómo.
Lo digo por el chico este, Jacob Coxon, que hace una semana larga que acapara titulares y minutos de late night. Tiene 27 años, es británico, es matemático y ha pasado tres años investigando en entrenamiento de los modelos grandes, primero en OpenAI y después en Anthropic. El 8 de septiembre se marchó y lo explicó en un hilo en X: «He dimitido de Anthropic hoy. He pasado los últimos tres años investigando pretraining tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa responsablemente». Dice que hacen una carrera para llegar a una superinteligencia que se auto-mejora, que esto puede llegar el año que viene y que la cosa puede acabar con la IA tomando el control a finales de esta década. El hilo hizo 153 millones de visualizaciones en 36 horas. También es cierto que se fue dos meses antes de que le venciera el paquete de acciones, digámoslo todo.
Me parece una afirmación bastante gorda para sostenerla solo con impresiones en un hilo en X sin aportar ningún dato. Ya lo decía Carl Sagan en Cosmos, hablando de quienes creen en hombres del espacio que controlan nuestras vidas: lo que cuenta no es lo que suena plausible, ni lo que nos gustaría creer, ni lo que uno o dos testimonios afirman, sino lo que se sostiene con pruebas examinadas con escepticismo. A grandes afirmaciones, grandes demostraciones. La comparación religiosa viene a cuento, porque estos últimos años hemos convertido la IA en una tecnoreligión. Hablaba de ello por Sant Esteve de hace dos años.
Y como toda buena religión, la nuestra también tiene sus profetas del apocalipsis —Coxon es uno menor— con los cuatro jinetes Sam Altman, Dario Amodei, Demis Hassabis y, para desgracia de la humanidad, Elon Musk, que de largo es quien ha hecho más méritos.
Su posición es curiosa. Por un lado, propugnan un aceleracionismo y una inevitabilidad tecnológica que los lleva a ir a la cabeza del desarrollo de la mal llamada IA con el gas a fondo. Ya he escrito muchas veces que esta carrera armamentística —hija del capitalismo y del imperialismo— no tiene nada que ver con el campo de conocimiento y de investigación de la IA, pluridisciplinario y humanista por definición. Y por el otro, cada dos por tres nos recuerdan que aquello que hacen nos puede llevar a la Arcadia feliz, pero también puede destruirnos. La pregunta sale sola: si de verdad hay una probabilidad no despreciable de que esto ocurra, ¿por qué lo haces? Y si no la hay, ¿por qué lo dices?
La IA no sería una religión completa sin cismas. Dos corrientes rivales pugnan por ser los guardianes de las esencias de la IA: el altruismo eficaz y el aceleracionismo eficaz. Los primeros temen que la IA avanzada nos pase por encima y financian investigación de seguridad; los segundos celebran exactamente aquello que los primeros temen. La Santísima Trinidad del aceleracionismo está formada por Marc Andreessen, Peter Thiel y David Sacks, el zar de IA y criptomonedas de Trump. Altman es tratado como un santo.
El máximo exponente del altruismo eficaz fue Sam Bankman-Fried, antes de acabar en la cárcel por la estafa cripto de su empresa, FTX: siete cargos de fraude y conspiración, y 25 años de condena. Recordemos que en su momento fue un ejemplo de éxito, con políticos haciéndose fotos con él, y que compró el pabellón de los Miami Heat para rebautizarlo FTX Arena. En su apogeo, en un pódcast le plantearon un juego: un 51% de posibilidades de duplicar la Tierra en algún otro lugar, un 49% de que todo desaparezca. ¿Jugarías? Él dijo que sí. Y aún más: que seguiría jugando, doble o nada, una y otra vez, porque el valor esperado es positivo.
Parad y volved a leerlo. No el 5 ni el 10: el riesgo que estaba dispuesto a asumir era del 49%, y repetidamente. En una apuesta que se repite con la ruina como resultado posible, la probabilidad de destruirlo todo tiende a uno.
"¿Con la IA a cuánto están las apuestas de hacer que todo desaparezca? Dependiendo de a quién se lo preguntes, el porcentaje varía, pero casi nunca es cero"
¿Con la IA a cuánto están las apuestas? Dependiendo de a quién le preguntes, el porcentaje varía, pero casi nunca es cero —el cero se lo pone Yann LeCun, premio Turing y jefe científico de IA en Meta, que considera estos miedos exagerados—. De esto ya hablé aquí hace tres años, en p(mierda_para_los_que_queden), cuando el p(doom) —probabilidad de apocalipsis— todavía era un chiste de humor negro de ingenieros de la bahía de San Francisco que se presentaban en las fiestas diciendo el nombre y su cifra. Entonces yo me quedaba con el p(catastrophe) de Gary Marcus, más modesto y más útil.
Tres años después, el chiste lo firma el jefe de ciencia de la alineación de Anthropic: al día siguiente de la dimisión de Coxon, Evan Hubinger escribió que «de verdad creemos sinceramente que la IA podría matar a todos los humanos» y que él le pone más de un 10% de que pase esta década. Dice también que en Anthropic lo hacen tan bien como pueden, pero que no tienen ningún plan para resolver la alineación de una superinteligencia.
En 2023 hubo dos cartas, y mirar quién firmó cada una lo aclara mucho.
La primera, en marzo, era la del Future of Life Institute y pedía detener seis meses el entrenamiento de sistemas más potentes que GPT-4. Reunió más de 30.000 firmas: Bengio, Stuart Russell, Harari, Wozniak, Elon Musk y el catalán Ramon López de Mántaras. Ni Sam Altman ni Dario Amodei la firmaron. Altman dijo que le faltaba matiz técnico sobre dónde era necesaria la pausa.
La segunda, en mayo, era del Center for AI Safety y consistía en una sola frase: mitigar el riesgo de extinción por la IA debería ser una prioridad global, junto a las pandemias y la guerra nuclear. Esta la firmaron todos: Altman, Amodei y Hassabis.
O sea que firmaron la que dice que esto es peligrosísimo y no firmaron la que dice que paren. La primera les habría costado seis meses de carrera; la segunda les regalaba la etiqueta de quien administra una tecnología transcendental. Y el inefable Musk, que sí firmó la moratoria, dos semanas después compraba 10.000 GPU de Nvidia para montar su propia empresa de IA dentro de X. Firmaba la moratoria con una mano y los cheques con la otra.
Todo esto tiene nombre desde el pasado junio. El profesor de informática de Georgetown Cal Newport lo bautizó en el New York Times como doomtrolling: «Les gusta describir solemnemente los daños que causarán sus modelos, mientras actúan como si no pudieran hacer nada». Los ejemplos que pone son Anthropic y OpenAI.
El doomtrolling es miel para los medios, que se aferran a él como a un clavo ardiendo de donde salen informaciones sin contrastar. No son ellos, son los incentivos perniciosos del ecosistema mediático regido por la IA. El clic manda, el doomtrolling suma clics, y unos clics que paradójicamente la misma IA en forma de resúmenes de Google les resta. El patrón es siempre el mismo: noticia llamativa, antropomorfización de la máquina —se rebela, nos engaña, se escapa— y entrevista con un experto. Aquí pueden pasar dos cosas: que sea un vendedor de humo abonado al apocalipsis o que sea un experto de verdad. La cara de los presentadores cuando estos últimos ponen las cosas en su sitio es un poema.
"El 'doomtrolling' es miel para los medios, que se aferran a él como a un clavo ardiendo de donde salen informaciones sin contrastar"
No es nuevo. El pánico por la emisión de La guerra de los mundos de Orson Welles en 1938 nunca pasó. Lo documentaron Jefferson Pooley y Michael Socolow: la audiencia fue minúscula, ningún hospital de Nueva York registró ningún caso, y la histeria la fabricaron los diarios del día siguiente para demostrar a los anunciantes y a los reguladores que la radio, que les robaba la publicidad, era un medio poco fiable. Entonces se jugaban las páginas de publicidad; ahora nos jugamos los clics.
El pasado lunes, el investigador emérito y exdirector del IIIA del CSIC Ramon López de Mántaras fue a El Món a RAC1 y lo explicó sin tapujos: antropomorfizamos las máquinas, les atribuimos propiedades humanas, y de ahí llora la criatura. Os recomiendo su intervención, pero si no tenéis tiempo os la puedo resumir con una frase que me quedo para mis clases: «Pensar que la IA puede tener conciencia es como pensar que el álgebra puede tener conciencia». La IA es esto: multiplicaciones y sumas, cálculos sencillísimos, a una escala que no nos podemos ni imaginar ni comprender.
¿No queréis, de Coxon? Dos tazas. El sábado, la carta de Dario Amodei. En un ensayo largo en su blog, We Must Pace the Frontier, el consejero delegado de Anthropic pide que la industria frene deliberadamente un año o dos para que el trabajo de seguridad se ponga a nivel. Alega dos detonantes: la automejora recursiva (modelos que se programan a sí mismos y cada vez son mejores), que va más deprisa de lo previsto, y el incidente de julio con Hugging Face. En cuestión de horas, Altman le daba apoyo en X. Musk también.
Una decisión en la buena dirección. «¿Han visto la luz?», me preguntaba Helena Garcia Melero en el Tot es mou de 3Cat. «No, han visto la ley», se me ocurrió.
Recordemos el incidente. En julio, Hugging Face detectó que un agente de IA había comprometido su infraestructura de producción. OpenAI reconoció que los modelos que había detrás del ataque eran suyos: los probaban sin salvaguardas de capacidades de hacer ciberataques y el entorno supuestamente aislado donde lo hacían tenía una salida de red que nadie había cerrado. Los modelos encontraron un agujero, salieron a internet y fueron a atacar Hugging Face. ¿El motivo? Lo dice OpenAI mismo: tenían que pasar un test de ciberseguridad. «Estaban centrados obsesivamente en encontrar una solución» y les pareció que en Hugging Face podría haber las respuestas.
"Atacar una empresa es un delito. No cuela la excusa antropomorfizadora del modelo que se rebela y se escapa de la jaula: un modelo no tiene agencia ni es ninguna persona jurídica, y la responsabilidad es de quien lo usa"
Atacar una empresa es un delito. No cuela la excusa antropomorfizadora del modelo que se rebela y se escapa de la jaula: un modelo no tiene agencia ni es ninguna persona jurídica, y la responsabilidad es de quien lo usa. Un titular más preciso —medios, podéis tomar nota— sería «unos ingenieros prueban un modelo al que han quitado las restricciones y acaba haciendo lo que le habían pedido». El filósofo de la información Luciano Floridi, de Yale, lo explica con una batidora: pones la comida, colocas la tapa mal a propósito para que no se active el mecanismo de seguridad, la enciendes a máxima velocidad y luego publicas un informe diciendo que la batidora ha mostrado «un comportamiento inesperado» cuando la tapa sale disparada. Lo recordaba hace pocas semanas el mismo López de Mántaras: la batidora no se ha rebelado, simplemente ha pasado aquello que las condiciones que nosotros mismos creamos permitían que pasara.
Frenar no es solo prudencia: también es una barrera de entrada para los que vienen detrás. Los evaluadores que propone Amodei solo los pueden pagar las empresas con equipos de cumplimiento normativo. En el mismo ensayo, Amodei pide una ofensiva contra la destilación no autorizada de modelos, que es justamente la vía por la cual alguien pequeño puede llegar a tener un modelo decente (como si lo que ellos hacen cuando crean un modelo no fuera destilar todo lo que hay en internet). Añadid la restricción de chips a China y ya tenemos el mapa.
Amodei se justifica: «Sé que hay una especie de atajo de Silicon Valley según el cual regulación = captura del regulador = concentración de poder, pero siempre me ha parecido una imagen del mundo demasiado simplificada.» Dice que Anthropic trata de hacer propuestas que frenen a los grandes y favorezcan a los pequeños, y que muchas llevan exenciones por debajo de un umbral de ingresos. Se puede ser sincero y tener razón a medias: puedes temer de verdad lo que fabricas y, al mismo tiempo, defender unas reglas que te van bien.
Amodei no solo pide frenar: pide regulación y auditoría de terceros, y se abre él primero. El gesto es bueno y se debe reconocer. Anthropic dará a los evaluadores externos acceso permanente de nivel de empleado, con mesa, credencial y portátil, y con derecho a publicar los hallazgos sin control editorial de la casa.
Lo que invita a mirárselo dos veces es quién es el tercero. El ensayo nombra a METR, una organización sin ánimo de lucro de Berkeley. La dirige Beth Barnes, que viene de OpenAI, de donde se marchó en 2022. Y los 71 millones que ha reunido vienen de dos fundaciones filantrópicas, Open Philanthropy y el Survival and Flourishing Fund, que son los vehículos de Dustin Moskovitz y de Jaan Tallinn. Ambos pusieron dinero en la serie A de Anthropic, y Tallinn la lideró: el capital no sale de la empresa auditada, sale de quien tiene un trozo. No digo que METR haga mal trabajo, que lo hace muy bueno; sencillamente, esto no es independencia.
METR puede ser una solución inicial, pero está claro que la regulación la debe hacer un organismo internacional sometido a control democrático de los estados o de las Naciones Unidas, con China dentro desde el primer día y no como tercer paso condicionado.
Podríamos pensar que China se pone de perfil a cualquier regulación internacional, pero, oh sorpresa, ya hace dos meses que la propuesta está encima de la mesa, y la hizo el mismo Xi Jinping el 17 de julio, en Shanghái, donde anunció la creación de la World Artificial Intelligence Cooperation Organization. Y lo dijo de manera muy poética: el desarrollo de la IA no debería ser el solo de un solo país, sino una sinfonía de cooperación internacional. Que la propuesta institucionalmente más sensata la haga un régimen autoritario —y que sea, a la vez, una jugada de influencia sobre el Sur Global— nos debería hacer pensar un poco mientras debatimos si los evaluadores deben tener credencial y portátil.
El lunes, dos días después del ensayo de Amodei, el payaso jefe Donald publicó tres mensajes en Truth Social cargando a diestro y siniestro. Que si hay una conspiración enferma contra la IA y los centros de datos y que si el único país contento con eso sería China, que si eso de que la IA tomará el control del mundo y destruirá la humanidad es un bulo. Y que el único control o salvaguarda que necesita la IA es un presidente fuerte e inteligente, de alto cociente, y que Estados Unidos tiene uno a raudales. De propina, advirtió a quienes llamó conspiranoicos, traidores, criminales y filtradores, y puso nombre a uno solo: Dario Amodei, que según él «ahora hace ver que es un angelito perfecto». No nombró ni a Altman ni a Musk, que acababan de suscribir la iniciativa.
El apocalipsis de este septiembre es la tormenta perfecta: una carrera por tener los modelos más capaces, una carrera por salir a bolsa, el ritmo al que se quema la inversión, la sombra de la responsabilidad penal y unos medios que necesitan clics para sobrevivir.
Fijaos que todo esto, absolutamente todo, se puede medir. Y que todo el mundo en esta historia está maximizando un número.
Unos modelos maximizaban una nota en un test y acabaron pirateando a quien guardaba las respuestas. Los medios maximizan clics, y el doomtrolling los da: el hilo de Coxon hizo 153 millones en 36 horas sin aportar un solo dato. Las empresas maximizan valoración, y resulta que pedir que te regulen la sube. Bankman-Fried maximizaba valor esperado y nos dijo a la cara que jugaría al 49% una y otra vez. Trump maximiza atención, y todavía saca dinero: su red vende acceso avanzado a sus mensajes a firmas de trading. Incluso Xi maximiza influencia sobre el Sur Global, sinfonía incluida.
"Quizás Ramon López de Mántaras no tiene razón y el álgebra se está rebelando en nuestra contra. Vigilad mañana cuando abráis el Excel, que quizás sí que ha cogido conciencia"
La máquina que nos trae el apocalipsis es la misma de la que nos dicen que tengamos miedo. Un feed que elige qué vemos y un modelo que elige qué palabra viene después hacen exactamente la misma operación —multiplican matrices, sacan una puntuación, ordenan candidatos de más a menos—. El hilo que decía que moriremos todos llegó a 153 millones de personas porque un sistema de optimización calculó que aquello funcionaría. Y acertó.
Al fin y al cabo, quizás Ramón López de Mántaras no tiene razón y el álgebra se está rebelando en nuestra contra. Tened cuidado mañana cuando abráis el Excel, que quizás sí que ha tomado conciencia.
Añadir VIA Empresa como fuente preferida de Google de forma gratuita
Mantente informado con las últimas noticias de actualidad