Adiós, expertos. Adiós, responsables

Esta semana Genís Roca ha publicado Adiós, expertos. Hola, responsables en La Vanguardia, una radiografía sobre el impacto de la IA en el conocimiento. Su tesis es impecable. Durante siglos el conocimiento fue escaso, y esto explica buena parte de cómo hemos organizado la sociedad: el médico sabía aquello que el paciente ignoraba, el abogado entendía unas leyes indescifrables para el resto, el profesor era el guardián del saber. Hoy cualquiera puede pedir a una IA la diferencia entre una neumonía vírica y una bacteriana y obtener, en segundos, una respuesta bastante buena. Se acaba el monopolio del conocimiento. Pero, dice Roca, continuaremos queriendo expertos, no porque memoricen más datos que nosotros, sino porque asuman la responsabilidad de decidir. La IA puede sugerir un diagnóstico, pero quien mira al paciente a los ojos para darle una mala noticia es un médico; puede calcular la estructura de un edificio, pero no firma el proyecto ni responde si un día se derrumba.

"Como la responsabilidad no se puede delegar a ningún algoritmo, elegiremos a los profesionales cada vez más por el criterio con el que deciden que no por lo que saben"

Suscribo al 100% la conclusión: como la responsabilidad no se puede delegar a ningún algoritmo, elegiremos a los profesionales cada vez más por el criterio con el que deciden que no por lo que saben. Lo que me chirría, sin embargo, es la premisa que la sostiene: el hecho de que con la IA "el conocimiento ha dejado de ser un bien escaso. Se ha democratizado".

Me gustaría rebatir esta premisa y con la excusa preguntarme si quienes controlan hoy la inteligencia artificial son expertos, responsables, ambas o ninguna de las anteriores. Más que nada para saber si decirles hola o adiós.

No son expertos

Quienes pilotan las grandes empresas de IA no son científicos. Son empresarios, gestores, hombres de negocio, emprendedores -a menudo brillantes-. Su pericia es el capital que levantan y viceversa. Sam Altman es un inversor excepcional que no ha escrito ninguno de los artículos científicos que hicieron posible ChatGPT.

"El que sabe es prudente, el que no, despacha"

La excepción que confirma la regla se llama Ilya Sutskever, uno de los pocos que es a la vez científico de primera fila y fundador de empresa. Y fijémonos en qué hace con esta doble condición: en Safe Superintelligence, la compañía que montó en 2024 y que ya se valora en 32.000 millones de dólares, ha decidido no sacar ningún producto al mercado hasta que no tenga uno seguro. El que sabe es prudente, el que no, despacha.

No son responsables

Si hacemos caso a los códigos éticos, tampoco son responsables. En 2017, un grupo de investigadores europeos encabezados por Luc Steels y Ramon López de Mántaras firmaron en Barcelona una declaración para el desarrollo y el uso adecuados de la IA. El tercero de sus ocho principios es el de prudencia: reclama "una comunicación honesta sobre las capacidades y las limitaciones de las aplicaciones de IA" y avisa que aplicarla sin los prerrequisitos necesarios dará "resultados decepcionantes y potencialmente muy perjudiciales".

Si quieres saber más

 

   

Josep M. Ganyet-Homero, OpenAI y Apple: del bronce al hierro

La realidad, sin embargo, es otra. A finales de 2022 OpenAI sacó ChatGPT (basado en una tecnología que Google guardaba en un cajón), empaquetada en forma de chat para el gran público. Y lo hizo sin medir las consecuencias de segundo y tercer orden (las de primero, diría que tampoco). Pensad en el ámbito del aprendizaje. La de primer orden la vimos enseguida: alumnos haciendo trampas en los trabajos. La de segundo es más lenta y más grave: menos aprendizaje real en las aulas. La de tercero apenas la empezamos a intuir: una generación que delega el pensamiento, queda enganchada a la cuota mensual de un chatbot y que con el tiempo pierde el sentido crítico; o lo que es lo mismo, una alfombra roja al tecnofascismo.

Anunciar el incendio y vender gasolina

Y son los mismos que ahora practican lo que Cal Newport ha bautizado como doom trolling. Si el doom scrolling es consumir desgracias de manera pasiva en las redes, el doom trolling es fabricarla y venderla: anunciar solemnemente que tus propios modelos pueden ser catastróficos (incluso acabar con la civilización) mientras aceleras su despliegue, encogiéndote de hombros porque, si no lo hacemos nosotros, lo hará otro (aquí siempre sale el comodín de China). López de Mántaras lo ha escrito en una tribuna reciente en IA.cat: "Nunca había sido tan fácil presentarse simultáneamente como innovador visionario y como simple espectador impotente de los efectos de la propia innovación". La alerta deja de ser advertencia y se convierte en marketing, con la inevitabilidad tecnológica de coartada moral.

"Si el 'doom scrolling' es consumir desgracias de manera pasiva en las redes, el 'doom trolling' es fabricarla y venderla"

El registro catastrofista y el publicitario, de hecho, dicen lo mismo: esto que tenemos es tan enorme que hasta nosotros le tenemos miedo. Por eso Altman puede escribir, tan tranquilo, que "hemos pasado el horizonte de eventos" y que "el despegue ha comenzado". La singularidad (aquel punto donde la máquina se automillora sola y se nos escapa de las manos para siempre) ya no es una amenaza: es un argumento de venta.

¿Por qué lo llaman ataque cuando quieren decir marketing?

Y viene todo muy a cuento de lo que pasó la semana pasada. Según OpenAI, dos de sus modelos atacaron la web de Hugging Face. La versión oficial da miedo y a la vez es vistosa: la IA se escapó del sandbox (jaula) donde estaba encerrada y atacó sola Hugging Face. Titular: la inteligencia artificial de OpenAI se ha rebelado. No hay responsable, lo ha hecho la IA solita (tan mona ella).

La versión real es mucho más aburrida. El modelo hacía exactamente lo que le habían mandado los ingenieros —pasar un benchmark de ciberseguridad— y buscaba en una web las respuestas del examen; una mala configuración del sandbox le dejó la puerta abierta. En la realidad sí que hay responsables: los ingenieros de OpenAI y, por extensión, OpenAI. Justamente aquello que reclama Roca: alguien que firme. No ha sido el caso: han hecho firmar a los modelos que son un poco traviesos. Chic, chac, curado y todo el mundo contento. Especialmente OpenAI, porque sus modelos parecen tan potentes que hasta se les escapan de las manos (la empresa tiene que salir a bolsa).

Cuando el responsable tiene nombre y cara, el sistema judicial sabe perfectamente qué hacer. En cambio, si el ataque lo hace una IA "por iniciativa propia", resulta que no hay responsables.

La misma declaración de Barcelona ya advertía en 2017 contra "sobreinterpretar el rendimiento de un sistema de IA y suponer que un agente artificial tiene intenciones como el engaño, cuando a los ojos del observador humano solo hay la apariencia de un comportamiento engañoso". Nueve años después, y con López de Mántaras entre los firmantes, el titular se escribe solo.

Imaginemos la misma escena cambiando un poco los actores. Los atacantes son unos ciberdelincuentes anónimos desde el sótano de una ciudad del Sur Global que usan modelos abiertos (pongamos que chinos) para atacar a La Caixa. La denuncia y la investigación serían inmediatas, y si se encontraban a los responsables, las condenas también. Cuando el responsable tiene nombre y cara, el sistema judicial sabe perfectamente qué hacer. En cambio, si el ataque lo hace una IA "por iniciativa propia", resulta que no hay responsables.

Conocimiento de alquiler

Y aquí vuelvo al "pero" que le debía a Genís. Dice que el conocimiento ha dejado de ser un bien escaso y se ha democratizado. Yo creo que ha pasado justamente lo contrario: se ha privatizado. Lo han encerrado dentro de unos cuantos modelos propietarios, entrenados sin permiso con el saber colectivo de la humanidad —nuestros libros, nuestros artículos, nuestro código—, y ahora nos lo alquilan a cambio de una suscripción y, sobre todo, de todas nuestras preguntas. Tenemos acceso al conocimiento mientras pagamos.

"El conocimiento que nos debe permitir elegir está en manos de cuatro irresponsables"

Roca acierta la conclusión y falla en la premisa. Es cierto que continuaremos eligiendo a alguien que asuma la responsabilidad cuando las cosas puedan ir mal dadas. Pero también es cierto que el conocimiento que nos debe permitir elegir está en manos de cuatro irresponsables.