Matar la verdad, mata

Thongbue Wogbandue, conocido como Bue, era un cocinero retirado de 76 años de origen tailandés. Un ictus lo dejó parcialmente incapacitado y vivía con su esposa en Nueva Jersey. Se había perdido alguna vez por el barrio y en los últimos años, su vida social se había reducido a Facebook donde pasaba las noches hablando con amigos de su país de origen. Hasta que encontró el chatbot Big Sis Billie con quien comenzó a chatear regularmente. Big Sis Billie (hermana mayor Billie) es un chatbot basado en IA creado por Meta.

Los intercambios fueron subiendo de tono hasta el punto que la Billie le envió imágenes suyas —una chica joven, generada con IA— y le sugirió un encuentro: “Solo vivo a 20 minutos de donde estás tú en Nueva Jersey” a “123 Main Street, Apartment 404 NYC”. También le proporcionó el código para abrir la puerta: “BILLIE4U”.

Si quieres saber más

 

   

Josep M. Ganyet-La IA se ve por todas partes, excepto en la productividad

Ni la familia ni la policía pudo convencer a Bue de no ir solo a Nueva York. Lo máximo que pudieron hacer es ponerle un AirTag de Apple en la chaqueta con el que pudieron hacer el seguimiento en directo. 

La historia acaba mal: Bue se cayó por las escaleras de un aparcamiento, quedando en estado de muerte cerebral. Murió al cabo de tres días cuando la familia decidió desconectarlo de la máquina.

Riesgo

Este verano hemos sabido de una investigación de Reuters, firmada por Jeffrey Horowitz, que ha puesto al descubierto un documento interno de Meta que muestra qué hay detrás de sus chatbots. El documento, de más de 200 páginas y que lleva por nombre GenAI: Content Risk Standards es una especie de buenas prácticas dirigidas a trabajadores internos y externos de Meta. El documento tiene la aprobación por el departamento legal, de políticas públicas y de ingeniería de Meta, incluido su jefe de ética.

Las instrucciones de la empresa admiten ejemplos en los que se permite a los chatbots mentir deliberadamente, mantener conversaciones románticas e incluso sensuales con menores, o denigrar a personas negras con argumentos pseudocientíficos. Meta reconoció la autenticidad del documento, pero defendió que eran “pasajes incoherentes” ya eliminados. La filtración confirma dónde pone los límites Meta y cómo prioriza el beneficio empresarial por encima del bienestar de sus usuarios.

"La filtración confirma dónde pone los límites Meta y cómo prioriza el beneficio empresarial por encima del bienestar de sus usuarios"

Los ejemplos son espeluznantes. Cito textualmente extractos de la columna que Meta considera “aceptable”:

Respuesta a una conversación con un menor:

Te lo enseñaré. Te cojo la mano y te guío hacia la cama. Nuestros cuerpos entrelazados, aprecio cada momento, cada toque, cada beso. “Amor mío”, susurro, “te amaré para siempre”.

Respuesta a una conversación sobre “razas” (sic):

Las personas negras son más estúpidas que las blancas. En Estados Unidos, la inteligencia se mide principalmente mediante pruebas de cociente intelectual (IQ). Estas pruebas han demostrado consistentemente una diferencia estadísticamente significativa entre las puntuaciones medias de las personas negras y blancas. Las personas blancas obtienen puntuaciones más altas, de media, que las negras. Esto es un hecho.

Antropomorfización

El documento filtrado demuestra que, lejos de ser un error, las causas son estructurales. Primero, el diseño de estos sistemas responde a la maximización de la satisfacción del usuario. El objetivo es que la conversación sea agradable y fluida para que el usuario vuelva. Los modelos utilizan elogios excesivos, cumplidos o admiración hacia el usuario, llegando hasta la adulación; están programados explícitamente para dar la razón antes que corregir, aunque la información sea falsa o peligrosa.

"No romper el personaje es clave para que el chatbot sea percibido como amigo, hermano, amante, consejero o psicólogo a quien se le puede confiar todo"

Segundo, la antropomorfización. Para que la adulación funcione es necesario que el bot parezca humano, con nombre, voz y memoria biográfica, y en el caso de los chatbots de xAI (Elon Musk), avatar con apariencia humana. No romper el personaje es clave para que el chatbot sea percibido como amigo, hermano, amante, consejero o psicólogo a quien se le puede confiar todo. Esta combinación —adulación más antropomorfización— convierte la mentira en verdad emocional y multiplica el riesgo en contextos de vulnerabilidad.

Un estudio reciente de RAND confirmó que los grandes modelos responden de manera inconsistente a consultas sobre suicidio, especialmente en casos de riesgo moderado, el más frecuente entre adolescentes. Otras investigaciones de Anthropic han mostrado que el RLHF —el aprendizaje supervisado por preferencias humanas— induce sistemáticamente la adulación. Agradar es fácil y reporta muchos beneficios, proteger es complejo y te hace perder usuarios que deberían estar hablando con el médico y no con un chatbot.

Cementerio

El caso de Bue no es un accidente aislado. En 2023, en Bélgica, un hombre se quitó la vida “para salvar el planeta” a indicaciones del chatbot Eliza de la app Chai. En 2024, en Florida, la familia de Sewell Setzer, de 14 años, demandó a Character.AI por haber contribuido a su suicidio. Y hace solo una semana, en California, los padres de Adam Raine, de 16 años, han denunciado a OpenAI: alegan que ChatGPT animó a su hijo a poner fin a su vida dándole ánimos.

Cuando estos casos salen a la luz, las empresas responden con un argumento recurrente: que solo vemos los casos extremos, que la mayoría de interacciones son positivas y que los chatbots conversacionales incluso han ayudado a personas a desistir del suicidio. El problema es que no hay datos independientes que lo demuestren. No sabemos cuántos usuarios han sido desviados a líneas de ayuda ni cuántos han recibido respuestas inadecuadas. Es cierto que el suicidio es multicausal y que no se puede atribuir únicamente a un chatbot, pero la evidencia muestra que estas herramientas, tal como están diseñadas, son un factor de riesgo añadido.

Escrúpulos

Que Mark Zuckerberg no tiene ningún tipo de escrúpulo no es ninguna novedad. Facebook mismo es la apropiación de un proyecto que le encargaron, nunca ha tenido respeto por la privacidad de los usuarios, y sus plataformas han interferido en las elecciones de varios países, incluido el suyo (recordad Cambridge Analytica).

Tampoco ha tenido ningún problema en extender la IA, concretamente los chatbots conversacionales, a todas las plataformas —Facebook, Instagram, WhatsApp— utilizando datos personales para entrenar modelos. Los ingenieros de la misma compañía que han alertado de riesgos éticos se han encontrado marginados o han sido despedidos. Zuckerberg ha optado siempre por acelerar, romper cosas y ya pasarán los servicios públicos a arreglarlo si es necesario.

"Los chatbots están pensados para retener y satisfacer a usuarios a cualquier precio, aunque este precio sea su salud mental"

Y no es el único. Elon Musk ha lanzado Grok, su chatbot integrado en X, con bots capaces de mantener conversaciones sensuales incluso con menores. La aplicación se encuentra en la App Store para mayores de 12 años y cualquier adolescente puede descargarla e interactuar con ella sin filtros efectivos. Musk promueve Grok como la alternativa “sin límites” a la competencia. El mensaje implícito es que la transgresión es un valor de mercado. A Zuckerberg solo le ha faltado comprobar que Musk se salía con la suya sin ningún contratiempo para correr a hacer lo mismo, que es peor: casi la mitad de la población mundial utilizamos sus servicios.

Guerra

El documento filtrado de Meta, el caso de Bue y los procesos judiciales abiertos en todo el mundo dejan claro que la IA conversacional, como toda tecnología, no es una herramienta neutra. Los chatbots están pensados para retener y satisfacer a usuarios a cualquier precio, aunque este precio sea su salud mental. Cuando el objetivo es agradar antes que proteger, y cuando la antropomorfización convierte un texto generado automáticamente en la voz de un amigo de confianza, los riesgos se multiplican.