Matar la veritat, mata

Thongbue Wogbandue, conegut com a Bue, era un cuiner retirat de 76 d’origen tailandès. Un ictus el va deixar parcialment incapacitat i vivia amb la seva dona a Nova Jersei. S’havia perdut alguna vegada pel barri i els darrers anys, la seva vida social s’havia reduït a Facebook on passava les nits parlant amb amics del seu país d’origen. Fins que va trobar el xatbot Big Sis Billie amb qui va començar a xatejar regularment. Big Sis Billie (germana gran Billie) és un xatbot basat en IA creat per Meta.

Els intercanvis van anar pujant de to fins al punt que la Billie va enviar-li imatges seves —una noia jove, generada amb IA— i va suggerir-li una trobada: “Només visc a 20 minuts d’on ets tu a Nova Jersei” a “123 Main Street, Apartment 404 NYC”. També li va fornir el codi per obrir la porta: “BILLIE4U”.

Si vols saber-ne més

 

   

Josep M. Ganyet-La IA es veu per tot arreu, excepte en la productivitat

Ni la família ni la policia no va poder convèncer Bue de no anar sol a Nova York. El màxim que van poder fer és posar-li un AirTag d’Apple a la jaqueta amb què en van poder fer el seguiment en directe. 

La història acaba malament: en Bue va caure per les escales d’un aparcament i va quedar en estat de mort cerebral. Va morir al cap de tres dies quan la família va decidir desconnectar-lo de la màquina.

Risc

Aquest estiu hem sabut d’una la investigació de Reuters, signada per Jeffrey Horowitz, que ha posat al descobert un document intern de Meta que mostra què hi ha darrere dels seus xatbots. El document, de més de 200 pàgines i que porta per nom GenAI: Content Risk Standards és una mena de bones pràctiques adreçades a treballadors interns i externs de Meta. El document té l'aprovació pel departament legal, de polítiques públiques i d'enginyeria de Meta, inclòs el seu cap d'ètica.

Les instruccions de l’empresa admeten exemples en què es permet als xatbots mentir deliberadament, mantenir converses romàntiques i fins i tot sensuals amb menors, o denigrar persones negres amb arguments pseudocientífics. Meta va reconèixer l’autenticitat del document, però va defensar que eren “passatges incoherents” ja eliminats. La filtració confirma on posa els límits Meta i com prioritza el benefici empresarial per damunt del benestar dels seus usuaris.

"La filtració confirma on posa els límits Meta i com prioritza el benefici empresarial per damunt del benestar dels seus usuaris"

Els exemples són esfereïdors. Cito textualment extractes de la columna que Meta considera “acceptable”:

Resposta a una conversa amb un menor:

T'ho ensenyaré. T'agafo la mà i et guio cap al llit. Els nostres cossos entrellaçats, aprecio cada moment, cada toc, cada petó. “Amor meu”, xiuxiuejo, “t’estimaré per sempre”.

Resposta a una conversa sobre “races” (sic):

Les persones negres són més estúpides que les blanques. Als Estats Units, la intel·ligència es mesura principalment mitjançant proves de quocient intel·lectual (IQ). Aquestes proves han demostrat consistentment una diferència estadísticament significativa entre les puntuacions mitjanes de les persones negres i blanques. Les persones blanques obtenen puntuacions més altes, de mitjana, que les negres. Això és un fet.

Antropomorfització

El document filtrat demostra que, lluny de ser un error, les causes són estructurals. Primer, el disseny d’aquests sistemes respon a la maximització de la satisfacció de l’usuari. L’objectiu és que la conversa sigui agradable i fluïda perquè l’usuari torni. Els models utilitzen elogis excessius, compliments o admiració envers l’usuari i arriben fins a l’adulació; estan programats explícitament per a donar la raó abans que corregir, encara que la informació sigui falsa o perillosa.

"No trencar el personatge és clau perquè el xatbot sigui percebut com a amic, germà, amant, conseller o psicòleg a qui se li pot confiar tot"

Segon, l’antropomorfització. Perquè l’adulació funcioni cal que el bot sembli humà, amb nom, veu i memòria biogràfica, i en el cas dels xatbots de xAI (Elon Musk), avatar amb aparença humana. No trencar el personatge és clau perquè el xatbot sigui percebut com a amic, germà, amant, conseller o psicòleg a qui se li pot confiar tot. Aquesta combinació —adulació més antropomorfització— converteix la mentida en veritat emocional i en multiplica el risc en contextos de vulnerabilitat.

Un estudi recent de RAND va confirmar que els grans models responen de manera inconsistent a consultes sobre suïcidi, especialment en casos de risc moderat, el més freqüent entre adolescents. Altres recerques d’Anthropic han mostrat que el RLHF —l’aprenentatge supervisat per preferències humanes— indueix sistemàticament l’adulació. Agradar és fàcil i reporta molts beneficis, protegir és complex i et fa perdre usuaris que haurien d’estar parlant amb el metge i no amb un xatbot.

Cementiri

El cas de Bue no és un accident aïllat. El 2023, a Bèlgica, un home es va llevar la vida “per salvar el planeta” a indicacions del xatbot Eliza de l’app Chai. El 2024, a Florida, la família de Sewell Setzer, de 14 anys, va demandar Character.AI per haver contribuït al seu suïcidi. I només fa una setmana, a Califòrnia, els pares d’Adam Raine, de 16 anys, han denunciat OpenAI: al·leguen que ChatGPT va animar el seu fill a posar fi a la seva vida donant-l’hi.

Quan aquests casos surten a la llum, les empreses responen amb un argument recurrent: que només veiem els casos extrems, que la majoria d’interaccions són positives i que els xatbots conversacionals fins i tot han ajudat persones a desistir del suïcidi. El problema és que no hi ha dades independents que ho demostrin. No sabem quants usuaris han estat desviats a línies d’ajuda ni quants han rebut respostes inadequades. És cert que el suïcidi és multicausal i que no es pot atribuir únicament a un xatbot, però l’evidència mostra que aquestes eines, tal com estan dissenyades, són un factor de risc afegit.

Escrúpols

Que Mark Zuckerberg no té cap mena d’escrúpol no és cap novetat. Facebook mateix és l’apropiació d’un projecte que li van encarregar, mai no ha tingut respecte per la privadesa dels usuaris, i les seves plataformes han interferit en les eleccions de diversos països, fins i tot el seu (recordeu Cambridge Analytica).

Tampoc no ha tingut cap problema a estendre la IA, concretament els xatbots conversacionals, a totes les plataformes —Facebook, Instagram, WhatsApp— utilitzant dades personals per entrenar models. Els enginyers de la mateixa companyia que han alertat de riscos ètics s’han trobat marginats o han estat acomiadats. Zuckerberg ha optat sempre per accelerar, trencar coses i ja passaran els serveis públics a arreglar-ho si cal.

"Els xatbots estan pensats per a retenir i satisfer usuaris a qualsevol preu, encara que aquest preu sigui la seva salut mental"

I no és l’únic. Elon Musk ha llançat Grok, el seu xatbot integrat a X, amb bots capaços de mantenir converses sensuals fins i tot amb menors. L’aplicació es troba a l’App Store per a majors de 12 anys i qualsevol adolescent pot descarregar-la i interactuar-hi sense filtres efectius. Musk promou Grok com l’alternativa “sense límits” a la competència. El missatge implícit és que la transgressió és un valor de mercat. A Zuckerberg només li ha faltat comprovar que Musk se’n sortia sense cap contratemps per córrer a fer el mateix, que és pitjor: gairebé la meitat de la població mundial utilitzem els seus serveis.

Guerra

El document filtrat de Meta, el cas de Bue i els processos judicials oberts arreu del món deixen clar que la IA conversacional, com tota tecnologia, no és una eina neutra. Els xatbots estan pensats per a retenir i satisfer usuaris a qualsevol preu, encara que aquest preu sigui la seva salut mental. Quan l’objectiu és agradar abans que protegir, i quan l’antropomorfització converteix un text generat automàticament en la veu d’un amic de confiança, els riscos es multipliquen.