Falsificació de persones a Zuric

El cap de setmana passat, els usuaris de la popular xarxa social Reddit es van assabentar que havien estat objecte d’un experiment no consentit amb intel·ligència artificial. Reddit és una xarxa social basada en l’intercanvi de coneixement a partir d’experiències i opinions dels seus membres ¡humans! (redditors). Amb la proliferació de contingut generat per IA a la xarxa i la progressiva degradació dels resultats de Google cada cop som més els que quan hi fem una cerca hi afegim “Reddit” al final sinó és que la fem directament a Reddit.com. Amb 600 milions d’usuaris, Reddit és la 5ena xarxa social més utilitzada, just per sobre X.

Un equip d’investigadors de la Universitat de Zuric va desplegar bots amb identitats falses al subreddit (fòrum de debat) r/changemyview, amb l’objectiu de comprovar si podien influir en les opinions dels usuaris sense que ho notessin. L’elecció del subreddit r/changemyview és rellevant —i particularment dolorosa— perquè en els debats que s’hi fan sobre temes d’ideologia i d’actualitat, els seus participants proven de fer canviar d’opinió de manera enraonada a qui pensa diferent. Cada cop que algú fa canviar d’opinió algú altre, guanya un punt.

Els bots suïssos, fent-se passar per persones, interactuaven de manera natural amb els membres del grup amb l’objectiu de fer-los canviar d’opinió. Realitzat sense autorització prèvia dels moderadors ni consentiment dels participants, l’experiment ha desfermat crítiques d’usuaris i científics.

"Amb 600 milions d’usuaris, Reddit és la 5ena xarxa social més utilitzada, just per sobre X"

La forma, els objectius, el mètode i el poc respecte per l’ètica recorda poderosament un altre experiment fet el 2012 per Facebook. Investigadors de l’empresa i d’universitats va dur a terme un experiment emocional amb centenars de milers d’usuaris, també sense el seu coneixement ni consentiment, per avaluar com les emocions es contagien a la xarxa. Se sabia que les emocions es contagien en grups físics, però mai s’havia pogut demostrar si això també es verificava en grups virtuals. 

Ambdós casos tenen un patró similar: la utilització de la xarxa com a laboratori social per a fer experiments a gran escala sense supervisió. L’experiment de Zuric és l’últim exemple d’un patró tecnològic que es repeteix des que la web vas ser privatitzada per les grans plataformes digitals la primera dècada dels 2000: el “mou-te ràpid i trenca coses” de Silicon Valley aplicat als experiments socials.

Facebook va manipular, el 2012 els continguts del mur de 689.000 usuaris durant una setmana mostrant intencionadament més missatges positius a la meitat usuaris i més missatges negatius a la resta. L’objectiu de l’estudi era veure si això afectava l’estat d’ànim i les publicacions posteriors de la gent. Els resultats, publicats posteriorment van demostrar per sorpresa de ningú que sí, que reduir el contingut positiu al mur feia que els usuaris publiquessin més missatges negatius, i viceversa. 

Davant les crítiques, Facebook va al·legar que l’experiment no contravenia els seus termes i que “haguessis llegit la lletra petita” quan vas acceptar com un boig totes les condicions. Les crítiques no van ser massa més boniques que les del recent experiment de Zuric. Arran de la publicació dels resultats de l’experiment Facebook es va veure obligada a canviar les condicions i a prometre que mai més no ens tractaria de conillets d’índies (Cavia porcellus), almenys en públic.

Es veu que ni els resultats ni l'escàndol no els devien arribar als investigadors de la Universitat de Zuric. O sí, i van pensar que la ciència i el bé comú bé es poden permetre una mica de manipulació social. 

Reddit té més de 600 milions d'usuaris | EP

Per aital empresa, van crear 34 comptes que van registrar com a humans a Reddit però que en realitat eren bots que escopien textos generats amb IA. Durant quatre mesos, van participar en els debats de r/changemyview fent-se passar per persones reals amb històries personals convincents: una víctima d’abusos quan era menor, un treballador d’un refugi per a víctimes de violència domèstica, un xicot negre contrari al moviment Black Lives Matter o un blanc nord-americà on tota la seva família política immigrada del Salvador aplaudia les mesures anti-immigració de Trump. Els bots van treballar de valent arribant a publicar uns 1.500 comentaris. Segons consta al primer esborrany (ara ja desaparegut) de resultats que els mateixos investigadors van compartir, cap participant de r/changemyview no va arribar a sospitar que aquells comentaris poguessin ser generats.

L’estudi pretenia respondre la pregunta: “podem canviar l’opinió d’algú fent servir un agent artificial, sense que se n’adoni?” Si el mètode és preocupant —serviria com a guió de Black Mirror— , la resposta encara ho és més: els resultats preliminars apunten que sí. I de llarg. En el subreddit r/changemyview, els usuaris atorguen un punt a qui aconsegueix fer-los canviar d’opinió. Els investigadors van observar que els comentaris escrits per IA van ser més efectius a l’hora de convèncer algú que els comentaris escrits per humans. 

“Podem canviar l’opinió d’algú fent servir un agent artificial, sense que se n’adoni?”

En total, els bots van aconseguir 100 d’aquests punts i van acumular més de 10.000 vots positius dels usuaris, un indicador que llurs arguments —falsament humans— eren ben rebuts per la comunitat. De moment un èxit pseudo-científic que ens porta al precipici i ens mostra com de profund n’és. Què passa si quan debatem amb algú en línia no sabem si és una persona o un bot? La confiança decau a mesura que malversem esforç en convèncer un agent que la única agència que té és la de generar text; i la confiança, la informació de qualitat i el debat enraonat són pilars de la democràcia. No cal que us parli de l’estat actual de la informació, la confiança, el debat en línia i l’estat de la democràcia.

Una simulació del que podria passar a gran escala és la reacció de la comunitat del subreddit r/changemyview a la intrusió dels bots. Els moderadors del fòrum —que s’havia guanyat fama de ser un espai de debat saludable i segur— diuen sentir-se “traïts” i “instrumentalitzats” per un experiment aliè que ha soscavat la confiança col·lectiva.

Tant l’experiment de Facebook de 2012 com el Reddit/Zuric de 2025 demostren el mateix: les plataformes digitals, emparat-se en buits legals o en la novetat tecnològica, poden influir en la societat a gran escala, sense supervisió ni consentiment, i sovint sense assumir-ne conseqüències (accountability que diuen en anglès). Quan tot va bé, els guanys (econòmics, científics o de poder) són privats; però quan va de mal borràs (usuaris alienats emocionalment, pèrdua de benestar o d’integritat del debat públic) se’n socialitzen les pèrdues; és cadascú i la societat en el seu conjunt qui les assumeix en forma “d’externalitats negatives” que no sona tan lleig. 

Cal fer aquests experiments? Jo al 2012 ja sabia que si només veia desgràcies a Facebook el meu ànim anava avall. No cal ser cap premi Nobel. Qui defensa la necessitat d’aquests estudis al·leguen que sense resultats científics no sabríem el poder manipulador d’un algorisme —cas de Facebook— o la capacitat persuasiva de la IA generativa —Zuric. Se’n desprèn, doncs, que per fer recerca innovadora cal moure’s en zones grises on les normes no són clares, i que a investigadors i empreses els cal un cert marge de maniobra per explorar solucions que potencialment beneficiïn tothom. De fet, part de la comunitat científica tem que escàndols com aquest acabin per frenar una recerca que és necessària: si tot experiment en xarxes obertes es considera tabú, no tindrem dades reals que ens ajudin a anticipar amenaces futures —bots polítics o xarxes de desinformació i manipulació— i protegir-ne la societat.

"Se’n desprèn, doncs, que per fer recerca innovadora cal moure’s en zones grises on les normes no són clares"

Sembla evident que cal trobar un equilibri: d’una banda la innovació no pot ser a costa de convertir la població en conillets d’Índies involuntaris, però alhora la regulació tampoc no hauria de bloquejar la recerca necessària per mantenir-nos un pas per davant dels abusos tecnològics. Aquest equilibri només és possible mitjançant més transparència, rendició de comptes i debat públic sobre què es pot fer i què no en els entorns digitals massius.

La Unió Europea, per mitjà de la seva futura Llei d’Intel·ligència Artificial (AI Act), introdueix obligacions explícites de divulgar l’ús de sistemes d’IA. L’AI Act preveu que, quan un usuari interacciona amb un xatbot o qualsevol sistema d’IA que generi contingut, ha de quedar clarament informat que està tractant amb una màquina (també en experiments, que llavors deixarien de tenir sentit). Específicament, la normativa europea proposada directament prohibeix pràctiques d’IA que impliquin manipulació o engany.

L’experiment no autoritzat de la Universitat de Zuric ha estat qualificat com “la pitjor violació de l’ètica a internet” per destacats científics socials. A banda dels resultats —que jo sostinc que ja sabíem— és un toc d’atenció sobre els perills de repetir errors passats en l’era de la intel·ligència artificial. Igual com el 2012 vam descobrir sobtadament el poder de les xarxes socials per manipular emocions, el 2025 estem descobrint el potencial —i les “externalitats negatives”— de la IA generativa alhora de manipular opinions. La història recent ens indica que cal anticipar-se amb mecanismes legals i ètics sòlids: lleis que garanteixin transparència —etiquetar sempre el contingut generat per IA—, que exigeixin consentiment o supervisió independent quan es fan experiments socials massius, i que contemplin sancions clares per a qui traspassi aquests límits.

En aquest sentit m’agrada molt la reflexió del desaparegut filòsof nord-americà Daniel Dennett pel que fa a fer passar bots d’IA per humans, en el que ell n’anomenava “counterfeit people”, persones falsificades. Dennett defensava que presentar màquines com a persones era èticament equivalent a falsificar diners o documents, ja que devalua el valor essencial de la interacció humana autèntica. Quan una persona interactua amb un altre ésser humà, pressuposa —i mereix— honestedat en aquesta interacció, així com el respecte per la seva autonomia emocional i cognitiva. Introduir “persones falsificades” a gran escala sense transparència ni control erosiona aquesta confiança bàsica que sosté qualsevol comunitat.

"L’experiment no autoritzat de la Universitat de Zuric ha estat qualificat com “la pitjor violació de l’ètica a internet” per destacats científics socials"

La IA generativa, igual que les xarxes socials fa una dècada, no surt de franc: porta sota el braç nous dilemes que no arreglarem canviant les condicions d’ús de Facebook o d’OpenAI. Cal, més que mai, una resposta democràtica i social en forma de regulació, que posi els drets humans digitals al centre del debat tecnològic, però sobretot, els dolents a la presó. 

Ho deia Daniel Dennett: oi que fotem a la presó els que falsifiquen diners? Doncs també els que falsifiquin persones; tant uns com altres erosionen la confiança bàsica que fa que una societat sigui una societat.