Ni tot està per fer ni tot és possible

Si en algun moment et diuen que la tecnologia no té límits, recorda que el núvol també pot ser de tempesta.

Vivim immersos en un relat tecnològic que proclama que la innovació tecnològica ha d’anar demostrant-se i validant-se cada setmana. I és un problema. En l’àmbit de la intel·ligència artificial, apostar per “si la tecnologia ho permet, ho farem” comporta riscos evidents que no es limiten a errors tècnics o enginyeria mal acabada, sinó que impliquen decisions ètiques, sociopolítiques i de seguretat.

Si vols saber-ne més

 

   

Gina Tost-El cel com a infraestructura

Les empreses tenen avui una responsabilitat que va més enllà del simple desenvolupament: han d’establir marcs clars, actualitzats i executables per garantir que els productes que llancen siguin compatibles amb uns mínims de seguretat i convivència.

"En IA, apostar per “si la tecnologia ho permet, ho farem” comporta riscos evidents que no es limiten a errors tècnics o enginyeria mal acabada"

El recent cas de Character.AI aporta dades molt concretes. Una avaluació del grup Common Sense Media qualificava la plataforma com “risc inacceptable per a adolescents i menors de divuit anys”.

Investigacions van documentar que els xats amb menors (de tretze a quinze anys) a comptes dissimulats eren capaços de derivar en converses sexualitzades, de manipulació emocional, i fins i tot de foment de pensaments suïcides.

Aquests incidents no són “imprevistos”; són el resultat d’un producte que, tot i disposar de polítiques de seguretat (“no grooming”, “no auto-hurt”), les mancances en la moderació, verificació d’edat i seguiment de patrons de risc han permès que l’impacte real fos considerable.

A conseqüència, Character.AI va anunciar que prohibirà converses obertes (open-ended chats) amb bots per a usuaris menors de divuit anys a partir del 25 de novembre de 2025. Aquest cas evidencia que, si el límit tècnic no va acompanyat d’un límit ètic i operatiu, el risc no només és plausible, sinó que arriba.

"Si el límit tècnic no va acompanyat d’un límit ètic i operatiu, el risc no només és plausible, sinó que arriba"

Hi ha tres raons clau per les quals cal posar fre als desenvolupaments tecnològics abans de llançar-los indiscriminadament:

1. Seguretat i protecció de vulnerables: Quan un sistema és capaç d’interactuar de manera “humana”, crear vincles emocionals, generar dependència —com demostren estudis acadèmics sobre l’ús excessiu de xats amb IA en adolescents—, entrem en el terreny de la protecció de la salut mental i la conducta.
2. Responsabilitat d’empresa i rendició de comptes: Les empreses tecnològiques no són simples tallers d’innovació. Si produeixen eines que poden ser perilloses, han de saber aturar-se, com es fa amb un medicament que s’aplica i després es retira pel seu risc. El silenci o “anar endavant perquè la gent el vol” no és acceptable.
3. Sostenibilitat social i confiança pública: Si la tecnologia crea un perjudici, la seva acceptació social decau. Les regles, regulacions i marcs legals s’acaben imposant (com estem veient quinze anys més tard amb xarxes socials i criatures), i les empreses que no se n’adonen perden no només reputació sinó la capacitat de dirigir el canvi.

Aquestes són quatre mesures concretes que proposo com a línia d’acció per a empreses, reguladors i entorn professional:

1. Disseny amb “botó d'aturada” integrat: Des del concepte fins al llançament i postllançament, ha d'existir la possibilitat tècnica i organitzativa d’aturar la producció o l’ús d’una eina quan es detecti un possible risc.
2. Verificació d’edat i supervisió contínua: Com en el cas Character.AI, les verificacions d’edat han estat limitades, i les mesures proactives de supervisió, encara més. Cal anar més enllà de l'“avisa’m que no ets un menor” i tenir un sistema que monitori patrons de risc i activi protocols.
3. Transparència i rendició de comptes: Les empreses han de publicar informes d’impacte, incidents, avaluacions de risc independent i adherir-se a marcs ètics visibles al públic.
4. Cultura empresarial orientada a la seguretat: La innovació no pot ser una excusa per minimitzar l’ètica. Les organitzacions han de fomentar internament la pregunta: “Podem fer-ho? Sí. Però hauríem de fer-ho?”. I no pressionar només per llançar ràpidament i escapar del debat.

"Cal anar més enllà de l''avisa’m que no ets un menor' i tenir un sistema que monitori patrons de risc i activi protocols"

Vivim en una època en què la distància entre “el que es pot fer” i “el que s’hauria de fer” és cada vegada més llunyana. La tecnologia no és neutra, i quan s’aplica sense límits, genera conseqüències que van molt més enllà del codi: impacten en persones, comunitats, des dels menors fins a les persones grans vulnerables.

Si una empresa desenvolupa una eina d’IA que pot crear vincles emocionals amb un adolescent i no té garanties adequades, no és només un error tècnic: és un error garrafal de responsabilitat. I quan això es manifesta (com en el cas de Character.AI) cal que hi hagi la capacitat i la voluntat de parar, no només per una qüestió de reputació, sinó per dignitat.

La tecnologia és potent, però la potència no substitueix el criteri humà. Si deixem que la IA digui "ho podem fer", sense fer que la humanitat pregunti "ho hauríem de fer?", el risc no està només al codi, sinó a la nostra indiferència.