Adeu, experts. Adeu, responsables

Aquesta setmana en Genís Roca ha publicat Adeu, experts. Hola, responsables a La Vanguardia, una radiografia sobre l'impacte de la IA en el coneixement. La seva tesi és impecable. Durant segles el coneixement va ser escàs, i això explica bona part de com hem organitzat la societat: el metge sabia allò que el pacient ignorava, l'advocat entenia unes lleis indesxifrables per a la resta, el professor era el guardià del saber. Avui qualsevol pot demanar a una IA la diferència entre una pneumònia vírica i una de bacteriana i obtenir, en segons, una resposta prou bona. S'acaba el monopoli del coneixement. Però, diu Roca, continuarem volent experts, no pas perquè memoritzin més dades que nosaltres, sinó perquè assumeixin la responsabilitat de decidir. La IA pot suggerir un diagnòstic, però qui mira el pacient als ulls per donar-li una mala notícia és un metge; pot calcular l'estructura d'un edifici, però no signa el projecte ni respon si un dia s'ensorra.

"Com que la responsabilitat no es pot delegar a cap algoritme, triarem els professionals cada cop més pel criteri amb què decideixen que no pas pel que saben"

Subscric al 100% la conclusió: com que la responsabilitat no es pot delegar a cap algoritme, triarem els professionals cada cop més pel criteri amb què decideixen que no pas pel que saben. El que em grinyola, emperò, és la premissa que la sosté: el fet que amb la IA "el coneixement ha deixat de ser un bé escàs. S'ha democratitzat".

M'agradaria rebatre aquesta premissa i amb l'excusa preguntar-me si els qui controlen avui la intel·ligència artificial són experts, responsables, totes dues o cap de les anteriors. Més que res per saber si dir-los hola o adeu.

No són experts

Els qui piloten les grans empreses d'IA no són científics. Són empresaris, gestors, homes de negoci, emprenedors -sovint brillants-. La seva expertesa és el capital que aixequen i viceversa. Sam Altman és un inversor excepcional que no ha escrit cap dels articles científics que van fer possible ChatGPT.

"El que en sap és prudent, el que no, despatxa"

L'excepció que confirma la regla es diu Ilya Sutskever, un dels pocs que és alhora científic de primera fila i fundador d'empresa. I fixem-nos en què fa amb aquesta doble condició: a Safe Superintelligence, la companyia que va muntar el 2024 i que ja es valora en 32.000 milions de dòlars, ha decidit no treure cap producte al mercat fins que no en tingui un de segur. El que en sap és prudent, el que no, despatxa.

No són responsables

Si fem cas als codis ètics, tampoc no són responsables. El 2017, un grup d'investigadors europeus encapçalats per Luc Steels i Ramon López de Mántaras van signar a Barcelona una declaració per al desenvolupament i l'ús adequats de la IA. El tercer dels seus vuit principis és el de prudència: reclama "una comunicació honesta sobre les capacitats i les limitacions de les aplicacions d'IA" i avisa que aplicar-la sense els prerequisits necessaris donarà "resultats decebedors i potencialment molt perjudicials".

Si vols saber-ne més

 

   

Josep M. Ganyet-Homer, OpenAI i Apple: del bronze al ferro

La realitat, però, és una altra. A finals del 2022 OpenAI va treure ChatGPT (basat en una tecnologia que Google guardava en un calaix), empaquetada en forma de xat per al gran públic. I ho va fer sense mesurar-ne les conseqüències de segon i tercer ordre (les de primer, diria que tampoc). Penseu l'àmbit de l'aprenentatge. La de primer ordre la vam veure de seguida: alumnes fent trampes als treballs. La de segon és més lenta i més greu: menys aprenentatge real a les aules. La de tercer amb prou feines la comencem a intuir: una generació que delega el pensament, queda enganxada a la quota mensual d'un xatbot i que amb el temps perd el sentit crític; o el que és el mateix, una catifa vermella al tecnofeixisme.

Anunciar l'incendi i vendre gasolina

I són els mateixos que ara practiquen el que Cal Newport ha batejat com a doom trolling. Si el doom scrolling és consumir desgràcies de manera passiva a les xarxes, el doom trolling és fabricar-la i vendre-la: anunciar solemnement que els teus propis models poden ser catastròfics (fins i tot acabar amb la civilització) mentre n'acceleres el desplegament, tot arronsant les espatlles perquè, si no ho fem nosaltres, ho farà un altre (aquí sempre surt el comodí de la Xina). López de Mántaras ho ha escrit en una tribuna recent a IA.cat: "Mai no havia estat tan fàcil presentar-se simultàniament com a innovador visionari i com a simple espectador impotent dels efectes de la pròpia innovació". L'alerta deixa de ser advertència i es converteix en màrqueting, amb la inevitabilitat tecnològica de coartada moral.

"Si el 'doom scrolling' és consumir desgràcies de manera passiva a les xarxes, el 'doom trolling' és fabricar-la i vendre-la"

El registre catastrofista i el publicitari, de fet, diuen el mateix: això que tenim és tan enorme que fins i tot nosaltres en tenim por. Per això Altman pot escriure, tan tranquil, que "hem passat l'horitzó d'esdeveniments" i que "l'enlairament ha començat". La singularitat (aquell punt on la màquina s'automillora sola i se'ns escapa de les mans per sempre) ja no és una amenaça: és un argument de venda.

Per què en diuen atac quan en volen dir màrqueting?

I ve tot molt a tomb del que va passar la setmana passada. Segons OpenAI, dos dels seus models van atacar el web de Hugging Face. La versió oficial fa feredat i alhora fa patxoca: la IA es va escapar del sandbox (gàbia) on estava tancada i va atacar tota sola Hugging Face. Titular: la intel·ligència artificial d'OpenAI s'ha rebel·lat. No hi ha responsable, ho ha fet la IA tota soleta (tan cuca ella).

La versió real és molt més avorrida. El model feia exactament el que li havien manat els enginyers —passar un benchmark de ciberseguretat— i buscava en un web les respostes de l'examen; una mala configuració del sandbox li va deixar la porta oberta. A la realitat sí que hi ha responsables: els enginyers d'OpenAI i, per extensió, OpenAI. Justament allò que reclama Roca: algú que signi. No ha estat el cas: han fet signar els models que són una mica entremaliadots. Txic, txac, curat i tothom content. Especialment OpenAI, perquè els seus models semblen tan potents que fins i tot se'ls escapen de les mans (l'empresa ha de sortir a borsa).

Quan el responsable té nom i cara, el sistema judicial sap perfectament què fer. En canvi, si l'atac el fa una IA "per iniciativa pròpia", resulta que no hi ha responsables.

La mateixa declaració de Barcelona ja advertia el 2017 contra "sobreinterpretar el rendiment d'un sistema d'IA i suposar que un agent artificial té intencions com l'engany, quan als ulls de l'observador humà només hi ha l'aparença d'un comportament enganyós". Nou anys després, i amb López de Mántaras entre els signants, el titular s'escriu sol.

Imaginem la mateixa escena canviant una mica els actors. Els atacants són uns ciberdelinqüents anònims des del soterrani d'una ciutat del Sud Global que fan servir models oberts (posem que xinesos) per atacar La Caixa. La denúncia i la investigació serien immediates, i si es trobaven els responsables, les condemnes també. Quan el responsable té nom i cara, el sistema judicial sap perfectament què fer. En canvi, si l'atac el fa una IA "per iniciativa pròpia", resulta que no hi ha responsables.

Coneixement de lloguer

I aquí torno al "però" que li devia al Genís. Diu que el coneixement ha deixat de ser un bé escàs i s'ha democratitzat. Jo crec que ha passat justament el contrari: s'ha privatitzat. L'han tancat dins d'uns quants models propietaris, entrenats sense permís amb el saber col·lectiu de la humanitat —els nostres llibres, els nostres articles, el nostre codi—, i ara ens el lloguen a canvi d'una subscripció i, sobretot, de totes les nostres preguntes. Tenim accés al coneixement mentre paguem.

"El coneixement que ens ha de permetre escollir és en mans de quatre irresponsables"

Roca encerta la conclusió i falla en la premissa. És cert que continuarem escollint algú que assumeixi la responsabilitat quan les coses puguin anar mal donades. Però també és cert que el coneixement que ens ha de permetre escollir és en mans de quatre irresponsables.