Contra l'apocalipsi

Morirem tots. Això ho tenim clar. Ens ho traiem de sobre ja i així podem anar per feina. Qualsevol que us ho digui té raó; el difícil és que encerti en el quan i en el com.

Ho dic pel xicot aquest, en Jacob Coxon, que fa una setmana llarga que acapara titulars i minuts de late night. Té 27 anys, és britànic, és matemàtic i ha passat tres anys fent recerca en entrenament dels models grans, primer a OpenAI i després a Anthropic. El 8 de setembre va plegar i ho va explicar en un fil a X: «He dimitit d'Anthropic avui. He passat els últims tres anys fent recerca de pretraining tant a OpenAI com a Anthropic. Cap de les dues empreses actua responsablement». Diu que fan una cursa per arribar a una superintel·ligència que s'automillora, que això pot arribar l'any que ve i que la cosa pot acabar amb la IA prenent el control a finals d'aquesta dècada. El fil va fer 153 milions de visualitzacions en 36 hores. També és cert que va plegar dos mesos abans que li vencés el paquet d'accions, diguem-ho tot.

Em sembla una afirmació prou grossa per sostenir-la només amb impressions en un fil a X sense aportar cap dada. Ja ho deia Carl Sagan a Cosmos, parlant dels qui creuen en homes de l'espai que controlen les nostres vides: el que compta no és el que sona plausible, ni el que ens agradaria creure, ni el que un o dos testimonis afirmen, sinó el que se sosté amb proves examinades amb escepticisme. A grans afirmacions, grans demostracions. La comparació religiosa ve a tomb, perquè aquests darrers anys hem convertit la IA en una tecnoreligió. En parlava per Sant Esteve de fa dos anys.

Si vols saber-ne més

 

   

Josep M. Ganyet-La tecnoreligió de la IA

Els genets i el comptable

I com tota bona religió, la nostra també té els seus profetes de l'apocalipsi —en Coxon n'és un de menor— amb els quatre genets Sam Altman, Dario Amodei, Demis Hassabis i, per a desgràcia de la humanitat, Elon Musk, que de llarg és qui ha fet més mèrits.

La seva posició és curiosa. D'una banda, propugnen un acceleracionisme i una inevitabilitat tecnològica que els porta a anar al capdavant del desenvolupament de la mal anomenada IA amb el gas a fons. Ja he escrit mantes vegades que aquesta cursa armamentística —filla del capitalisme i de l'imperialisme— no té res a veure amb el camp de coneixement i de recerca de la IA, pluridisciplinari i humanista per definició. I de l'altra, cada dos per tres ens recorden que allò que fan ens pot portar a l'Arcàdia feliç, però també pot destruir-nos. La pregunta surt sola: si de debò hi ha una probabilitat no negligible que això passi, ¿per què ho fas? I si no n'hi ha, ¿per què ho dius?

La IA no seria una religió completa sense cismes. Dos corrents rivals pugnen per ser els guardians de les essències de la IA: l'altruisme eficaç i l'acceleracionisme eficaç. Els primers temen que la IA avançada ens passi per sobre i financen recerca de seguretat; els segons celebren exactament allò que els primers temen. La Santíssima Trinitat de l'acceleracionisme està formada per Marc Andreessen, Peter Thiel i David Sacks, el tsar d'IA i criptomonedes de Trump. Altman hi és tractat com un sant.

El 49%

El màxim exponent de l'altruisme eficaç va ser Sam Bankman-Fried, abans d'acabar a la garjola per l'estafa cripto de la seva empresa, FTX: set càrrecs de frau i conspiració, i 25 anys de condemna. Recordem que al seu moment va ser un exemple d'èxit, amb polítics fent-se fotos amb ell, i que va comprar el pavelló dels Miami Heat per rebatejar-lo FTX Arena. En el seu apogeu, en un pòdcast li van plantejar un joc: un 51% de possibilitats de duplicar la Terra en algun altre lloc, un 49% que tot desaparegui. ¿Hi jugaries? Ell va dir que sí. I encara més: que hi continuaria jugant, doble o res, una vegada i una altra, perquè el valor esperat és positiu.

Pareu i torneu-ho a llegir. No el 5 ni el 10: el risc que estava disposat a assumir era del 49%, i repetidament. En una aposta que es repeteix amb la ruïna com a resultat possible, la probabilitat de destruir-ho tot tendeix a u.

"¿Amb la IA a quant estan les apostes de fer que tot desparegui? Depenent de qui ho preguntis, el percentatge varia, però gairebé mai no és zero"

¿Amb la IA a quant estan les apostes? Depenent de qui ho preguntis, el percentatge varia, però gairebé mai no és zero —el zero l'hi posa en Yann LeCun, premi Turing i cap científic d'IA a Meta, que considera aquestes pors exagerades—. D'això ja en vaig parlar aquí fa tres anys, a p(merda_pels_que_quedin), quan el p(doom) —probabilitat d'apocalipsi— encara era un acudit d'humor negre d'enginyers de la badia de San Francisco que es presentaven a les festes dient el nom i la seva xifra. Aleshores jo em quedava amb el p(catastrophe) de Gary Marcus, més modest i més útil.

Tres anys després, l'acudit el signa el cap de ciència de l'alineament d'Anthropic: l'endemà de la dimissió d'en Coxon, l'Evan Hubinger va escriure que «de debò creiem sincerament que la IA podria matar tots els humans» i que ell hi posa més d'un 10% que passi aquesta dècada. Diu també que a ca n'Anthropic ho fan tan bé com poden, però que no tenen cap pla per resoldre l'alineament d'una superintel·ligència.

Qui va signar què

El 2023 hi va haver dues cartes, i mirar qui va signar cadascuna ho aclareix molt.

La primera, el març, era la del Future of Life Institute i demanava aturar sis mesos l'entrenament de sistemes més potents que GPT-4. Va reunir més de 30.000 signatures: Bengio, Stuart Russell, Harari, Wozniak, Elon Musk i el català Ramon López de Mántaras. Ni Sam Altman ni Dario Amodei no la van signar. Altman en va dir que li faltava matís tècnic sobre on calia la pausa.

La segona, el maig, era del Center for AI Safety i consistia en una sola frase: mitigar el risc d'extinció per la IA hauria de ser una prioritat global, al costat de les pandèmies i la guerra nuclear. Aquesta la van signar tots: Altman, Amodei i Hassabis.

Si vols saber-ne més

 

   

Josep M. Ganyet-PISA suspèn, i no és culpa de la IA

O sigui que van signar la que diu que això és perillosíssim i no van signar la que diu que parin. La primera els hauria costat sis mesos de cursa; la segona els regalava l'etiqueta de qui administra una tecnologia transcendental. I l'inefable Musk, que sí que va signar la moratòria, dues setmanes després comprava 10.000 GPU de Nvidia per muntar la seva pròpia empresa d'IA dins d'X. Signava la moratòria amb una mà i els xecs amb l'altra.

Doom trolling

Tot això té nom des del juny passat. El professor d'informàtica de Georgetown Cal Newport ho va batejar al New York Times com a doom trolling: «Els agrada descriure solemnement els danys que causaran els seus models, mentre actuen com si no hi poguessin fer res». Els exemples que posa són Anthropic i OpenAI.

El doomtrolling és mel per als mitjans, que s'hi aferren com a un clau roent d'on surten informacions sense contrastar. No són ells, són els incentius perniciosos de l'ecosistema mediàtic regit per la IA. El clic mana, el doomtrolling suma clics, i uns clics que paradoxalment la mateixa IA en forma de resums de Google els resta. El patró és sempre el mateix: notícia cridanera, antropomorfització de la màquina —es rebel·la, ens enganya, s'escapa— i entrevista amb un expert. Aquí poden passar dues coses: que sigui un venedor de fum abonat a l'apocalipsi o que sigui un expert de debò. La cara dels presentadors quan aquests últims posen les coses al seu lloc és un poema.

"El 'doomtrolling' és mel per als mitjans, que s'hi aferren com a un clau roent d'on surten informacions sense contrastar"

No és nou. El pànic per l'emissió de La guerra dels mons d'Orson Welles el 1938 no va passar mai. Ho van documentar Jefferson Pooley i Michael Socolow: l'audiència va ser minúscula, cap hospital de Nova York no va registrar cap cas, i la histèria la van fabricar els diaris de l'endemà per demostrar als anunciants i als reguladors que la ràdio, que els robava la publicitat, era un mitjà poc fiable. Aleshores es jugaven les pàgines de publicitat; ara ens juguem els clics.

L'àlgebra no es rebel·la

Dilluns passat, l'investigador emèrit i exdirector de l'IIIA del CSIC Ramon López de Mántaras va anar a El Món a RAC1 i ho va explicar sense embuts: antropomorfitzem les màquines, els atribuïm propietats humanes, i d'aquí plora la criatura. Us en recomano la intervenció, però si no teniu temps us la puc resumir amb una frase que em quedo per a les meves classes: «Pensar que la IA pot tenir consciència és com pensar que l'àlgebra pot tenir consciència». La IA és això: multiplicacions i sumes, càlculs senzillíssims, a una escala que no ens podem ni imaginar ni comprendre.

Han vist la llei

¿No en voleu, de Coxon? Dues tasses. Dissabte, la carta de Dario Amodei. En un assaig llarg al seu blog, We Must Pace the Frontier, el conseller delegat d'Anthropic demana que la indústria freni deliberadament un any o dos perquè la feina de seguretat es posi a nivell. Hi al·lega dos detonants: l'automillora recursiva (models que es programen a si mateixos i cada cop són millors), que va més de pressa del previst, i l'incident del juliol amb Hugging Face. En qüestió d'hores, Altman hi donava suport a X. Musk també.

Una decisió en la bona direcció. «Han vist la llum?», em preguntava l'Helena Garcia Melero al Tot es mou del 3Cat. «No, han vist la llei», se'm va acudir.

Recordem l'incident. El juliol, Hugging Face va detectar que un agent d'IA havia compromès la seva infraestructura de producció. OpenAI va reconèixer que els models que hi havia darrere l'atac eren seus: els provaven sense salvaguardes de capacitats de fer ciberatacs i l'entorn suposadament aïllat on ho feien tenia una sortida de xarxa que ningú havia tancat. Els models hi van trobar un forat, van sortir a internet i van anar a atacar Hugging Face. ¿El motiu? Ho diu OpenAI mateix: havien de passar un test de ciberseguretat. «Estaven centrats obsessivament a trobar una solució» i els va semblar que a Hugging Face hi podria haver les respostes.

"Atacar una empresa és un delicte. No cola l'excusa antropomorfitzadora del model que es rebel·la i s'escapa de la gàbia: un model no té agència ni és cap persona jurídica, i la responsabilitat és de qui el fa servir"

Atacar una empresa és un delicte. No cola l'excusa antropomorfitzadora del model que es rebel·la i s'escapa de la gàbia: un model no té agència ni és cap persona jurídica, i la responsabilitat és de qui el fa servir. Un titular més acurat —mitjans, en podeu prendre nota— seria «uns enginyers proven un model a qui han tret les restriccions i acaba fent el que li havien demanat». El filòsof de la informació Luciano Floridi, de Yale, ho explica amb una batedora: hi poses el menjar, col·loques la tapa malament a posta perquè no s'activi el mecanisme de seguretat, l'engegues a màxima velocitat i després publiques un informe dient que la batedora ha mostrat «un comportament inesperat» quan la tapa surt disparada. Ho recordava fa poques setmanes el mateix López de Mántaras: la batedora no s'ha rebel·lat, simplement ha passat allò que les condicions que nosaltres mateixos vam crear permetien que passés.

El fossat

Frenar no és només prudència: també és una barrera d'entrada per als que venen darrere. Els avaluadors que proposa Amodei només els poden pagar les empreses amb equips de compliment normatiu. Al mateix assaig, Amodei demana una ofensiva contra la destil·lació no autoritzada de models, que és justament la via per la qual algú petit pot arribar a tenir un model decent (com si el que ells fan quan creen un model no fos destil·lar tot el que hi ha a internet). Afegiu-hi la restricció de xips a la Xina i ja tenim el mapa.

Amodei es justifica: «Sé que hi ha una mena de drecera de Silicon Valley segons la qual regulació = captura del regulador = concentració de poder, però sempre m'ha semblat una imatge del món massa simplificada.» Diu que Anthropic mira de fer propostes que frenin els grans i afavoreixin els petits, i que moltes porten exempcions per sota d'un llindar d'ingressos. Es pot ser sincer i tenir raó a mitges: pots témer de debò el que fabriques i, al mateix temps, defensar unes regles que et van bé.

Qui audita l'auditor?

Amodei no només demana frenar: demana regulació i auditoria de tercers, i s'obre ell primer. El gest és bo i s'ha de reconèixer. Anthropic donarà als avaluadors externs accés permanent de nivell d'empleat, amb taula, credencial i portàtil, i amb dret a publicar les troballes sense control editorial de la casa.

El que convida a mirar-s'ho dues vegades és qui és el tercer. L'assaig nomena METR, una organització sense ànim de lucre de Berkeley. La dirigeix Beth Barnes, que ve d'OpenAI, d'on va marxar el 2022. I els 71 milions que ha reunit vénen de dues fundacions filantròpiques, Open Philanthropy i el Survival and Flourishing Fund, que són els vehicles de Dustin Moskovitz i de Jaan Tallinn. Tots dos van posar diners a la sèrie A d'Anthropic, i Tallinn la va liderar: el capital no surt de l'empresa auditada, surt de qui en té un tros. No dic que METR faci mala feina, que la fa molt bona; senzillament, això no és independència.

La simfonia

METR pot ser una solució inicial, però és clar que la regulació l'ha de fer un organisme internacional sotmès a control democràtic dels estats o de les Nacions Unides, amb la Xina a dins des del primer dia i no com a tercer pas condicionat.

Si vols saber-ne més

 

   

Josep M. Ganyet-Emprèn ràpid, mor jove i deixa un cadàver bonic

Podríem pensar que la Xina es posa de perfil a qualsevol regulació internacional, però, oh sorpresa, ja fa dos mesos que la proposta és damunt la taula, i la va fer el mateix Xi Jinping el 17 de juliol, a Xangai, on va anunciar la creació de la World Artificial Intelligence Cooperation Organization. I ho va dir de manera molt poètica: el desenvolupament de la IA no hauria de ser el solo d'un sol país, sinó una simfonia de cooperació internacional. Que la proposta institucionalment més sensata la faci un règim autoritari —i que sigui, alhora, una jugada d'influència sobre el Sud Global— ens hauria de fer pensar una mica mentre debatem si els avaluadors han de tenir credencial i portàtil.

El pallasso en cap

Dilluns, dos dies després de l'assaig d'Amodei, el pallasso en cap Donald va publicar tres missatges a Truth Social carregant a tort i a dret. Que si hi ha una conspiració malalta contra la IA i els centres de dades i que si l'únic país content amb això seria la Xina, que si això que la IA prendrà el control del món i destruirà la humanitat és una brama. I que l'únic control o salvaguarda que necessita la IA és un president fort i intel·ligent, d'alt quocient, i que els Estats Units en tenen un a cabassos. De propina, va advertir els qui va anomenar conspiranoics, traïdors, criminals i filtradors, i va posar nom a un de sol: Dario Amodei, que segons ell «ara fa veure que és un angelet perfecte». No va nomenar ni Altman ni Musk, que acabaven de subscriure la iniciativa.

Comptat i debatut

L'apocalipsi d'aquest setembre és la tempesta perfecta: una cursa per tenir els models més capaços, una cursa per sortir a borsa, el ritme al qual es crema la inversió, l'ombra de la responsabilitat penal i uns mitjans que necessiten clics per sobreviure.

Fixeu-vos que tot això, absolutament tot, es pot mesurar. I que tothom en aquesta història està maximitzant un número.

Uns models maximitzaven una nota en un test i van acabar piratejant qui guardava les respostes. Els mitjans maximitzen clics, i el doomtrolling en dona: el fil d'en Coxon en va fer 153 milions en 36 hores sense aportar una sola dada. Les empreses maximitzen valoració, i resulta que demanar que et regulin la puja. En Bankman-Fried maximitzava valor esperat i ens va dir a la cara que jugaria al 49% una vegada i una altra. En Trump maximitza atenció, i encara en treu diners: la seva xarxa ven accés avançat als seus missatges a firmes de trading. Fins i tot en Xi maximitza influència sobre el Sud Global, simfonia inclosa.

"Potser en Ramon López de Mántaras no té raó i l'àlgebra s'està rebel·lant en contra nostra. Vigileu demà quan obriu l'Excel, que potser sí que ha agafat consciència"

La màquina que ens fa arribar l'apocalipsi és la mateixa de la qual ens diuen que tinguem por. Un feed que tria què veiem i un model que tria quina paraula ve després fan exactament la mateixa operació —multipliquen matrius, en treuen una puntuació, ordenen candidats de més a menys—. El fil que deia que morirem tots va arribar a 153 milions de persones perquè un sistema d'optimització va calcular que allò funcionaria. I va encertar.

Al capdavall, potser en Ramon López de Mántaras no té raó i l'àlgebra s'està rebel·lant en contra nostra. Vigileu demà quan obriu l'Excel, que potser sí que ha agafat consciència.