Automatizar la democracia

El gobierno de Albania ha sorprendido a todos con una decisión surrealista: nombrar a un avatar basado en IA como ministro de contratación pública. El avatar es el de una mujer joven, ataviada con el traje tradicional albanés, de nombre Diella, ‘Sol’ en castellano. El primer ministro, Edi Rama, presentó la medida como una forma de poner fin a la corrupción sistémica que ha marcado la vida política del país; su horizonte 2030 es el de la entrada a la UE ese año y la Unión le exige unos mínimos en el tema corrupción. Es la primera vez que un algoritmo recibe el rango de ministro. ¿No querías gobernanza democrática de la tecnología? Pues dos tazas, o sea, gobernanza tecnológica de la democracia.

Si quieres saber más

 

   

Josep M. Ganyet-Matar la verdad, mata

En Catalunya, país donde siempre lo hacemos todo bien, hemos leído un titular similar, pero en un sentido diametralmente opuesto. La Generalitat ha creado la Dirección General de Inteligencia Artificial, Eficiencia y Datos, liderada en este caso por un humano, Jaume Miralles, que debe ser muy bueno porque es un ex-IBM, como yo. La estrategia catalana huye del papanatismo albanés —imperante en todas partes— y en lugar de ceder poder de decisión a una IA, apuesta por formar a los funcionarios en el uso de estas herramientas para mejorar la eficiencia y reducir los plazos de los trámites. Si queremos gobernanza democrática de la tecnología, esta es una condición necesaria.

"La estrategia catalana huye del papanatismo albanés y en lugar de ceder poder de decisión a una IA, apuesta por formar a los funcionarios en el uso de estas herramientas"

La promesa

El caso albanés parte de una idea tan utópica como fundamentalmente errónea: si la corrupción humana es el principal freno del país, una máquina incorruptible puede ser la solución definitiva. El primer ministro Rama ha afirmado que Diella garantizará que las licitaciones públicas sean “100% libres de corrupción”. La tecnología, presentada como neutral y objetiva, sería así la herramienta capaz de romper décadas de clientelismo y de recuperar la confianza ciudadana e internacional.

Esta decisión es fundamentalmente un engaño puro y solo se puede entender desde una concepción mediática de la política. Albania sabe que la lucha contra la corrupción es condición sine qua non para avanzar en su proceso de adhesión a la Unión Europea. En este contexto, nombrar a una ministra de IA se convierte en un ciberanzuelo que ocupará titulares y que enviará al mundo, o sea a la UE, el mensaje de que estamos luchando contra la corrupción endémica de nuestro país. Recordatorio: el primer ministro anterior y el expresidente del país están en la cárcel por corrupción.

"Nombrar a una ministra de IA se convierte en un ciberanzuelo que ocupará titulares y que enviará al mundo, o sea a la UE, el mensaje de que estamos luchando contra la corrupción endémica de nuestro país"

Muertes por IA

Los algoritmos no son neutrales ni infalibles, y son tan ecuánimes e incorruptibles como los ingenieros que los hayan programado. Aparte, si están basados en aprendizaje automático, dependen de los datos con los que han sido entrenados y pueden reproducir —y amplificar— los sesgos existentes. Sin transparencia ni supervisión humana, un sistema como Diella podría discriminar a empresas o individuos bajo la apariencia de objetividad sin que se pudiera dar el porqué. A esto se añaden riesgos técnicos como la posibilidad de manipulación o de pirateo, y un vacío legal evidente: ¿quién asume la responsabilidad si una ministra artificial comete un error grave?

Tenemos un precedente en los Países Bajos, donde el mal uso de la IA acabó derribando al gobierno y provocando la salida en globo del entonces primer ministro Mark Rutte (aterrizó en la OTAN, no os preocupéis). En 2019 se supo que las autoridades fiscales neerlandesas habían utilizado un algoritmo de aprendizaje automático para detectar el fraude en las prestaciones para el cuidado de los hijos. El algoritmo señaló injustamente a miles de familias como defraudadoras con consecuencias dramáticas: cerca de 26.000 familias fueron arruinadas, más de 1.000 niños fueron retirados de la custodia de los padres y algunas de las víctimas acabaron suicidándose. El asunto se conoce como el toeslagenaffaire (el asunto de las bonificaciones) y demuestra los efectos devastadores del uso de la IA sin supervisión humana. No lo sabíais, ¿verdad? No se habló demasiado de ello.

"El 'toeslagenaffaire' demuestra los efectos devastadores del uso de la IA sin supervisión humana"

El proyecto de Diella se inscribe en este mismo terreno de riesgo. La Unión Europea trabaja en una Ley de Inteligencia Artificial (AI Act) para regular los sistemas de alto riesgo, como los aplicados a la administración pública. Pero la normativa no se aplica a Albania, precisamente porque no es miembro de la UE donde pretende entrar con la ayuda de esta medida.

El oasis IA catalán

En Catalunya, que siempre hacemos las cosas bien, hemos optado por una aplicación de la IA a la administración basada en la idea de que la IA debe ser una herramienta y no un fin en sí misma. La nueva Dirección General de IA, Eficiencia y Datos capacitará a los trabajadores públicos para que integren la tecnología en sus tareas cotidianas (ya lo hacen a título personal en lo que se conoce como “IA en la sombra”). Con programas de formación y herramientas como Copilot de Microsoft, se quiere que los empleados puedan crear agentes digitales que automaticen procesos repetitivos y liberen tiempo para trabajos de más valor añadido.

La estrategia incluye más de un centenar de trámites prioritarios, desde las ayudas para vehículos eléctricos hasta la renta garantizada de ciudadanía. Me hace especial ilusión que lo apliquen a las ayudas para vehículos eléctricos: cuando me compré el primer eléctrico me quedé sin la subvención del plan MOVES II cuando ya me la habían concedido. Fue en plena pandemia y no me pude quejar a nadie personalmente. Nuestro gobierno dice que empezaremos a notar los beneficios en concepto de reducción de plazos y mejora de la calidad del servicio en 2026. Vamos lentos porque vamos lejos, que decía el poeta.

Albania 0 - Catalunya 1

Albania y Catalunya representan dos visiones contrarias sobre la digitalización del sector público. Una, basada en una solución simbólica meramente politicomediática y centrada en la tecnología; la otra, en una reforma gradual y pedagógica, centrada en las personas. Ambas responden a disfunciones reales que penalizan a los sistemas democráticos: la corrupción sistémica y la ineficiencia burocrática.

"La tecnología puede contribuir a hacer administraciones más eficientes y transparentes, pero no puede sustituir el juicio crítico, la responsabilidad política y la ética democrática"

La tecnología puede contribuir a hacer administraciones más eficientes y transparentes, pero no puede sustituir el juicio crítico, la responsabilidad política y la ética democrática. Que se lo pregunten al bueno de Mark Rutte. El precedente de los Países Bajos demuestra que delegar el poder de decisión a un algoritmo puede acabar en catástrofe social y democrática. Por eso, cualquier integración de la IA en un gobierno debe garantizar transparencia, supervisión humana y rendición de cuentas.

La democracia puede utilizar la IA como herramienta de cambio, pero —a diferencia de la burocracia— no se puede automatizar.