De la pregunta a la asistencia

Nos prometieron coches voladores, y de momento solo van a pilas. Nos prometieron comida con pastillas y tenemos aguacate en trozos congelados del Mercadona. Y creo que todavía estamos lejos de la vida eterna. Lo que veo más factible, de momento es que la IA a algunas profesiones las hace más productivas, pero a otras más prescindibles. A los robots modernos primero les preguntamos cosas. Después les pedimos ayuda. Ahora les queremos dar las llaves de casa.

Meta Platforms lleva tiempo probando qué quiere ser de mayor, pero su último movimiento es una apuesta por la IA Agentiva: sistemas capaces no solo de responder sino que pueden percibir, razonar, planificar y actuar para conseguir objetivos complejos con una supervisión humana limitada. Es decir, hacen cosas para ayudarnos a hacer tareas digitales más tediosas. Esto sitúa a la compañía de Mark Zuckerberg en el centro de una nueva frontera tecnológica. 

Proyectos como OpenClaw ya han demostrado que es posible crear agentes que lean correos, naveguen por internet, gestionen calendarios o incluso compren productos sin intervención directa humana. Lo que hasta ahora era una demo técnica para cuatro frikis de la tecnología se está convirtiendo en un producto para miles de usuarios.

"El gran poder tecnológico del futuro está en el hecho de que cuando delegas las acciones sin margen de maniobra, también delegas el criterio"

Y ahora es cuando arranca el mambo, ya que no estamos hablando de una evolución natural de los asistentes digitales, sino un cambio radical en su naturaleza. Sutil, pero que nos plantea otro horizonte. Hasta hoy, la máquina informaba de lo que iba a hacer y tú como usuario decidías si lo que decía era correcto o no, le hacías mejoras, lo modificabas, lo trabajabas. Ahora, la máquina actúa y tú (si quieres) supervisas. El gran poder tecnológico del futuro está en el hecho de que cuando delegas las acciones sin margen de maniobra, también delegas el criterio. Y no siempre el criterio está puesto en las normativas iniciales de estos agentes digitales.

Lo recuerdo por si alguien se perdió la primera clase: Estos sistemas no piensan. No entienden. No tienen criterio propio. Son operaciones matemáticas que funcionan a partir de patrones aprendidos en grandes volúmenes de datos. Es decir, no hay razonamiento, hay estadística con esteroides. Y esto tiene consecuencias muy concretas en temas como los sesgos ocultos que nos pasarán por alto nada más empezar. De hecho, ya está sucediendo con sistemas menos complejos.

La literatura científica lo advierte desde hace años. Sistemas de IA entrenados con datos históricos tienden a reproducir y amplificar discriminaciones existentes en ámbitos como el crédito, la contratación, o la salud. Hemos visto cientos de ejemplos con escándalos que han salido a la prensa (y los que no). Y cuando estos modelos operan como cajas negras, opacos, difíciles de auditar y aún más difíciles de explicar, el problema se vuelve estructural del sistema. Y el sistema ya está frágil, especialmente para los colectivos vulnerables.

Si quieres saber más

 

   

Gina Tost-¿Quién decide qué es una IA segura?

Por otro lado, quien construye estos sistemas a menudo no se parece mucho a quien los acabará utilizando en el día a día. No solo en términos socioeconómicos, sino también culturales, geográficos e incluso lingüísticos. Hombres blancos, ricos, heterosexuales, pensando sistemas para todo tipo de sociedades diversas acostumbran a no tener en cuenta sus necesidades y naturalezas porque les son completamente lejanas. 

En la prehistoria de las apps para el móvil, cuando salieron los primeros programas informáticos para controlar la menstruación, eran calendarios de color rosa con florecitas. Cuando las mujeres se pusieron a programarlas, les añadieron la capa de inteligencia de alguien que lo ha vivido en primera persona, y empezaron a tener muchas más capas y complejidades. Veinte años más tarde, seguimos aquí mismo.

En el ámbito de IA, los grandes modelos se entrenan mayoritariamente con datos dominados por contextos anglosajones y digitales altamente representados en Internet. ¿No habéis notado que cuando una herramienta de IA generativa está hecha en China, las personas tienen las facciones un poco más asiáticas? Es porque sus datos de entrenamiento son, en mayor parte, de su territorio y tienden a asiatizarlo todo un poco. Esto quiere decir que el mundo que construyen estas herramientas no es nunca el mundo real, sino el mundo más presente en los datos. Y esto, en sistemas que después toman decisiones o automatizan acciones, se convierte en un problema de representatividad con consecuencias prácticas en nuestro día a día.

"¿No habéis notado que cuando una herramienta de IA generativa está hecha en China, las personas tienen las facciones un poco más asiáticas?"

Y finalmente, optimizamos sistemáticamente por eficiencia, no por equidad. Los modelos no “deciden” que esto sea así: lo heredan de los objetivos que les imponemos, sino las fórmulas y excepciones. Pero el resultado es el mismo: se priorizan decisiones que maximizan velocidad, conversión o probabilidad de éxito estadístico, aunque esto implique reforzar desigualdades existentes.

Fue muy ruidoso el caso de modelos de IA generativa que hacían soldados nazis negros o femeninos, porque había una instrucción interna que decía que cuando generaban imágenes había poca representación y diversidad, y lo tuvieron que forzar de estas maneras tan absurdas. Ahora ha salido el tema de los gnomos y criaturas fantásticas porque una instrucción muy determinada en uno de los caracteres de ChatGPT se ha escapado y ha “contaminado” el modelo. Esto se llama prompt leakage.

Un estudio recurrente en sistemas de decisión automatizada en ámbitos como crédito o selección de personal muestra que los modelos tienden a reproducir patrones históricos de exclusión si no se introducen correcciones explícitas. Y estas correcciones no son neutrales: son decisiones políticas encubiertas dentro de un sistema técnico.

"La responsabilidad final no puede ser artificial. Por definición, debe ser humana. Delegar ejecución no puede equivaler a abdicar en la responsabilidad"

Por eso hay una línea roja que no deberíamos cruzar con tanta alegría: la última milla. La responsabilidad final no puede ser artificial. Por definición, debe ser humana. Delegar ejecución no puede equivaler a abdicar en la responsabilidad.

En este contexto, la gran incógnita es la confianza. ¿Debemos confiar en Meta Platforms? De hecho, ahora que leo la pregunta, creo que no es ni siquiera la más pertinente. La cuestión es si debemos confiar en cualquier intermediario que optimiza decisiones por nosotros mientras su modelo de negocio depende de incentivos que van en contra de nuestros intereses como sociedad… y Meta nos lo ha demostrado una y otra vez, que mejor que no.

Porque aquí está el segundo nivel del problema: el modelo económico. Cuando Mark Zuckerberg habla de asistentes capaces de comprar por ti o ayudar a empresas a llegar a clientes, lo que está dibujando no es un mayordomo digital. Aquí tenemos un intermediario con capacidad de influencia directa sobre tu consumo local, familiar y doméstico: desde qué compras hasta cómo te informas y qué acabas descartando sin ni ser consciente.

Si quieres saber más

 

   

Josep M. Ganyet-Zuckerberg contra el mundo. Literalmente

A diferencia de las plataformas anteriores que intermediaban información o relaciones sociales, ahora demandan acción. Y eso es muy profundo, ya que no solo influyen en lo que piensas, sino en lo que haces, cómo lo haces, cuándo lo haces, dónde lo haces…

Si Google decidió qué noticias veías, y si las redes sociales se aventuraron a decir qué amigos eran importantes para ti, estos sistemas de agentización pueden acabar decidiendo qué haces, quién eres, y cómo vives.

Siempre he pensado que decidimos más con la cartera cuando salimos a comprar que con el voto en una urna cada cuatro años. Pero esto se complica aún más cuando la cartera deja de estar en tu bolsillo y pasa a ser decisión de una fórmula matemática programada por alguien que quizás no tiene tus ideales.

"Mientras se construyen sistemas para automatizar tareas cognitivas, las mismas empresas reducen plantilla y concentran inversión en infraestructuras de IA"

Porque si un agente decide por ti qué compras, cuándo compras y con qué frecuencia, lo que se está externalizando no es solo la compra: es el criterio socioeconómico. Y esto tiene implicaciones directas en el consumo, el mercado, y en las ciudades que queremos.

Aquí tenemos una paradoja curiosa: mientras se construyen sistemas para automatizar tareas cognitivas, las mismas empresas reducen plantilla y concentran inversión en infraestructuras de IA de miles de millones de euros.

Según datos recientes de mercado, las grandes tecnológicas han incrementado de forma significativa la inversión en centros de datos y modelos fundacionales mientras ajustan equipos operativos y de soporte. 

Ante este escenario, hay una alternativa conceptual que raramente entra en el debate dominante: la descentralización.

"Tendremos asistentes cada vez más capaces, más integrados, y más invisibles. Y la comodidad digital suele tener un coste estructural"

El fediverso es un ecosistema de servicios digitales federados e interoperables sin un único centro de control, y ha demostrado que es posible construir infraestructuras digitales donde el usuario mantiene soberanía sobre datos e identidad. No es una utopía o una teoría abstracta. Esto ya existe en servicios como Mastodon o otros protocolos abiertos.

Este sistema llevado al mundo de los agentes de IA abriría la puerta a sistemas que operen localmente o de forma distribuida, con datos bajo control del usuario, y reglas auditables y transparentes. El problema, ya veis, no es técnico, es de incentivos.

Mientras tanto, el mercado avanza hacia el campo contrario, hacia la centralización absoluta de la mano de 4 empresas. Ni siquiera Apple está corriendo esta carrera (de hecho, Siri está sentado en el banquillo aprendiendo a atarse los zapatos). Tendremos asistentes cada vez más capaces, más integrados, y más invisibles. Y la comodidad digital acostumbra a tener un coste estructural.

Si quieres saber más

 

   

Gina Tost-La línea que no deberíamos cruzar

Durante años hemos hablado de la muerte del SEO como el final de una era donde los resultados se podían ordenar y optimizar. Pero quizás lo que estamos enterrando ahora no es solo el SEO, sino el mismo mecanismo de jerarquización de la información.

Si antes decidíamos qué preguntar, y después qué clicar, ahora el riesgo es mayor: no decidir ni siquiera qué opciones vemos. La capa de intermediación se está moviendo de la pantalla a la decisión.

En clave europea, y especialmente catalana, esto abre un debate que todavía es muy incipiente. En un continente que ha hecho de la regulación de datos uno de sus pilares con marcos como el GDPR, la irrupción de agentes autónomos plantea unas preguntas que todavía no sabemos responder: ¿quién es responsable cuando una decisión automatizada mete la pata? ¿Cómo garantizamos que los datos no se escapan entre procesos opacos? ¿Cómo evitamos sesgos en sistemas opacos? Y sobre todo: ¿qué margen de soberanía digital queda cuando la capa de ejecución de la vida cotidiana depende de plataformas globales que no saben qué es un buñuelo de Cuaresma?

"Si Internet era una biblioteca y los buscadores eran la bibliotecaria, los nuevos asistentes compran los libros, y los que no compran no llegarán nunca a la biblioteca para que tú los elijas"

Catalunya tiene talento tecnológico, centros de investigación y un ecosistema empresarial emergente. Pero el reto está en decidir qué modelo tecnológico queremos normalizar, no en el desarrollo en sí. Y esto es política industrial, no adopción de herramientas. ¿Estamos preparados? ¿La tenemos clara? No va de fábricas, ¿eh? Va de derechos digitales fundamentales.

Al final, si os tengo que hacer un resumen de todo el rollo que os acabo de escribir, la cuestión es si estamos dispuestos a dejar que estos asistentes lo hagan todo por nosotros, dejando de lado la parte más vulnerable de la sociedad. 

Si Internet era una biblioteca y los buscadores eran la bibliotecaria, los nuevos asistentes compran los libros, y los que no compran no llegarán nunca a la biblioteca para que tú los elijas. La comodidad del sistema es indiscutible, pero quizás ya no sabrás ni qué querías encontrar allí.