Anthropic y la guerra de lejos

En 2016, un grupo de investigadores, científicos, ingenieros, empresarios y profesionales del mundo de la IA y la robótica firmaron una carta abierta contra la utilización de la IA para la selección y ataque de objetivos sin intervención humana. La IA, advertían, había llegado a un punto en que al cabo de pocos años —no de décadas— serían capaces de matar de manera autónoma a partir de datos.

Los firmantes reconocen que la IA tiene un gran potencial para beneficiar a la humanidad, pero alertan que desarrollar estas armas podría desencadenar una carrera armamentística global, abaratar y facilitar la guerra, y permitir que actores autoritarios o terroristas utilicen sistemas de muerte automatizada. Por ello, piden prohibir las armas autónomas ofensivas que operen sin control humano significativo y orientar la investigación en IA hacia usos beneficiosos para la sociedad.

Si quieres saber más

 

   

Josep M. Ganyet-El MWC también se celebra a Teherán

En 2016, los drones ya se usaban activamente en al menos seis teatros de guerra: Siria, Irak, Afganistán, Yemen, el Donbás (Ucrania) y Libia. Sin embargo, su papel era todavía mayoritariamente el de plataformas de vigilancia, reconocimiento y ataques selectivos, más que el de armas masivas de primera línea como lo serían en conflictos posteriores. En la mayoría de los casos eran operados por ejércitos estatales de los sospechosos habituales —Estados Unidos, Rusia e Israel— para identificar objetivos y ejecutar ataques puntuales contra mandos o infraestructuras.

Nombres como MQ-1 Predator, MQ-9 Reaper, el Orlan-10 ruso o los Heron israelíes se convirtieron en protagonistas habituales de los telediarios, símbolos de una nueva manera de hacer la guerra basada en la vigilancia permanente desde el aire y en la capacidad de eliminar objetivos a distancia. Estos sistemas, operados principalmente por ejércitos estatales, representaban la cara tecnológica de un cambio de fondo: el paso de una guerra basada en la presencia física en el campo de batalla a una guerra cada vez más mediada por sensores, datos y algoritmos.

Un dron Predator es controlado por un operador desde una base en Nevada. La jornada laboral de un operador de dron es muy similar a la vuestra: ocho horas delante de una pantalla —eliminando objetivos— y después, cerveza en el bar de la base con los colegas y para casa a tiempo de ayudar a las hijas con los deberes. La jornada de guerra termina en la cocina de casa.

"Si cambiamos el operador de dron por un algoritmo de IA basado en una red neuronal, la responsabilidad se diluye entre sus conexiones"

Retrocedamos un poco más. Estamos en 1936, el año en que se abrió el campo de concentración de Sachsenhausen, junto a Berlín. No hace falta decir que la visita es sobrecogedora. Uno de los espacios más siniestros es la llamada enfermería. Contrariamente a lo que el nombre indica, no era un lugar para decidir si había que curar a quien pasaba por allí, sino si había que exterminarlo. Si la decisión era afirmativa, el prisionero era conducido a una sala donde, con la excusa de medirle la altura, se le hacía poner de espaldas a la pared. En realidad, detrás de la pared había un orificio por el cual un soldado disparaba un tiro en la nuca. El dispositivo estaba concebido para que el verdugo no tuviera que mirar a la víctima a los ojos y, así, reducir el posible trauma psicológico. Los crematorios vinieron después.

La historia de la guerra es también esta: la de aprender a matar más, de más lejos y de manera cada vez más anónima, minimizando el contacto con la víctima y reduciendo el trauma de quien ejecuta el acto. Era casi inevitable que la automatización y la inteligencia artificial acabaran entrando en esta ecuación: si cambiamos el operador de dron por un algoritmo de IA basado en una red neuronal, la responsabilidad se diluye entre sus conexiones.

Tuvimos el primer ejemplo en el genocidio de Gaza. En los primeros meses de los bombardeos de octubre de 2023, Israel utilizó un sistema llamado Lavender que analizaba grandes cantidades de datos de vigilancia para identificar personas presuntamente vinculadas a Hamás o a la Yihad Islámica y marcarlas como objetivos potenciales. Según investigaciones periodísticas de la revista israelí +972, el sistema, que tenía un 10% de error, llegó a señalar decenas de miles de palestinos como posibles blancos, acelerando enormemente el proceso de selección de objetivos para los ataques aéreos. Fuentes de inteligencia citadas en estas investigaciones explican que, en los primeros momentos de la ofensiva los operadores humanos no daban abasto y solo dedicaban un máximo de veinte segundos a revisar cada objetivo, a menudo limitándose a confirmar la recomendación. En la práctica, la máquina decidía quién vivía y quién no.

Si quieres saber más

 

   

Josep M. Ganyet-El 'Day Zero' del 'Day One'

Y llegamos a hoy, a la guerra con Irán. Sabemos, por las imágenes del ataque, que un misil de crucero Tomahawk impactó en una escuela de niñas en la ciudad de Minab. El ataque mató a cerca de 175 personas, la mayoría alumnas de entre siete y doce años. También sabemos que, en esta guerra, la selección de objetivos ya no es solo humana. El Pentágono utiliza la IA para analizar datos de vigilancia y proponer blancos militares. Uno de los modelos usados es Claude, desarrollado por Anthropic e integrado en el sistema militar Maven, que es quien podría haber seleccionado los objetivos.

No sabemos hasta qué punto ni con qué nivel de detalle los resultados de estos sistemas de IA son realmente validados por los operadores humanos. Oficialmente, los ejércitos insisten en que la decisión final siempre es humana. Pero la situación en las primeras horas de los ataques estadounidenses contra Irán recuerda demasiado la que ya vimos en Gaza: algoritmos que procesan enormes cantidades de datos de vigilancia, generan listas de objetivos y priorizan cientos en cuestión de minutos; procesos de planificación que antes duraban semanas en operaciones casi en tiempo real.

Hay que tener claro que los modelos de lenguaje como Claude son, antes que nada, modelos: simplificaciones de aquello que representan para facilitar la toma de decisiones. En este sentido, se asemejan a los mapas, representaciones simplificadas del territorio que nos permiten orientarnos y navegar por él. Pero, como recordaba el filósofo polaco Alfred Korzybski, “el mapa no es el territorio”, es en realidad un sistema de creencias.

"El debate ya no es sobre tecnología, sino sobre agencia moral, sobre quién delega en una máquina la decisión de matar y con qué supervisión"

Entendiendo esto, se entiende mejor la decisión de Dario Amodei, ejecutivo en jefe de Anthropic, de plantar cara a Donald Trump en cuanto a la utilización de Claude para estos menesteres. Una cosa es que Claude analice un texto y genere un resumen, y la otra es que analice grandes cantidades de datos y genere un plan de asesinatos: el debate ya no es sobre tecnología, sino sobre agencia moral, sobre quién delega en una máquina la decisión de matar y con qué supervisión.

En este contexto, la resistencia de algunos desarrolladores de IA a ver sus modelos integrados en sistemas militares no es solo una cuestión de imagen o de responsabilidad corporativa, sino también un intento de marcar un límite antes de que la cadena de decisión —datos, algoritmo, objetivo— acabe expulsando a los humanos de decisiones vitales.

La plantada de Amodei a Trump parece que, de momento, le ha salido relativamente bien. A la pérdida del contrato inicial con el Pentágono de 200 millones de dólares y a la declaración de empresa de riesgo le ha seguido un efecto inesperado: un aumento notable del uso de Claude. En pocos días, las descargas de la aplicación crecieron más de un 50%, y el chatbot llegó a situarse como aplicación gratuita número 1 de la App Store en Estados Unidos, superando incluso ChatGPT. La empresa afirma que los nuevos registros superan el millón de usuarios al día, mientras que los usuarios activos gratuitos han crecido más de un 60% desde principios de año y las suscripciones de pago también se han duplicado.

"La resistencia de algunos desarrolladores de IA a ver sus modelos integrados en sistemas militares no es solo una cuestión de imagen o de responsabilidad corporativa, sino también un intento de marcar un límite"

A todo esto le tenemos que sumar un gesto muy poco habitual en el mundo de la tecnología: la solidaridad de los propios trabajadores del sector, incluso de los de la competencia. Cientos de ingenieros, investigadores y ejecutivos de compañías como Google, OpenAI, Microsoft o Amazon han firmado cartas abiertas dando apoyo a la posición de Anthropic y piden límites claros al uso militar de la IA. 

Recuerda aquella carta abierta de hace diez años, una carta que acabó recogiendo más de 30.000 firmas, entre las cuales la de Dario Amodei.