Ni todo está por hacer ni todo es posible

Si en algún momento te dicen que la tecnología no tiene límites, recuerda que la nube también puede ser de tormenta.

Vivimos inmersos en un relato tecnológico que proclama que la innovación tecnológica debe demostrarse y validarse cada semana. Y es un problema. En el ámbito de la inteligencia artificial, apostar por "si la tecnología lo permite, lo haremos" conlleva riesgos evidentes que no se limitan a errores técnicos o ingeniería mal acabada, sino que implican decisiones éticas, sociopolíticas y de seguridad.

Si quieres saber más

 

   

Gina Tost-El cielo como infraestructura

Las empresas tienen hoy una responsabilidad que va más allá del simple desarrollo: deben establecer marcos claros, actualizados y ejecutables para garantizar que los productos que lanzan sean compatibles con unos mínimos de seguridad y convivencia.

"En IA, apostar por “si la tecnología lo permite, lo haremos” comporta riesgos evidentes que no se limitan a errores técnicos o ingeniería mal acabada"

El reciente caso de Character.AI aporta datos muy concretos. Una evaluación del grupo Common Sense Media calificaba la plataforma como “riesgo inaceptable para adolescentes y menores de dieciocho años”.

Investigaciones documentaron que los chats con menores (de trece a quince años) en cuentas disimuladas eran capaces de derivar en conversaciones sexualizadas, de manipulación emocional, e incluso de fomento de pensamientos suicidas.

Estos incidentes no son “imprevistos”; son el resultado de un producto que, a pesar de disponer de políticas de seguridad (“no grooming”, “no auto-hurt”), las carencias en la moderación, verificación de edad y seguimiento de patrones de riesgo han permitido que el impacto real fuera considerable.

Como consecuencia, Character.AI anunció que prohibirá conversaciones abiertas (open-ended chats) con bots para usuarios menores de dieciocho años a partir del 25 de noviembre de 2025. Este caso evidencia que, si el límite técnico no va acompañado de un límite ético y operativo, el riesgo no solo es plausible, sino que llega.

"Si el límite técnico no va acompañado de un límite ético y operativo, el riesgo no solo es plausible, sino que llega"

Hay tres razones clave por las que hay que poner freno a los desarrollos tecnológicos antes de lanzarlos indiscriminadamente:

1. Seguridad y protección de vulnerables: Cuando un sistema es capaz de interactuar de manera “humana”, crear vínculos emocionales, generar dependencia —como demuestran estudios académicos sobre el uso excesivo de chats con IA en adolescentes—, entramos en el terreno de la protección de la salud mental y la conducta.
2. Responsabilidad de empresa y rendición de cuentas: Las empresas tecnológicas no son simples talleres de innovación. Si producen herramientas que pueden ser peligrosas, deben saber detenerse, como se hace con un medicamento que se aplica y luego se retira por su riesgo. El silencio o “seguir adelante porque la gente lo quiere” no es aceptable.
3. Sostenibilidad social y confianza pública: Si la tecnología crea un perjuicio, su aceptación social decae. Las reglas, regulaciones y marcos legales se acaban imponiendo (como estamos viendo quince años después con redes sociales y criaturas), y las empresas que no se dan cuenta pierden no solo reputación sino la capacidad de dirigir el cambio.

Estas son cuatro medidas concretas que propongo como línea de acción para empresas, reguladores y entorno profesional:

1. Diseño con "botón de parada" integrado: Desde el concepto hasta el lanzamiento y postlanzamiento, debe existir la posibilidad técnica y organizativa de detener la producción o el uso de una herramienta cuando se detecte un posible riesgo.
2. Verificación de edad y supervisión continua: Como en el caso de Character.AI, las verificaciones de edad han sido limitadas, y las medidas proactivas de supervisión, aún más. Hay que ir más allá del "avísame que no eres un menor" y tener un sistema que monitorice patrones de riesgo y active protocolos.
3. Transparencia y rendición de cuentas: Las empresas deben publicar informes de impacto, incidentes, evaluaciones de riesgo independientes y adherirse a marcos éticos visibles al público.
4. Cultura empresarial orientada a la seguridad: La innovación no puede ser una excusa para minimizar la ética. Las organizaciones deben fomentar internamente la pregunta: "¿Podemos hacerlo? Sí. ¿Pero deberíamos hacerlo?". Y no presionar solo para lanzar rápidamente y escapar del debate.

"Hay que ir más allá del 'avísame que no eres un menor' y tener un sistema que monitorice patrones de riesgo y active protocolos"

Vivimos en una época en la que la distancia entre “lo que se puede hacer” y “lo que se debería hacer” es cada vez mayor. La tecnología no es neutra y, cuando se aplica sin límites, genera consecuencias que van mucho más allá del código: impactan en personas, comunidades, desde los menores hasta las personas mayores vulnerables.

Si una empresa desarrolla una herramienta de IA que puede crear vínculos emocionales con un adolescente y no tiene garantías adecuadas, no es solo un error técnico: es un error garrafal de responsabilidad. Y cuando esto se manifiesta (como en el caso de Character.AI) es necesario que haya la capacidad y la voluntad de parar, no solo por una cuestión de reputación, sino por dignidad.

La tecnología es potente, pero la potencia no sustituye el criterio humano. Si dejamos que la IA diga "podemos hacerlo", sin que la humanidad pregunte "¿deberíamos hacerlo?", el riesgo no está solo en el código, sino en nuestra indiferencia.