Una iniciativa global, "Llamamiento a Líneas Rojas para la IA", ha sido lanzada, instando a un acuerdo internacional sobre "líneas rojas" para las tecnologías de inteligencia artificial (IA) con el fin de prohibir usos considerados peligrosos y prevenir riesgos a gran escala para los humanos. Respaldada por más de 200 líderes de la industria, 70 organizaciones, diez premios Nobel y ocho ex jefes de estado y ministros, la iniciativa busca establecer límites acordados internacionalmente para evitar que la IA cause riesgos "inaceptables".

La iniciativa, lanzada en la 80ª Asamblea General de las Naciones Unidas en Nueva York, está liderada por el Centro Francés para la Seguridad de la IA (CeSIA), The Future Society y el Centro para la Inteligencia Artificial Compatible con el Ser Humano de la Universidad de California, Berkeley. Pide a los gobiernos que lleguen a un acuerdo político internacional sobre las líneas rojas de la IA con mecanismos de aplicación sólidos para finales de 2026.

La organización enfatiza la urgencia de establecer límites a la IA para prevenir peligros, incluido el potencial de que la IA supere las capacidades humanas y exacerbe riesgos como pandemias, desinformación generalizada, manipulación a gran escala y problemas de seguridad nacional e internacional. Las preocupaciones también incluyen el desempleo masivo y las violaciones sistemáticas de los derechos humanos. Los signatarios argumentan que, a pesar de la identificación de comportamientos engañosos y dañinos en los sistemas avanzados de IA, se les está dando más autonomía.

El director ejecutivo de CeSIA, Charbel-Raphaël Segerie, declaró que el objetivo es "prevenir riesgos a gran escala, potencialmente irreversibles antes de que sucedan", enfatizando la necesidad de acordar lo que la IA nunca debería hacer en lugar de reaccionar después de un incidente importante. Las líneas rojas propuestas deberían basarse en los marcos globales existentes y los compromisos corporativos voluntarios, garantizando la rendición de cuentas de todos los proveedores de IA avanzada.

Niki Iliadis, directora de gobernanza global de la IA en The Future Society, señaló que los compromisos voluntarios son insuficientes a largo plazo, lo que requiere una institución sólida para definir y hacer cumplir los límites. Stuart Russel, profesor de informática en UC Berkeley, comparó la necesidad de un desarrollo seguro de la IA con el desarrollo de la energía nuclear.

Las líneas rojas propuestas incluyen la prohibición de la delegación por parte de la IA de la autoridad de lanzamiento nuclear, las decisiones críticas de mando y control, el despliegue de sistemas de armas letales sin un control humano significativo, el uso de sistemas de IA para la calificación social y la vigilancia masiva, la suplantación de la identidad humana, el uso cibernético malicioso y el desarrollo de armas de destrucción masiva. La autorreplicación autónoma, definida como el desarrollo de sistemas de IA capaces de replicarse o mejorarse significativamente a sí mismos sin la autorización humana explícita, también se cita como una línea roja. Finalmente, la organización se refirió al principio de terminación, que prohíbe el desarrollo de sistemas de IA que no puedan ser terminados inmediatamente si se pierde el control humano.