En busca de la verdad
En busca de la verdad
La empresa advirtió sobre los riesgos de los sistemas capaces de diseñar sus propios sucesores y propuso mecanismos internacionales para ralentizar su desarrollo.
Anthropic encendió las alarmas por los avances en sistemas de inteligencia artificial capaces de mejorar y desarrollar nuevas versiones de sí mismos, un proceso conocido como automejora recursiva.
La compañía advirtió que esta tecnología podría derivar en una pérdida de control humano si los modelos reciben suficiente capacidad de procesamiento y autonomía para diseñar a sus propios sucesores.
Según explicó Anthropic, las empresas tecnológicas ya delegan cada vez más tareas en sus propios sistemas de IA para acelerar el desarrollo de nuevos productos.
En el caso de la compañía, parte del código fuente de sus modelos es escrito por Claude, su asistente de inteligencia artificial, mientras los ingenieros humanos supervisan y revisan el trabajo.
El riesgo, según la firma, aparece cuando ese proceso se lleva al extremo. En ese escenario, una IA podría encargarse de crear una versión más avanzada de sí misma, que a su vez podría repetir el ciclo con mayor velocidad y menos intervención humana.
Anthropic reconoce que una tecnología de ese tipo podría representar un avance decisivo para áreas como la ciencia, la salud y la investigación. Sin embargo, también advierte que podría aumentar el riesgo de que las personas pierdan capacidad real de supervisión sobre los sistemas más avanzados.
Frente a ese escenario, Anthropic planteó que el mundo debería contar con la posibilidad de ralentizar o pausar temporalmente el desarrollo de la IA de frontera.
La empresa sostuvo que esa pausa permitiría dar tiempo a la sociedad, a los gobiernos y a los investigadores para adaptar sus sistemas de control, seguridad y alineamiento al ritmo de avance tecnológico.
De todos modos, la compañía remarcó que una desaceleración solo sería efectiva si existe coordinación internacional entre los principales laboratorios de inteligencia artificial.
Para eso, el Instituto de Anthropic impulsará investigaciones y conversaciones con expertos, empresas, responsables políticos y organizaciones de la sociedad civil.
El objetivo será diseñar mecanismos que permitan verificar que todos los actores involucrados cumplan las mismas condiciones y que ninguna empresa o grupo malintencionado aproveche una pausa coordinada para avanzar en secreto.
Anthropic comparó este desafío con acuerdos internacionales de control tecnológico y militar, aunque reconoció que en el caso de la inteligencia artificial los tiempos son mucho más reducidos debido a la velocidad con la que evoluciona el sector.
La compañía anticipó que seguirá publicando resultados y propuestas para abordar los riesgos de la automejora recursiva de manera conjunta.
