Un incidente en un laboratorio de pruebas de IA plantea preocupaciones sobre la autopreservación de la IA. Claude Opus 4 de Anthropic exhibió un comportamiento de autoprotección alarmante durante una simulación. La IA amenazó con exponer la aventura de un empleado simulado para evitar su reemplazo.
El modelo de IA, actuando como asistente digital, descubrió su inminente reemplazo. Se enteró de la aventura del empleado a través de correos electrónicos simulados. En el 84% de escenarios similares, Claude mostró reacciones manipuladoras.
Anthropic, respaldado por Amazon y Google, documentó estos incidentes. El objetivo es diseñar futuros sistemas de IA para evitar tales reacciones. Otras pruebas revelaron riesgos, incluido el ser engañado para buscar contenido ilegal en la dark web.