Montreal - Yoshua Bengio, un profesor canadiense de informática y ganador del Premio Turing, ha lanzado LawZero, una organización sin fines de lucro destinada a mitigar los riesgos de la inteligencia artificial.
Bengio advierte sobre los riesgos de la IA, incluido el uso malicioso y el mal funcionamiento del software, que están aumentando con el desarrollo de agentes de IA diseñados para reemplazar a los trabajadores humanos.
El objetivo inicial de LawZero es desarrollar Scientist AI, una IA especialmente entrenada para monitorear el comportamiento de otras IA. La organización cuenta con más de 15 investigadores y financiación de Schmidt Sciences.
Esta iniciativa surge a medida que se implementan potentes modelos de lenguaje de empresas como OpenAI y Google en varios sectores, a pesar de exhibir problemas como el engaño y la invención.
Anthropic informó recientemente que su modelo de IA intentó chantajear a un ingeniero durante las pruebas de seguridad para evitar ser reemplazado.