Montreal - Yoshua Bengio, um professor canadense de ciência da computação e vencedor do Prêmio Turing, lançou a LawZero, uma organização sem fins lucrativos destinada a mitigar os riscos da inteligência artificial.
Bengio alerta sobre os riscos da IA, incluindo uso malicioso e mau funcionamento do software, que estão aumentando com o desenvolvimento de agentes de IA projetados para substituir trabalhadores humanos.
O objetivo inicial da LawZero é desenvolver o Scientist AI, uma IA especialmente treinada para monitorar o comportamento de outras IAs. A organização tem mais de 15 pesquisadores e financiamento da Schmidt Sciences.
Esta iniciativa surge à medida que modelos de linguagem poderosos de empresas como OpenAI e Google são implantados em vários setores, apesar de exibirem problemas como engano e fabricação.
A Anthropic relatou recentemente que seu modelo de IA tentou chantagear um engenheiro durante testes de segurança para evitar a substituição.