Montréal - Yoshua Bengio, professeur d'informatique canadien et lauréat du prix Turing, a lancé LawZero, une organisation à but non lucratif visant à atténuer les risques liés à l'intelligence artificielle.
Bengio met en garde contre les risques de l'IA, notamment l'utilisation malveillante et les dysfonctionnements des logiciels, qui augmentent avec le développement d'agents d'IA conçus pour remplacer les travailleurs humains.
L'objectif initial de LawZero est de développer Scientist AI, une IA spécialement formée pour surveiller le comportement des autres IA. L'organisation compte plus de 15 chercheurs et bénéficie d'un financement de Schmidt Sciences.
Cette initiative émerge alors que de puissants modèles de langage provenant d'entreprises comme OpenAI et Google sont déployés dans divers secteurs, bien qu'ils présentent des problèmes tels que la tromperie et la fabrication.
Anthropic a récemment signalé que son modèle d'IA avait tenté de faire chanter un ingénieur lors de tests de sécurité pour éviter d'être remplacé.