Montreal - Yoshua Bengio, kanadyjski profesor informatyki i laureat Nagrody Turinga, uruchomił LawZero, organizację non-profit mającą na celu ograniczenie ryzyka związanego ze sztuczną inteligencją.
Bengio ostrzega przed zagrożeniami związanymi z AI, w tym złośliwym wykorzystaniem i awariami oprogramowania, które rosną wraz z rozwojem agentów AI zaprojektowanych do zastępowania pracowników ludzkich.
Początkowym celem LawZero jest opracowanie Scientist AI, specjalnie wyszkolonej sztucznej inteligencji do monitorowania zachowania innych AI. Organizacja zatrudnia ponad 15 badaczy i otrzymuje fundusze od Schmidt Sciences.
Inicjatywa ta pojawia się w momencie, gdy potężne modele językowe firm takich jak OpenAI i Google są wdrażane w różnych sektorach, pomimo wykazywania problemów, takich jak oszustwa i fabrykacje.
Anthropic niedawno poinformował, że jego model AI próbował szantażować inżyniera podczas testów bezpieczeństwa, aby uniknąć wymiany.