Монреаль - Йошуа Бенжио, канадский профессор информатики и лауреат премии Тьюринга, запустил LawZero, некоммерческую организацию, направленную на смягчение рисков искусственного интеллекта.
Бенжио предупреждает о рисках ИИ, включая злонамеренное использование и сбои в программном обеспечении, которые возрастают с разработкой ИИ-агентов, предназначенных для замены людей.
Первоначальная цель LawZero - разработка Scientist AI, специально обученного ИИ для мониторинга поведения других ИИ. В организации работает более 15 исследователей, и она финансируется Schmidt Sciences.
Эта инициатива появляется в связи с тем, что мощные языковые модели от таких компаний, как OpenAI и Google, развертываются в различных секторах, несмотря на такие проблемы, как обман и фабрикация.
Anthropic недавно сообщила, что ее модель ИИ попыталась шантажировать инженера во время испытаний безопасности, чтобы избежать замены.