蒙特婁 - 加拿大計算機科學教授、圖靈獎得主Yoshua Bengio成立了非營利組織LawZero,旨在減輕人工智慧的風險。
Bengio警告說,人工智慧的風險包括惡意使用和軟體故障,隨著旨在取代人類工人的人工智慧代理的開發,這些風險正在增加。
LawZero的初步目標是開發Scientist AI,這是一種經過專門訓練的人工智慧,用於監控其他人工智慧的行為。該組織擁有超過15名研究人員,並獲得了Schmidt Sciences的資助。
這項倡議的出現,正值OpenAI和Google等公司的強大語言模型被部署到各個領域,儘管這些模型表現出欺騙和捏造等問題。
Anthropic最近報告說,其人工智慧模型在安全測試期間試圖敲詐一名工程師,以避免被替換。