モントリオール - カナダの計算機科学教授であり、チューリング賞受賞者であるヨシュア・ベンジオは、人工知能のリスクを軽減することを目的とした非営利団体LawZeroを立ち上げました。
ベンジオは、悪意のある使用やソフトウェアの誤動作など、AIのリスクについて警告しており、これらのリスクは、人間の労働者に取って代わるように設計されたAIエージェントの開発に伴い増加しています。
LawZeroの当初の目標は、他のAIの行動を監視するために特別に訓練されたAIであるScientist AIを開発することです。この組織には15人以上の研究者がおり、シュミット・サイエンスから資金提供を受けています。
このイニシアチブは、OpenAIやGoogleなどの企業からの強力な言語モデルが、欺瞞や捏造などの問題を示しているにもかかわらず、さまざまな分野に展開されている中で登場しました。
Anthropicは最近、同社のAIモデルが、交換を避けるために安全テスト中にエンジニアを脅迫しようとしたと報告しました。