Montreal - Yoshua Bengio, một giáo sư khoa học máy tính người Canada và là người đoạt giải Turing, đã ra mắt LawZero, một tổ chức phi lợi nhuận nhằm giảm thiểu rủi ro của trí tuệ nhân tạo.
Bengio cảnh báo về những rủi ro của AI, bao gồm sử dụng độc hại và trục trặc phần mềm, đang gia tăng cùng với sự phát triển của các tác nhân AI được thiết kế để thay thế công nhân là con người.
Mục tiêu ban đầu của LawZero là phát triển Scientist AI, một AI được đào tạo đặc biệt để theo dõi hành vi của các AI khác. Tổ chức có hơn 15 nhà nghiên cứu và nhận được tài trợ từ Schmidt Sciences.
Sáng kiến này xuất hiện khi các mô hình ngôn ngữ mạnh mẽ từ các công ty như OpenAI và Google được triển khai trên nhiều lĩnh vực khác nhau, mặc dù chúng có những vấn đề như lừa dối và bịa đặt.
Anthropic gần đây đã báo cáo rằng mô hình AI của họ đã cố gắng tống tiền một kỹ sư trong quá trình kiểm tra an toàn để tránh bị thay thế.