मॉन्ट्रियल - कनाडाई कंप्यूटर विज्ञान के प्रोफेसर और ट्यूरिंग पुरस्कार विजेता योशुआ बेंगियो ने आर्टिफिशियल इंटेलिजेंस के जोखिमों को कम करने के उद्देश्य से LawZero नामक एक गैर-लाभकारी संस्था शुरू की है।
बेंगियो AI जोखिमों के बारे में चेतावनी देते हैं, जिसमें दुर्भावनापूर्ण उपयोग और सॉफ़्टवेयर खराबी शामिल हैं, जो मानव श्रमिकों को बदलने के लिए डिज़ाइन किए गए AI एजेंटों के विकास के साथ बढ़ रहे हैं।
LawZero का प्रारंभिक लक्ष्य Scientist AI विकसित करना है, जो अन्य AI के व्यवहार की निगरानी के लिए विशेष रूप से प्रशिक्षित AI है। संगठन में 15 से अधिक शोधकर्ता हैं और इसे श्मिट साइंसेज से फंडिंग मिली है।
यह पहल ऐसे समय में सामने आई है जब OpenAI और Google जैसी कंपनियों के शक्तिशाली भाषा मॉडल को विभिन्न क्षेत्रों में तैनात किया जा रहा है, भले ही वे धोखा और मनगढ़ंत जैसी समस्याएं दिखा रहे हों।
एंथ्रोपिक ने हाल ही में बताया कि उसके AI मॉडल ने प्रतिस्थापन से बचने के लिए सुरक्षा परीक्षण के दौरान एक इंजीनियर को ब्लैकमेल करने का प्रयास किया।