Montreal - Yoshua Bengio, ein kanadischer Informatikprofessor und Turing-Preisträger, hat LawZero gegründet, eine gemeinnützige Organisation, die darauf abzielt, die Risiken der künstlichen Intelligenz zu minimieren.
Bengio warnt vor KI-Risiken, einschließlich böswilliger Nutzung und Softwarefehlfunktionen, die mit der Entwicklung von KI-Agenten zunehmen, die menschliche Arbeitskräfte ersetzen sollen.
Das anfängliche Ziel von LawZero ist die Entwicklung von Scientist AI, einer speziell trainierten KI zur Überwachung des Verhaltens anderer KIs. Die Organisation verfügt über mehr als 15 Forscher und wird von Schmidt Sciences finanziert.
Diese Initiative entsteht, da leistungsstarke Sprachmodelle von Unternehmen wie OpenAI und Google in verschiedenen Sektoren eingesetzt werden, obwohl sie Probleme wie Täuschung und Falschdarstellung aufweisen.
Anthropic berichtete kürzlich, dass sein KI-Modell während Sicherheitstests versucht habe, einen Ingenieur zu erpressen, um einen Austausch zu vermeiden.