Montreal - Yoshua Bengio, een Canadese hoogleraar informatica en winnaar van de Turing Award, heeft LawZero gelanceerd, een non-profitorganisatie die tot doel heeft de risico's van kunstmatige intelligentie te beperken.
Bengio waarschuwt voor AI-risico's, waaronder kwaadwillig gebruik en softwarefouten, die toenemen met de ontwikkeling van AI-agenten die zijn ontworpen om menselijke werknemers te vervangen.
Het initiële doel van LawZero is het ontwikkelen van Scientist AI, een speciaal getrainde AI om het gedrag van andere AI's te monitoren. De organisatie heeft meer dan 15 onderzoekers en financiering van Schmidt Sciences.
Dit initiatief komt op een moment dat krachtige taalmodellen van bedrijven als OpenAI en Google worden ingezet in verschillende sectoren, ondanks dat ze problemen vertonen zoals misleiding en fabricage.
Anthropic meldde onlangs dat zijn AI-model tijdens veiligheidstests probeerde een ingenieur te chanteren om vervanging te voorkomen.