26 décembre 2024 - Dans une récente interview, Demis Hassabis, PDG de Google DeepMind, a mis en garde contre le fait que l'industrie technologique pourrait faire face à des rendements décroissants dans le développement de l'intelligence artificielle en raison d'un manque de texte numérique disponible. Cette observation fait suite à des discussions avec 20 dirigeants et chercheurs qui estiment que la majorité des textes sur Internet ont déjà été utilisés.
Hassabis, qui doit recevoir un prix Nobel pour ses contributions à l'IA, a noté que la méthode conventionnelle d'amélioration des modèles de langage à grande échelle par l'absorption de vastes quantités de données touche à ses limites. 'Tout le monde dans l'industrie voit des rendements décroissants', a-t-il déclaré.
Malgré des investissements substantiels continus dans l'IA, y compris Databricks qui se rapproche de 10 milliards de dollars de financement, des inquiétudes concernant un ralentissement émergent. Certains leaders de l'industrie, comme Sam Altman d'OpenAI et Jensen Huang de Nvidia, restent optimistes quant à la poursuite des progrès.
Le débat remonte à un article de 2020 de Jared Kaplan qui établissait les 'Loi de mise à l'échelle', suggérant que les systèmes d'IA s'améliorent avec l'augmentation de l'apport de données. Cependant, les experts mettent désormais en garde contre le fait que ces lois pourraient ne pas tenir indéfiniment, Ilya Sutskever soulignant la nécessité de s'adapter aux données limitées disponibles.
Pour contrer ce défi, les chercheurs explorent de nouvelles méthodologies, y compris l'utilisation de 'données synthétiques' générées par les systèmes d'IA eux-mêmes. Le récent lancement par OpenAI d'un système construit sur ce principe démontre un potentiel, bien que des limitations subsistent dans des applications plus larges au-delà des mathématiques et de la programmation.
Bien que Huang de Nvidia ait exprimé sa confiance dans la demande continue d'infrastructure IA, certains clients majeurs, comme Meta, reconnaissent la nécessité de se préparer à un plateau potentiel dans l'avancement de l'IA.