Les dirigeants du secteur de l'IA réévaluent l'approche traditionnelle qui consiste à utiliser d'énormes quantités de données pour former des modèles de langage (LLM). Des leaders de l'industrie, provenant d'entreprises comme OpenAI, Meta et Google, explorent des méthodes de formation plus efficaces alors que des inquiétudes grandissent concernant les limites des pratiques de mise à l'échelle actuelles.
Historiquement, l'hypothèse a été que plus de données mènent à des modèles plus intelligents. Cependant, des experts comme Alexandr Wang, PDG de Scale AI, soulignent que l'industrie remet désormais en question la pérennité de cette loi de mise à l'échelle. Aidan Gomez, PDG de Cohere, décrit la méthode actuelle comme 'insensée', plaidant pour des modèles plus petits, à la fois rentables et efficaces.
Richard Socher, ancien dirigeant de Salesforce, propose une méthode de formation alternative qui consiste à traduire les questions en code informatique, ce qui pourrait réduire les inexactitudes et améliorer les capacités des modèles. Bien que certains pensent que l'industrie approche d'un mur de mise à l'échelle, le CTO de Microsoft, Kevin Scott, soutient que des retours significatifs sur la mise à l'échelle sont encore possibles.
La récente sortie d'OpenAI, o1, vise à améliorer les modèles existants en se concentrant sur les questions quantitatives, bien qu'elle nécessite plus de puissance de calcul et soit plus lente que son prédécesseur, ChatGPT. L'évolution continue des méthodes de formation en IA reflète un changement critique dans l'industrie alors qu'elle cherche à progresser vers des systèmes plus intelligents.