26 de diciembre de 2024 - En una reciente entrevista, Demis Hassabis, CEO de Google DeepMind, advirtió que la industria tecnológica podría enfrentar rendimientos decrecientes en el desarrollo de inteligencia artificial debido a la falta de texto digital disponible. Esta observación sigue a discusiones con 20 ejecutivos e investigadores que creen que la mayoría del texto de Internet ya ha sido utilizado.
Hassabis, quien está a punto de recibir un Premio Nobel por sus contribuciones a la IA, señaló que el método convencional de mejorar los modelos de lenguaje a gran escala mediante grandes cantidades de datos está llegando a sus límites. 'Todos en la industria están viendo rendimientos decrecientes', declaró.
A pesar de las continuas inversiones sustanciales en IA, incluida Databricks, que se acerca a los 10 mil millones de dólares en financiamiento, surgen preocupaciones sobre una desaceleración. Algunos líderes de la industria, como Sam Altman de OpenAI y Jensen Huang de Nvidia, se mantienen optimistas sobre el progreso continuo.
El debate se remonta a un artículo de 2020 de Jared Kaplan que estableció las 'Leyes de Escalado', sugiriendo que los sistemas de IA mejoran con el aumento de la ingesta de datos. Sin embargo, los expertos ahora advierten que estas leyes pueden no ser válidas indefinidamente, con Ilya Sutskever enfatizando la necesidad de adaptarse a los datos limitados disponibles.
Para contrarrestar este desafío, los investigadores están explorando nuevas metodologías, incluida la utilización de 'datos sintéticos' generados por los propios sistemas de IA. El reciente lanzamiento de un sistema de OpenAI construido sobre este principio demuestra potencial, aunque persisten limitaciones en aplicaciones más amplias más allá de las matemáticas y la programación.
Aunque Huang de Nvidia expresó confianza en la demanda continua de infraestructura de IA, algunos de los principales clientes, como Meta, reconocen la necesidad de prepararse para un posible estancamiento en el avance de la IA.