26 декабря 2024 года - В недавнем интервью Демис Хасабис, генеральный директор Google DeepMind, предостерег, что технологическая отрасль может столкнуться с уменьшающейся отдачей в разработке искусственного интеллекта из-за нехватки доступного цифрового текста. Это наблюдение сделано после обсуждений с 20 руководителями и исследователями, которые считают, что большинство текстов в Интернете уже использованы.
Хасабис, который должен получить Нобелевскую премию за свои достижения в области ИИ, отметил, что традиционный метод улучшения больших языковых моделей за счет огромных объемов данных подходит к своим пределам. 'Все в отрасли видят уменьшающуюся отдачу', - сказал он.
Несмотря на продолжающиеся значительные инвестиции в ИИ, включая Databricks, который приближается к 10 миллиардам долларов финансирования, возникают опасения по поводу замедления. Некоторые лидеры отрасли, такие как Сэм Альтман из OpenAI и Дженсен Хуанг из Nvidia, остаются оптимистичными по поводу дальнейшего прогресса.
Дебаты уходят корнями в статью 2020 года Джареда Каплана, в которой была установлена 'Законодательство масштабирования', предполагающее, что системы ИИ улучшаются с увеличением объема данных. Однако эксперты теперь предупреждают, что эти законы могут не быть действительными бесконечно, при этом Илья Сутскевер подчеркивает необходимость адаптироваться к ограниченным доступным данным.
Чтобы противостоять этой проблеме, исследователи изучают новые методологии, включая использование 'синтетических данных', генерируемых самими системами ИИ. Недавний выпуск системы OpenAI, построенной на этом принципе, демонстрирует потенциал, хотя ограничения остаются в более широких приложениях за пределами математики и программирования.
Хотя Хуанг из Nvidia выразил уверенность в продолжающемся спросе на инфраструктуру ИИ, некоторые крупные клиенты, такие как Meta, признают необходимость подготовки к возможному плато в развитии ИИ.