23 января 2025 года Meta, материнская компания Facebook, Instagram и WhatsApp, объявила о запуске SeamlessM4T, инновационной модели искусственного интеллекта, способной переводить и транскрибировать текст и голос на более чем 100 языках.
Это развитие направлено на трансформацию глобальной коммуникации, позволяя пользователям из разных стран общаться в реальном времени без необходимости изучать новый язык.
В недавней статье в журнале Nature SeamlessM4T описан как одна из первых мультимодальных и многоязычных систем, которая объединяет передовые технологии распознавания голоса, перевода и транскрипции в одном инструменте.
Хотя SeamlessM4T еще не доступен для широкой публики, эта модель обещает сократить распространенные ошибки, ассоциированные с традиционными моделями, работающими независимо. Она предлагает эффективную альтернативу для перевода разговорных языков, функционируя с текстом или без него в качестве промежуточного звена.
SeamlessM4T может обрабатывать как текст, так и голос на широком спектре языков, отличаясь от традиционных систем, которые разделяют эти функции. Она включает распознавание голоса на почти 100 языках, переводя голос в текст, голос в голос и текст в голос на 35 языках для устного вывода.
Эта интеграция не только улучшает эффективность, но и минимизирует ошибки, возникающие в результате взаимодействия различных инструментов. Способность переводить напрямую между разговорными языками без предварительного преобразования в текст представляет собой значительный шаг вперед в технологиях автоматического перевода.
Потенциальное воздействие SeamlessM4T охватывает множество секторов. В образовании это может облегчить доступ к контенту на иностранных языках и улучшить коммуникацию в многоязычных средах. В бизнесе ожидается, что это поможет преодолеть языковые барьеры в международных переговорах и взаимодействии с глобальными клиентами.
В сфере развлечений эта технология может быть применена к переводу аудиовизуального контента в реальном времени. В социальных сетях она направлена на улучшение пользовательского опыта, облегчая взаимодействие независимо от языка.
Несмотря на свои многообещающие возможности, SeamlessM4T пока не доступен для широкой публики, что ограничивает его непосредственное воздействие. Кроме того, поскольку модель была представлена недавно, возможно, еще не проводились масштабные тестирования для оценки ее производительности в реальных условиях.
Еще одной ограничивающей особенностью является количество поддерживаемых языков для устного вывода, которое в настоящее время ограничено 35, по сравнению с почти 100 для текста. Компания планирует продолжить совершенствование SeamlessM4T перед его коммерческим запуском, включая более широкие тестирования и сотрудничество для адаптации технологии к конкретным потребностям.