Magma от Microsoft: Унифицированная модель ИИ для цифрового и физического взаимодействия

Microsoft Research представила Magma, интегрированную базовую модель ИИ, которая объединяет визуальную и языковую обработку для управления программными интерфейсами и роботизированными системами. В отличие от предыдущих систем ИИ, которые требуют отдельных моделей для восприятия и управления, Magma объединяет эти возможности в единую базовую модель. Microsoft позиционирует Magma как шаг к агентному ИИ, позволяя ему автономно планировать и выполнять сложные задачи. Magma основана на технологии LLM на основе трансформаторов, включающей пространственный интеллект посредством обучения с использованием изображений, видео, данных робототехники и взаимодействий с пользовательским интерфейсом. Это позволяет Magma действовать как действительно мультимодальный агент, способный перемещаться по пользовательским интерфейсам и манипулировать физическими объектами на основе целей, определенных пользователем.