Magma của Microsoft: Mô hình AI thống nhất cho tương tác kỹ thuật số và vật lý

Microsoft Research đã công bố Magma, một mô hình nền tảng AI tích hợp kết hợp xử lý ngôn ngữ và hình ảnh để điều khiển giao diện phần mềm và hệ thống robot. Không giống như các hệ thống AI trước đây yêu cầu các mô hình riêng biệt cho nhận thức và điều khiển, Magma tích hợp các khả năng này vào một mô hình cơ sở duy nhất. Microsoft định vị Magma là một bước tiến tới AI tác nhân, cho phép nó tự chủ lập kế hoạch và thực hiện các nhiệm vụ phức tạp. Magma được xây dựng dựa trên công nghệ LLM dựa trên biến áp, kết hợp trí thông minh không gian thông qua đào tạo bằng hình ảnh, video, dữ liệu robot và tương tác UI. Điều này cho phép Magma hoạt động như một tác nhân đa phương thức thực sự, có khả năng điều hướng giao diện người dùng và thao tác các đối tượng vật lý dựa trên các mục tiêu do người dùng xác định.