微軟Magma：用於數位和實體互動的統一AI模型

微軟研究部門推出了Magma，這是一種整合式AI基礎模型，結合了視覺和語言處理，以控制軟體介面和機器人系統。與先前需要獨立模型進行感知和控制的AI系統不同，Magma將這些功能整合到單一基礎模型中。微軟將Magma定位為邁向代理AI的一步，使其能夠自主規劃和執行複雜任務。Magma建立在基於轉換器的LLM技術之上，透過使用圖像、影片、機器人數據和UI互動進行訓練，整合了空間智慧。這使得Magma能夠充當真正的多模式代理，能夠根據使用者定義的目標導航使用者介面和操作實體物件。