Magma di Microsoft: un modello AI unificato per l'interazione digitale e fisica

Microsoft Research ha presentato Magma, un modello di base AI integrato che combina l'elaborazione visiva e del linguaggio per controllare interfacce software e sistemi robotici. A differenza dei precedenti sistemi AI che richiedono modelli separati per la percezione e il controllo, Magma integra queste capacità in un unico modello base. Microsoft posiziona Magma come un passo verso l'AI agentiva, consentendogli di pianificare ed eseguire autonomamente compiti complessi. Magma si basa sulla tecnologia LLM basata su trasformatori, incorporando l'intelligenza spaziale attraverso l'addestramento con immagini, video, dati di robotica e interazioni UI. Ciò consente a Magma di agire come un agente veramente multimodale, in grado di navigare nelle interfacce utente e manipolare oggetti fisici in base agli obiettivi definiti dall'utente.