01、概述

近日，微軟研究團(tuán)隊(duì)發(fā)布了一個(gè)令人振奮的突破性成果——Magma。這一多模態(tài)AI基礎(chǔ)模型的問(wèn)世，不僅為未來(lái)的智能機(jī)器人與虛擬助手鋪設(shè)了新道路，也讓我們看到了數(shù)字世界與物理世界深度融合的曙光。今天，就讓我們一起深入了解這個(gè)能跨越不同任務(wù)和環(huán)境的智能系統(tǒng)，它如何為我們創(chuàng)造出前所未有的可能性。

想象未來(lái)的AI助手：數(shù)字與物理的無(wú)縫連接

在科幻小說(shuō)中，我們常?？吹竭@樣的場(chǎng)景：一名機(jī)器人不僅能流暢地操作電腦，完成復(fù)雜的菜單導(dǎo)航，還能夠通過(guò)物理手段完成操作，比如拿起工具、搬動(dòng)物品等。一直以來(lái)，這種跨越數(shù)字和物理世界的能力，似乎離我們很遠(yuǎn)，但今天，微軟研究團(tuán)隊(duì)的Magma模型讓這一夢(mèng)想變得越來(lái)越真實(shí)。

Magma是一個(gè)多模態(tài)AI基礎(chǔ)模型，其設(shè)計(jì)初衷就是讓人工智能能夠處理并生成跨越數(shù)字和物理環(huán)境的行動(dòng)建議。這意味著，Magma不僅能理解和操作用戶界面，還能夠協(xié)調(diào)機(jī)器人在現(xiàn)實(shí)世界中的動(dòng)作與交互。它的能力讓我們不禁期待：未來(lái)，是否每個(gè)人都能擁有一個(gè)既能在電腦上操作系統(tǒng)，又能與現(xiàn)實(shí)世界中的物品互動(dòng)的AI助手？

02、Magma的強(qiáng)大之處：一體化的多模態(tài)學(xué)習(xí)

與傳統(tǒng)的任務(wù)專(zhuān)用AI模型不同，Magma是建立在“基礎(chǔ)模型”這一理念上的，通過(guò)在海量多樣的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，使得它在多種任務(wù)和環(huán)境下都能夠表現(xiàn)出色。無(wú)論是執(zhí)行軟件中的指令，還是在物理世界中拿起工具，它都能輕松應(yīng)對(duì)。這一切都?xì)w功于它的**視覺(jué)-語(yǔ)言-行動(dòng)（VLA）**能力，能夠?qū)D像、語(yǔ)言和空間信息綜合起來(lái)，從而理解并執(zhí)行復(fù)雜的任務(wù)。

例如，Magma能夠根據(jù)用戶描述的目標(biāo)，制定執(zhí)行計(jì)劃并完成任務(wù)。它通過(guò)從公共的視覺(jué)和語(yǔ)言數(shù)據(jù)中轉(zhuǎn)移知識(shí)，使得它不僅能理解語(yǔ)言指令，還能理解空間和時(shí)間維度的關(guān)系，完美地將這三者融合在一起，解決復(fù)雜的任務(wù)和場(chǎng)景。

03、為Magma賦能的兩大創(chuàng)新：SoM和ToM

為了讓Magma能夠在數(shù)字世界和物理世界之間自由切換，微軟團(tuán)隊(duì)引入了兩項(xiàng)創(chuàng)新技術(shù)——Set-of-Mark (SoM) 和 Trace-of-Mark (ToM)。這兩項(xiàng)技術(shù)在訓(xùn)練過(guò)程中為模型提供了結(jié)構(gòu)化的任務(wù)理解，使得Magma能夠在用戶界面導(dǎo)航和機(jī)器人操作兩個(gè)領(lǐng)域都表現(xiàn)得尤為出色。

Set-of-Mark (SoM)：任務(wù)中的關(guān)鍵元素

SoM為模型提供了任務(wù)相關(guān)的關(guān)鍵元素集，幫助Magma在處理圖像時(shí)快速識(shí)別出“需要關(guān)注的部分”。比如，當(dāng)任務(wù)是瀏覽網(wǎng)頁(yè)時(shí)，SoM會(huì)標(biāo)注出所有可點(diǎn)擊的界面元素，如按鈕和鏈接。對(duì)于物理任務(wù)，比如擺放餐具，SoM則會(huì)標(biāo)記出盤(pán)子、杯子及其在桌子上的位置。這些高層次的提示讓Magma知道哪些物品或元素在完成任務(wù)中至關(guān)重要。

Trace-of-Mark (ToM)：任務(wù)的動(dòng)態(tài)變化

與SoM的靜態(tài)標(biāo)注不同，ToM則專(zhuān)注于捕捉任務(wù)中元素的動(dòng)態(tài)變化。例如，在搬動(dòng)物品的任務(wù)中，ToM會(huì)記錄手的運(yùn)動(dòng)軌跡，幫助Magma更好地理解動(dòng)作的時(shí)間和空間演變。這種基于時(shí)間的視頻動(dòng)態(tài)追蹤能力，使得Magma能夠在多變的環(huán)境中進(jìn)行更為精準(zhǔn)的任務(wù)預(yù)測(cè)和決策。

04、Magma亮點(diǎn)

零-shot智能：讓AI跨越領(lǐng)域與任務(wù)

Magma的另一個(gè)亮點(diǎn)在于其零-shot（零次訓(xùn)練）能力。在沒(méi)有任何針對(duì)特定任務(wù)的數(shù)據(jù)集微調(diào)的情況下，Magma能夠進(jìn)行跨領(lǐng)域的任務(wù)執(zhí)行。例如，在模擬的Google Robots環(huán)境中，Magma能夠出色地完成不同類(lèi)型的機(jī)器人操作任務(wù)，表現(xiàn)甚至優(yōu)于許多專(zhuān)門(mén)為某一領(lǐng)域訓(xùn)練的AI模型。

這一突破性的能力，讓Magma在多種應(yīng)用場(chǎng)景下都能展現(xiàn)強(qiáng)大的適應(yīng)性和靈活性。從虛擬助手到家庭機(jī)器人，Magma都能在沒(méi)有大量標(biāo)注數(shù)據(jù)的支持下，實(shí)現(xiàn)出色的任務(wù)完成效果。

高效微調(diào)：提升模型執(zhí)行能力

雖然Magma在零-shot模式下表現(xiàn)出色，但它也具備高效微調(diào)的能力。當(dāng)任務(wù)需要更多定制化操作時(shí)，Magma能夠通過(guò)少量的數(shù)據(jù)微調(diào)，迅速適應(yīng)新的環(huán)境或任務(wù)要求。例如，在Web用戶界面導(dǎo)航任務(wù)中，Magma通過(guò)在少量的網(wǎng)頁(yè)數(shù)據(jù)集上進(jìn)行微調(diào)，表現(xiàn)出了比其他專(zhuān)門(mén)訓(xùn)練的模型更高的成功率。

圖5中顯示的Widow-X機(jī)器人和LIBERO機(jī)器人的微調(diào)實(shí)驗(yàn)，進(jìn)一步證明了Magma在實(shí)際應(yīng)用中的強(qiáng)大性能。即使在面對(duì)不同機(jī)器人硬件的情況下，Magma依然能夠順利完成任務(wù)，并且表現(xiàn)出比其他方法更高的成功率。

05、Magma的未來(lái)：通向全面智能的關(guān)鍵一步

Magma不僅僅是一個(gè)AI模型，它代表了微軟研究對(duì)于未來(lái)智能體系統(tǒng)的整體構(gòu)想。通過(guò)結(jié)合推理能力、探索能力和行動(dòng)能力，Magma正在為下一代強(qiáng)大且靈活的AI助手奠定基礎(chǔ)。未來(lái)，開(kāi)發(fā)者將能夠通過(guò)Magma與AutoGen結(jié)合，構(gòu)建出能夠在現(xiàn)實(shí)世界中執(zhí)行復(fù)雜任務(wù)的智能系統(tǒng)，無(wú)論是虛擬助手還是智能機(jī)器人。

06、結(jié)語(yǔ)：邁向智能新時(shí)代

Magma的發(fā)布，標(biāo)志著微軟在智能體AI領(lǐng)域的又一重大突破。通過(guò)跨越數(shù)字和物理世界，Magma讓我們看到了一個(gè)全新的AI應(yīng)用場(chǎng)景：不僅能理解語(yǔ)言和視覺(jué)，還能在物理世界中進(jìn)行準(zhǔn)確的操作。隨著技術(shù)的不斷進(jìn)步，未來(lái)的智能體將能夠更好地理解和適應(yīng)我們的生活環(huán)境，成為更加強(qiáng)大而智能的助手。

對(duì)于開(kāi)發(fā)者而言，Magma和AutoGen的結(jié)合，提供了一個(gè)極為強(qiáng)大的工具，幫助他們?cè)诟鼜V泛的場(chǎng)景中實(shí)現(xiàn)AI的應(yīng)用。無(wú)論是家庭助手，還是工業(yè)機(jī)器人，Magma都將帶來(lái)更高效、更精準(zhǔn)的任務(wù)執(zhí)行能力。

作為微軟研究的最新成果，Magma無(wú)疑為我們展示了未來(lái)人工智能的無(wú)限潛力。隨著這一技術(shù)的不斷迭代和應(yīng)用，我們有理由相信，智能世界的到來(lái)不再遙遠(yuǎn)。

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/pxv7voHFTW1Ob6c4qC5TVg??