3 月 8 日消息，周一，來(lái)自谷歌和柏林工業(yè)大學(xué)的一組人工智能研究人員推出了史上最大的視覺(jué)語(yǔ)言模型 ——PaLM-E，參數(shù)量高達(dá) 5620 億（GPT-3 的參數(shù)量為 1750 億）。

??

PaLM-E 是迄今為止已知的最大 VLM（視覺(jué)語(yǔ)言模型）。作為一種多模態(tài)具身 VLM，它不僅可以理解圖像，還能理解、生成語(yǔ)言，執(zhí)行各種復(fù)雜的機(jī)器人指令而無(wú)需重新訓(xùn)練。它還展示出了強(qiáng)大的涌現(xiàn)能力（模型有不可預(yù)測(cè)的表現(xiàn)）。

據(jù)谷歌稱，當(dāng)?shù)玫揭粋€(gè)高級(jí)命令，如“把抽屜里的米片拿給我”，PaLM-E 可以為帶有手臂的移動(dòng)機(jī)器人平臺(tái)（由谷歌機(jī)器人公司開(kāi)發(fā)）生成一個(gè)行動(dòng)計(jì)劃，并自行執(zhí)行這些行動(dòng)。

PaLM-E 通過(guò)分析來(lái)自機(jī)器人攝像頭的數(shù)據(jù)來(lái)實(shí)現(xiàn)這一目標(biāo)，而無(wú)需對(duì)場(chǎng)景進(jìn)行預(yù)處理。這消除了人類對(duì)數(shù)據(jù)進(jìn)行預(yù)處理或注釋的需要，使機(jī)器人控制更加自主。

PaLM-E 還很有彈性，能夠?qū)Νh(huán)境做出反應(yīng)。例如，PaLM-E 模型可以引導(dǎo)機(jī)器人從廚房里拿一袋薯片，由于 PaLM-E 集成到了控制回路中，它對(duì)任務(wù)中可能發(fā)生的中斷有了抵抗力。在一個(gè)視頻例子中，一名研究人員從機(jī)器人手中抓起薯片并移動(dòng)它們，但機(jī)器人找到了薯片并再次抓起它們。

另外，PaLM-E 模型也可控制機(jī)器人自主完成原需人類指導(dǎo)的復(fù)雜任務(wù)。除了機(jī)器人技術(shù)外，谷歌研究人員還觀察到使用大型語(yǔ)言模型作為 PaLM-E 核心的幾個(gè)有趣效果，其中一個(gè)是 PaLM-E 能表現(xiàn)出“正向轉(zhuǎn)移”，這意味其可將從一個(gè)任務(wù)中學(xué)到的知識(shí)和技能轉(zhuǎn)移到另一個(gè)任務(wù)中，相較單任務(wù)機(jī)器人模型能有更好的表現(xiàn)。

谷歌研究人員計(jì)劃未來(lái)將探索 PaLM-E 在現(xiàn)實(shí)世界中有更多應(yīng)用，例如家庭自動(dòng)化或工業(yè)機(jī)器人，也希望 PaLM-E 能夠激發(fā)更多關(guān)于多模態(tài) AI 的應(yīng)用。

IT之家曾報(bào)道，??身為谷歌 AI 勁敵的微軟近期也發(fā)表了「ChatGPT for Robotics」的論文??，以類似的方式結(jié)合視覺(jué)數(shù)據(jù)和大型語(yǔ)言模型來(lái)控制機(jī)器人。