在人工智能領(lǐng)域，大模型控制智能體是大勢所趨。智能體賦予大模型物理實體，使其具備與真實物理世界感知交互的能力。同時，借助于大模型，智能體能夠獲得更強(qiáng)大的感知、決策和執(zhí)行能力，使其具備更高的自主性和適應(yīng)性。這項研究能夠推動機(jī)器人和自動化行業(yè)的發(fā)展，從而創(chuàng)造出更多的就業(yè)機(jī)會和經(jīng)濟(jì)增長。 

在此背景下，李學(xué)龍團(tuán)隊提出了一種大模型驅(qū)動的異構(gòu)智能體協(xié)同控制算法框架，利用大模型調(diào)度多種智能體自主協(xié)作，實現(xiàn)了「機(jī)器人總動員」。

所提框架可將一個跨場景、跨智能體的復(fù)雜任務(wù)，通過語義任務(wù)解析拆分成異構(gòu)智能體協(xié)同執(zhí)行的多個子任務(wù)，然后通過無人機(jī)集群、機(jī)器狗、機(jī)械臂的聯(lián)合控制，共同完成指定任務(wù)，具備高層語義理解能力、自身技能認(rèn)知能力和復(fù)雜任務(wù)執(zhí)行能力。

懂所思、知所能、行所意，是大模型驅(qū)動多智能體協(xié)作的主要能力。

懂所思：高層語義理解能力

如何充分發(fā)揮大模型的語義理解能力，讓無人機(jī)、機(jī)器狗、機(jī)械臂等人造智能體能夠根據(jù)輸入的自然語言分工合作，是智能體在現(xiàn)實場景中執(zhí)行復(fù)雜任務(wù)的前提條件。

針對該問題，團(tuán)隊利用國產(chǎn)大模型作為語義理解底座，以無人機(jī)集群、機(jī)器狗、機(jī)械臂三種異構(gòu)智能體作為協(xié)同控制平臺，設(shè)計了融合環(huán)境信息與自身狀態(tài)的多模態(tài)大模型交互框架，實現(xiàn)了對任務(wù)理解、硬件控制、協(xié)調(diào)合作等復(fù)雜需求的語義解析。

知所能：自身技能認(rèn)知能力

智能體的行為能力易受周圍環(huán)境、自身機(jī)械結(jié)構(gòu)等限制因素的影響。如何在多變的外界環(huán)境下讓智能體準(zhǔn)確地認(rèn)知當(dāng)前自身的行為能力，是多種智能體協(xié)同的關(guān)鍵環(huán)節(jié)。

為了實現(xiàn)這一目標(biāo)，團(tuán)隊提出了異構(gòu)智能體通用中層技能認(rèn)知算法，實現(xiàn)了異構(gòu)智能體集群的精細(xì)協(xié)同控制。在此基礎(chǔ)上，智能體通過自主環(huán)境感知、自身狀態(tài)建模、協(xié)同運(yùn)動規(guī)劃，自適應(yīng)地調(diào)整多種智能體的技能執(zhí)行。

行所意：復(fù)雜任務(wù)執(zhí)行能力

為了完成復(fù)雜任務(wù)目標(biāo)，異構(gòu)智能體協(xié)作需要依據(jù)子任務(wù)間的依賴關(guān)系和環(huán)境約束，設(shè)計安全合理的子任務(wù)執(zhí)行次序和方式。

針對該問題，團(tuán)隊設(shè)計了多智能體閉環(huán)反饋的任務(wù)協(xié)作機(jī)制，實現(xiàn)了異構(gòu)智能體在任務(wù)執(zhí)行層面的自主協(xié)同。

在多種智能體集群協(xié)作過程中，智能體向任務(wù)語義解析模塊報告子任務(wù)執(zhí)行狀態(tài)，形成任務(wù)分配與執(zhí)行動態(tài)閉環(huán)，實現(xiàn)任務(wù)目標(biāo)導(dǎo)向的智能體高效協(xié)同。

該成果是大模型算法和智能體硬件交叉的創(chuàng)新性研究，實現(xiàn)了用更自然、更直觀的方式進(jìn)行多種智能體集群控制，降低了人機(jī)交互的門檻。

同時，該研究也將促進(jìn)異構(gòu)智能體之間協(xié)作的自主性和流暢度，對人工智能在災(zāi)難救援、工業(yè)生產(chǎn)等復(fù)雜場景下的靈活應(yīng)用具有重要意義。

研究團(tuán)隊

李學(xué)龍教授團(tuán)隊主要開展臨地安防（Vicinagearth Security）技術(shù)體系的人才培養(yǎng)、科研與工程，依托兩個理論：「信容（Information Capacity，信息與數(shù)據(jù)的比值）」與「正激勵噪聲（Positive-incentive Noise，Pi/π-Noise，有用的噪聲，通過增加噪聲或利用噪聲讓任務(wù)做得更好）」，面向低空安防、水下安防、跨域安防，進(jìn)行多模態(tài)認(rèn)知計算、跨域遙感、穩(wěn)定探測、涉水光學(xué)、群體智能決策、相干光探測的技術(shù)創(chuàng)新，服務(wù)于高水平人才培養(yǎng)和國家重大戰(zhàn)略需求。