有 AI 在的科技圈，似乎沒有中場休息。除了大模型發(fā)布不斷，各家科技大廠也在尋找著第一個(gè)「殺手級」AI 應(yīng)用的落腳之地。

OpenAI 首先瞄準(zhǔn)的是谷歌 1750 億美元的搜索業(yè)務(wù)市場。7 月 25 日，OpenAI 帶著 AI 搜索引擎——SearchGPT 高調(diào)入場。在演示 demo 中，搜索引擎的使用體驗(yàn)不再像以往一樣，需要我們逐個(gè)點(diǎn)開網(wǎng)頁鏈接，判斷信息有沒有用。SearchGPT 像端上了一桌精美的套餐，所有答案都幫你總結(jié)好了。

在演示 demo 中，SearchGPT 分析了在應(yīng)季最適合種植哪種品種的番茄。

不過，鑒于年初發(fā)布的 Sora 到目前都還未正式開放，估計(jì)很多人排上 SearchGPT 的體驗(yàn)名額也遙遙無期。

然而，有一款國產(chǎn)的開源平替，在和能聯(lián)網(wǎng)的 ChatGPT 和專攻 AI 搜索引擎的 Perplexity.ai 的 PK 中，它的回答在深度、廣度和準(zhǔn)確度方面都都秒了這兩款明星產(chǎn)品。

它甚至可以在不到 3 分鐘內(nèi)收集并整合 300 多頁相關(guān)信息。這換成人類專家，需要大約 3 小時(shí)才能做完。

這款「國貨」就是多智能體框架 MindSearch（思?索），由來自中科大和上海人工智能實(shí)驗(yàn)室的研究團(tuán)隊(duì)聯(lián)合研發(fā)。正如其名，MindSearch 是一個(gè)會「思索」的系統(tǒng)，面對你輸入的問題，它將先調(diào)用負(fù)責(zé)充分「思」考問題的智能體，再啟用全面搜「索」的智能體，這些智能體分工合作，理解你的需求，并為你呈上從互聯(lián)網(wǎng)的五湖四海搜羅來的新鮮信息。

• 論文鏈接：https://arxiv.org/abs/2407.20183
• 項(xiàng)目主頁：https://mindsearch.netlify.app/

MindSearch 演示 demo

那么，MindSearch 是憑什么打敗 ChatGPT 和 Perplexity.ai 的呢？和別的 AI 搜索引擎相比，MindSearch 有什么獨(dú)到之處嗎？

答案還得從它的名字說起。MindSearch 的核心競爭力在于采用了多智能體框架模擬人的思維過程。

如果向 Perplexity.ai 提問「王者榮耀當(dāng)前賽季哪個(gè)射手最強(qiáng)？」它會直接搜索這個(gè)問題，并總結(jié)網(wǎng)上已有的回復(fù)。把這個(gè)問題交給 MindSearch，它會把這個(gè)問題拆解成一個(gè)邏輯鏈：「當(dāng)前賽季是哪個(gè)賽季？」，「從哪些指標(biāo)可以衡量王者榮耀的射手的強(qiáng)度？」，再匯總所能查詢到的答案。

技術(shù)實(shí)現(xiàn)

WebPlanner：基于圖結(jié)構(gòu)進(jìn)行規(guī)劃

僅依靠向大型語言模型輸入提示詞的方式并不能勝任智能搜索引擎。首先，LLM 不能充分理解復(fù)雜問題中的拓?fù)潢P(guān)系，比如前一段掛在熱搜上的大模型無法理解 9.9 和 9.11 誰大的問題，就是這個(gè)問題的生動(dòng)注腳。字與字之間的關(guān)系，LLM 都很難在簡單對話中理解，那么「這個(gè)季節(jié)種哪個(gè)品種的番茄最合適？」這種需要深入思考，分解成多個(gè)角度來回答的問題，對于 LLM 就更難了。換句話說，LLM 很難將用戶的意圖逐步轉(zhuǎn)化為搜索任務(wù)，并提供準(zhǔn)確的響應(yīng)，因此它總是提供一些模版式的知識和套話。

基于此，研究團(tuán)隊(duì)設(shè)計(jì)了高級規(guī)劃器 WebPlanner，它通過構(gòu)建有向無環(huán)圖（DAG）來捕捉從提問到解答之間的最優(yōu)執(zhí)行路徑。對于用戶提出的每個(gè)問題 Q，WebPlanner 將其解決方案的軌跡表示為 G (Q) = ?V, E?。在這個(gè)圖中，V 代表節(jié)點(diǎn)的集合，每個(gè)節(jié)點(diǎn) v 代表一個(gè)獨(dú)立的網(wǎng)頁搜索任務(wù)，包括一個(gè)輔助的起始節(jié)點(diǎn)（代表初始問題）和一個(gè)結(jié)束節(jié)點(diǎn)（代表最終答案）。E 代表有向邊，指示節(jié)點(diǎn)之間的邏輯和推理關(guān)系。

研究團(tuán)隊(duì)進(jìn)一步利用 LLM 優(yōu)越的代碼能力，引導(dǎo)模型編寫代碼與 DAG 圖交互。為了實(shí)現(xiàn)這一點(diǎn)，研究團(tuán)隊(duì)預(yù)定義了原子代碼函數(shù)，讓模型可以在圖中添加節(jié)點(diǎn)或邊。在解答用戶問題的過程中，LLM 先閱讀整個(gè)對話，還有它在網(wǎng)上搜索到的信息。閱讀完這些信息后，LLM 會根據(jù)這些信息產(chǎn)生一些思考和新的代碼，這些代碼將通過 Python 解釋器添加在用于推理的圖結(jié)構(gòu)中。

一旦有新節(jié)點(diǎn)加入圖中，WebPlanner 將啟動(dòng) WebSearcher 來執(zhí)行搜索任務(wù)，并整理搜索到的信息。由于新節(jié)點(diǎn)只依賴于之前步驟中生成的節(jié)點(diǎn)，所以這些節(jié)點(diǎn)可以并行處理，大大提高了信息收集的速度。當(dāng)所有的信息收集完畢，WebPlanner 將添加結(jié)束節(jié)點(diǎn)，輸出最終答案。

WebSearcher：分層檢索網(wǎng)頁

由于互聯(lián)網(wǎng)上的信息實(shí)在太多，就算是 LLM 也不能一下子處理完所有的頁面。針對這個(gè)問題，研究團(tuán)隊(duì)選擇了先廣泛搜索再精確選擇的策略，設(shè)計(jì)了一個(gè) RAG 智能體 ——WebSearcher。

首先，LLM 將根據(jù) WebPlanner 分配的問題，生成幾個(gè)類似的搜索問題，擴(kuò)大搜索的范圍。接下來，系統(tǒng)將調(diào)用不同搜索引擎的 API 查詢問題，例如分別在 Google、Bing 和 DuckDuckGo 查一下，得到網(wǎng)頁的鏈接、標(biāo)題和摘要等關(guān)鍵信息。接著，LLM 將從這些搜索結(jié)果中選出最重要的網(wǎng)頁來仔細(xì)閱讀，匯總得出最終答案。

MindSearch 中，LLM 如何管理上下文

作為一個(gè)多智能體框架，MindSearch 為如何管理長上下文提供了全新嘗試。當(dāng)需要快速閱讀大量網(wǎng)頁時(shí)，由于最終答案只依賴 WebSearcher 的搜索結(jié)果，WebPlanner 將專注于分析用戶提出的問題，不會被過長的網(wǎng)頁信息分心。

這種明確的分工也大大減少了上下文計(jì)算量。如何在多個(gè)智能體之間高效共享信息和上下文并非易事，研究團(tuán)隊(duì)在實(shí)證中發(fā)現(xiàn)，如果只依靠 WebPlanner 的分析，有可能會在信息收集階段由于 WebSearcher 內(nèi)部的局部感知場丟失有用的信息。為了解決這個(gè)問題，他們利用有向圖邊構(gòu)建的拓?fù)潢P(guān)系來簡化上下文如何在不同智能體間傳遞。

具體來說，在 WebSearcher 執(zhí)行搜索任務(wù)時(shí)，它的父節(jié)點(diǎn)以及根節(jié)點(diǎn)的回答將作為前綴添加在其回答中。因此，每個(gè) WebSearcher 可以有效地專注于其子任務(wù)，同時(shí)不會丟失之前的相關(guān)上下文或者忘記最終的查詢目標(biāo)。

本地部署

7 月初，上海人工智能實(shí)驗(yàn)室已經(jīng)開源了搭載 MindSearch 架構(gòu)的 InternLM2.5-7B-Chat 模型。

除了直接點(diǎn)擊鏈接，跳轉(zhuǎn)到體驗(yàn) Demo 試玩。研究團(tuán)隊(duì)還公開了 MindSearch 的完整前后端實(shí)現(xiàn)，基于智能體框架 Lagent，感興趣的朋友可以在本地部署模型。

• 在線 Demo：https://mindsearch.openxlab.org.cn/
• 開源代碼：https://github.com/InternLM/mindsearch

在 GitHub 下載 MindSearch 倉庫后，輸入如下命令就可以打造屬于自己的 MindSearch 了：

# 啟動(dòng)服務(wù)
python -m mindsearch.app --lang en --model_format internlm_server

## 一鍵啟動(dòng)多種前端

# Install Node.js and npm
# for Ubuntu
sudo apt install nodejs npm
# for windows
# download from https://nodejs.org/zh-cn/download/prebuilt-installer
# Install dependencies
cd frontend/React
npm install
npm start