大語言模型在多種應(yīng)用中展現(xiàn)出強(qiáng)大效力，但頂尖模型往往價格昂貴且能耗高，如GPT-4、Anthropic。開源社區(qū)則以Llama3為例，提供了節(jié)能且成本效益高的替代方案，并且定制化小型語言模型在特定領(lǐng)域如法律、醫(yī)療或金融中，已超越了大型專有模型，顯示出更高的效率和精準(zhǔn)度。

Octopus v4新型語言模型框架，通過構(gòu)建一個包含不同垂直領(lǐng)域語言模型的圖（graph）來使用各種開源語言模型。

從使用萬億參數(shù)模型的單一模型推理，轉(zhuǎn)變?yōu)橛烧卖~模型協(xié)調(diào)的多節(jié)點協(xié)作。該框架通過根據(jù)用戶的查詢選擇最合適的專業(yè)化模型，優(yōu)化推理過程，僅激活兩個每個模型少于100億參數(shù)的模型進(jìn)行一步推理。只展示了一個小圖，但該框架可以支持一個大圖。請查看圖的演示（https://graph.nexa4ai.com/）。

Octopus v4模型利用功能標(biāo)記（functional tokens）智能地將用戶查詢定向到最合適的垂直模型，并重新格式化查詢以實現(xiàn)最佳性能。該模型是Octopus v1、v2和v3模型的進(jìn)化版，在選擇、參數(shù)理解和重新格式化方面表現(xiàn)出色。

Octopus v4的核心是使用功能性標(biāo)記（functional tokens）來激活特定的模型功能，簡化了語言模型的功能設(shè)計，使其只需要單一輸入和輸出。通過構(gòu)建一個有向的異構(gòu)圖，其中包含主節(jié)點和工作節(jié)點，可以有效地處理用戶查詢并生成響應(yīng)。主節(jié)點負(fù)責(zé)協(xié)調(diào)查詢并將其導(dǎo)向合適的工作節(jié)點，而工作節(jié)點則執(zhí)行任務(wù)并使用Octopus模型進(jìn)行進(jìn)一步協(xié)調(diào) 。

章魚模型被用來確定最優(yōu)的鄰近節(jié)點并生成適當(dāng)?shù)男畔⒁怨﹤鬏?。設(shè)想一個場景，章魚模型的鄰居包括MathGPT、LawGPT、HealthCareGPT、CodeGPT和RoomGPT。章魚模型能夠識別出最相關(guān)的GPT，并將初始查詢轉(zhuǎn)換為最適合所選GPT的格式。

規(guī)劃多步驟任務(wù)架構(gòu)由兩個抽象層組成。第一層使用功能標(biāo)記來表示Octopus v2模型可以執(zhí)行的操作。這一層包括三個不同的Octopus v2模型，每個模型都由不同的功能標(biāo)記標(biāo)識，有效地將它們區(qū)分為獨立的AI代理。第二層抽象涉及Octopus v4模型，其中內(nèi)部的功能標(biāo)記映射到各種v2模型。為了簡單起見，只包括了三個v2模型，但在實際使用案例中，可以映射到多個v2模型。

語言模型圖系統(tǒng)設(shè)計：其中主節(jié)點部署在中心設(shè)備上，工作節(jié)點分布在各種設(shè)備上。采用Kubernetes（k8s）對每個單獨的工作語言模型進(jìn)行無服務(wù)器部署。為了高效的數(shù)據(jù)共享，利用了由Redis支持的分布式緩存機(jī)制。對于每個工作節(jié)點，都附加了一個小的章魚v4 Lora，以指導(dǎo)多代理用例中的下一個鄰居節(jié)點。

在10B參數(shù)規(guī)模的模型中，Octopus v4實現(xiàn)了74.8的SOTA MMLU得分。

Octopus v4與其他模型在MMLU得分上的比較。在Octopus v4與的推理過程中，僅激活了兩個小型語言模型，每個模型的參數(shù)少于100億。Octopus v4與在MMLU得分上取得了顯著提升，由于利用了功能標(biāo)記，僅需要少量的標(biāo)記犧牲。

??https://arxiv.org/pdf/2404.19296 ??

Octopus v4: Graph of language models

??https://github.com/NexaAI/octopus-v4 ??

??https://hf-mirror.com/NexaAIDev/Octopus-v4??

本文轉(zhuǎn)載自 ??PaperAgent??，作者： PaperAgent