Octopus-V2-2B是一個具有20億參數的先進開源語言模型，代表著Nexa AI在大型語言模型（LLMs）在函數調用方面的研究突破，特別針對Android API進行了定制。與需要潛在函數參數的詳細描述（有時需要多達數萬個輸入標記）的檢索增強生成（RAG）方法不同，Octopus-V2-2B在其訓練和推理階段都引入了獨特的功能token策略。這種方法不僅使其能夠達到與GPT-4可比較的性能水平，而且還顯著提高了其推理速度，超越了基于RAG的方法，使其在邊緣計算設備上尤為有益。

?? 在設備上的應用：Octopus-V2-2B被設計成能夠在Android設備上無縫運行，擴展了其在從Android系統(tǒng)管理到多設備編排等各種應用中的效用，展示了其適應性和在設備上集成的潛力。

?? 推理速度：在基準測試中，章魚-V2-2B展示了出色的推理速度，在單個A100 GPU上表現比“Llama7B + RAG解決方案”組合快出36倍。此外，與依賴于集群A100/H100 GPU的GPT-4-turbo（gpt-4-0125-preview）相比，Octopus-V2-2B快168%。這種效率歸因于獨特的功能token設計。

?? 準確性：Octopus-V2-2B不僅在速度上表現出色，而且在準確性上也表現出色，其函數調用準確性超過了“Llama7B + RAG解決方案”31%。它實現了與GPT-4和RAG + GPT-3.5相媲美的函數調用準確性，在基準數據集上得分在98%至100%之間。

?? 函數調用能力：章魚-V2-2B能夠在各種復雜場景中生成單個、嵌套和并行函數調用。

使用示例

評測結果

論文：??https://arxiv.org/pdf/2404.01744.pdf??

模型地址：??https://huggingface.co/NexaAIDev/Octopus-v2??

譯自（有刪改）：https://huggingface.co/NexaAIDev/Octopus-v2

本文轉載自公眾號AIGC最前線 

原文鏈接：??https://mp.weixin.qq.com/s/Xob5ILvaMF2_4f6_X94aqA??