前言

2025 年 1 月 9 日 – 加利福尼亞州門洛帕克 – 世界上最大的開放網(wǎng)絡(luò)知識(shí)圖譜創(chuàng)建者 Diffbot宣布推出其第一個(gè)大型語(yǔ)言模型 （LLM），這是迄今為止世界上最基于事實(shí)的 AI 語(yǔ)言模型。利用 Diffbot 專有的知識(shí)圖譜（包括超過(guò) 100 億個(gè)實(shí)體和來(lái)自開放網(wǎng)絡(luò)的超過(guò) 1 萬(wàn)億個(gè)結(jié)構(gòu)化事實(shí)），新模型在事實(shí)可靠性和領(lǐng)域覆蓋率方面超過(guò)了目前所有可用的 LLM。

當(dāng)前前沿的 LLM 方法通過(guò)擴(kuò)大模型的大小來(lái)減少不良響應(yīng)（又名“幻覺(jué)”），使其代表更多的訓(xùn)練數(shù)據(jù)，或者增加推理時(shí)間，使用 LLM 來(lái)“推理”和自我糾正其錯(cuò)誤，但代價(jià)是運(yùn)行時(shí)間要長(zhǎng)得多。在 Diffbot，我們相信我們稱之為智能的核心“推理”最終將被提煉為 ~1B 參數(shù)，并且事實(shí)知識(shí)最好在模型權(quán)重之外，在外部引用的知識(shí)圖譜中得到維護(hù)。Diffbot LLM 是一個(gè)經(jīng)過(guò)微調(diào)的 LLama 3.3 70B（和 8B），它已經(jīng)過(guò)培訓(xùn)，可以成為專家工具用戶，在推理時(shí)查詢結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)庫(kù)。

通過(guò)行業(yè)領(lǐng)先的基準(zhǔn)（包括 MMLU-Pro 和 FreshQA 分?jǐn)?shù)）衡量，Diffbot 的模型提供了無(wú)與倫比的事實(shí)性能。它的 MMLU-Pro 分?jǐn)?shù)為 %70.36，擊敗了所有其他具有 <100B 參數(shù)和 %81 FreshQA 分?jǐn)?shù)的開源模型，擊敗了 ChatGPT 搜索模式、Gemini 和 Perplexity。這種準(zhǔn)確性直接歸功于 Diffbot 無(wú)與倫比的知識(shí)圖譜及其基于事實(shí)的響應(yīng)的尖端方法。

Diffbot 的大模型也是生產(chǎn) GraphRAG（圖檢索增強(qiáng)生成）系統(tǒng)的第一個(gè)開源實(shí)現(xiàn)。與其他僅依賴內(nèi)部訓(xùn)練數(shù)據(jù)和啟發(fā)式提示工程的 LLM 不同，GraphRAG 動(dòng)態(tài)查詢 Diffbot 知識(shí)圖譜和獨(dú)立的網(wǎng)絡(luò)搜索索引，以檢索精確、權(quán)威的信息。

結(jié)果是，該模型不僅從其模型權(quán)重中近似出事實(shí)，而且還主動(dòng)實(shí)時(shí)定位和引用可驗(yàn)證的來(lái)源。

真實(shí)原文引用和溯源

雖然其他語(yǔ)言模型可能會(huì)引用引文，但它們通常無(wú)法將陳述追溯到其原始來(lái)源（即引文鏈接經(jīng)常會(huì)不準(zhǔn)確）。Diffbot 的 LLM 非常重視引文基礎(chǔ)。它經(jīng)過(guò)微調(diào)，將每個(gè)事實(shí)陳述與支持它的特定段落嚴(yán)格匹配，并始終提供對(duì)任何引用材料的原始來(lái)源的直接引用。這確保了用戶對(duì)模型如何得出答案完全透明，從而提高了信任度和可靠性。

Diffbot 的 LLM 直接與 Diffbot 的自動(dòng)提取、結(jié)構(gòu)化知識(shí)圖譜查詢、非結(jié)構(gòu)化 Web 搜索查詢和代碼解釋功能集成。它在復(fù)雜的工作流程中表現(xiàn)出色，例如按需聚合數(shù)據(jù)或從用戶選擇的自定義數(shù)據(jù)集生成見(jiàn)解。

隨著數(shù)據(jù)安全性和機(jī)密性變得至關(guān)重要，Diffbot 的 LLM 在設(shè)計(jì)時(shí)秉持隱私優(yōu)先的理念。用戶保留對(duì)其數(shù)據(jù)的完全控制權(quán)，并且該模型的自托管選項(xiàng)確保敏感信息永遠(yuǎn)不需要離開安全的本地環(huán)境。

高級(jí)多模態(tài)和工具功能

除了基于文本的查詢之外，Diffbot 的 LLM 還提供高級(jí)多模態(tài)推理：

• 圖像蘊(yùn)涵：從“如何畫小鯊魚”到復(fù)雜的視覺(jué)推理，該模型可以理解和解釋圖像，確保超越書面文字的無(wú)縫交互。
• 代碼解釋：該模型可以在內(nèi)部執(zhí)行 JavaScript 代碼解釋器，而不是為數(shù)學(xué)和字符串處理問(wèn)題提供近似解決方案。這會(huì)產(chǎn)生明確、正確的答案，而不是猜測(cè)，使其成為開發(fā)人員、數(shù)據(jù)科學(xué)家和技術(shù)用戶的理想選擇。

Diffychat：公開演示

鼓勵(lì)對(duì)測(cè)試、集成或?yàn)轫?xiàng)目做出貢獻(xiàn)的開發(fā)人員、研究人員和組織訪問(wèn) https://diffy.chat 并探索文檔和開源存儲(chǔ)庫(kù)。用戶可以在 https://diffy.chat 上測(cè)試 Diffbot LLM，讓任何人都可以親身體驗(yàn)其功能。

與許多閉源模型不同，Diffbot 的模型是完全開源的，并帶有一個(gè)開源的、與 OpenAI 兼容的函數(shù)調(diào)用 API 服務(wù)器，用于自托管。這種開放的方法使企業(yè)、研究人員和業(yè)余愛(ài)好者能夠?qū)⒛Ｐ图傻剿麄冏约旱南到y(tǒng)中，并完全控制他們的數(shù)據(jù)和配置。

值得注意的是，大型語(yǔ)言模型 （LLM） 已經(jīng)使用越來(lái)越多的數(shù)據(jù)進(jìn)行訓(xùn)練，導(dǎo)致參數(shù)數(shù)量和所需的計(jì)算能力增加。但是，如果我們沒(méi)有為模型提供更多數(shù)據(jù)，而是有目的地訓(xùn)練它，以減少對(duì)預(yù)訓(xùn)練數(shù)據(jù)的依賴，而更多地依賴它查找外部知識(shí)的能力，那會(huì)怎樣？

為了測(cè)試這個(gè)想法，我們對(duì) LLama 3.3 70B 進(jìn)行了微調(diào)，使其成為實(shí)時(shí)知識(shí)圖譜 API 的專家工具用戶，提供了第一個(gè)性能優(yōu)于 Google Gemini 和 ChatGPT 的 GraphRAG 系統(tǒng)的開源實(shí)現(xiàn)。

值得注意的是，大型語(yǔ)言模型 （LLM） 已經(jīng)使用越來(lái)越多的數(shù)據(jù)進(jìn)行訓(xùn)練，導(dǎo)致參數(shù)數(shù)量和所需的計(jì)算能力增加。但是，如果我們沒(méi)有為模型提供更多數(shù)據(jù)，而是有目的地訓(xùn)練它，以減少對(duì)預(yù)訓(xùn)練數(shù)據(jù)的依賴，而更多地依賴它查找外部知識(shí)的能力，那會(huì)怎樣？

為了測(cè)試這個(gè)想法，我們對(duì) LLama 3.3 70B 進(jìn)行了微調(diào)，使其成為實(shí)時(shí)知識(shí)圖譜 API 的專家工具用戶，提供了第一個(gè)性能優(yōu)于 Google Gemini 和 ChatGPT 的 GraphRAG 系統(tǒng)的開源實(shí)現(xiàn)。

1. 特點(diǎn)

實(shí)時(shí) Web URL 提取

作為一個(gè) RAG 系統(tǒng)，Diffbot LLM 可以實(shí)時(shí)總結(jié) Web 文檔，并適當(dāng)?shù)刈⒚髟紒?lái)源。

事實(shí)引文的專家檢索器

Diffbot LLM 經(jīng)過(guò)明確訓(xùn)練，可以將引用的文本與參考來(lái)源對(duì)齊。

知識(shí)圖譜查詢

Diffbot LLM 是 Diffbot（知識(shí)圖譜）查詢語(yǔ)言的專家工具用戶。

圖像蘊(yùn)涵

Diffbot LLM也包含圖像。

Code Interpreter 工具使用

Diffbot LLM 不依賴模型權(quán)重來(lái)執(zhí)行實(shí)證計(jì)算，而是 Javascript 解釋器的專家工具用戶，它可以使用它來(lái)通知它的響應(yīng)。

有趣的東西

Diffbot LLM 是 ASCII 藝術(shù)天氣預(yù)報(bào)的專家制造商，以真實(shí)來(lái)源為基礎(chǔ)。

2. 模型下載

可在 HuggingFace 上下載：

• diffbot-small （8b Llama 3.1 微調(diào)）：https://huggingface.co/diffbot/Llama-3.1-Diffbot-Small-2412
• diffbot-small-xl （70b Llama 3.3 微調(diào)）：https://huggingface.co/diffbot/Llama-3.3-Diffbot-Small-XL-2412

3. 準(zhǔn)確性基準(zhǔn)

FreshQA 數(shù)據(jù)集

FreshQA 是衡量搜索 RAG 系統(tǒng)實(shí)時(shí)準(zhǔn)確性的基準(zhǔn)。Diffbot LLM 在實(shí)時(shí)事實(shí)準(zhǔn)確性方面優(yōu)于 gpt-4o（無(wú)網(wǎng)絡(luò)訪問(wèn)）、ChatGPT（有網(wǎng)絡(luò)訪問(wèn)）、Google Gemini 和 Perplexity。

在本次評(píng)估中，我們重點(diǎn)關(guān)注了 130 個(gè) FreshQA 問(wèn)題，這些問(wèn)題的答案在 2024 年發(fā)生了變化，這是在 2024 年 12 月所有評(píng)估模型的知識(shí)截止之后。

MMLU-Pro 系列

MMLU-Pro 是 MMLU 基準(zhǔn)測(cè)試的更困難版本，它使用 57 道選擇多項(xiàng)選擇題來(lái)測(cè)試 10 個(gè)學(xué)術(shù)科目的靜態(tài)知識(shí)。MMLU-Pro 排行榜。

下面顯示了 diffbot-small 和 diffbot-small-xl 在進(jìn)行微調(diào)的基礎(chǔ)模型上的 MMLU-Pro 分?jǐn)?shù)。

注意：這是對(duì) Diffbot GraphRAG LLM API 端到端的測(cè)量，而不是對(duì)權(quán)重中包含的知識(shí)的測(cè)量。與基本模型相比，其性能的提升來(lái)自其訪問(wèn)外部工具的能力。

4. 演示

使用 https://diffy.chat 的演示應(yīng)用程序試用 Diffbot LLM

5. 在本地運(yùn)行

經(jīng)過(guò)測(cè)試的最低硬件配置：

• Nvidia A100 40G 用于 diffbot-small
• Nvidia 2XH100 80G 用于 diffbot-small-xl @ FP8

在 huggingface 中使用 Docker 鏡像和模型

• Pull docker image:??docker pull docker.io/diffbot/diffbot-llm-inference:latest??拉取 docker 鏡像：docker pull docker.io/diffbot/diffbot-llm-inference:latest
• Run docker image. Note: The model weights will be automatically downloaded from huggingface. This might take a few minutes.運(yùn)行 docker image。注意：模型權(quán)重將自動(dòng)從 huggingface 下載。這可能需要幾分鐘時(shí)間。

Model: diffbot-small型號(hào)：diffbot-small

docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host -e VLLM_OPTIONS="--model diffbot/Llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching"  docker.io/diffbot/diffbot-llm-inference:latestMdocker run --runtime nvidia --gpus all -p 8001：8001 --ipc=host -e VLLM_OPTIONS= “ --model diffbot/llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching ” docker.io/diffbot/diffbot-llm-inference:latestM

odel: diffbot-small-xlODEL：diffbot-small-xl

docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host -e VLLM_OPTIONS="--model diffbot/Llama-3.3-Diffbot-Small-XL-2412 --served-model-name diffbot-small-xl --enable-prefix-caching --quantization fp8 --tensor-parallel-size 2"  docker.io/diffbot/diffbot-llm-inference:latestTdocker run --runtime nvidia --gpus all -p 8001：8001 --ipc=host -e VLLM_OPTIONS= “ --model diffbot/llama-3.3-Diffbot-Small-XL-2412 --served-model-name diffbot-small-xl --enable-prefix-caching --quantization fp8 --tensor-parallel-size 2 ” docker.io/diffbot/diffbot-llm-inference:latestT

Diffbot 服務(wù)器利用 vLLM 為模型提供服務(wù)，一旦 vLLM 輸出以下消息，它就可以接收請(qǐng)求：

信息：應(yīng)用程序啟動(dòng) complete.INFO：Uvicorn 在 http://0.0.0.0:8000 上運(yùn)行（按 CTRL+C 退出） Yo

您現(xiàn)在可以使用終端節(jié)點(diǎn) http://localhost:8001/rag/v1 ，它的工作方式與下面的 Serverless API 完全相同

7. 使用 Serverless API

Get a free Diffbot developer token at https://app.diffbot.com/get-started
在 https://app.diffbot.com/get-started 獲取免費(fèi)的 Diffbot 開發(fā)人員令牌

from openai importOpenAI

client =OpenAI(
    base_url ="https://llm.diffbot.com/rag/v1",
    api_key  ="<diffbot_token>"
)

completion = client.chat.completions.create(
    model="diffbot-small-xl",
    temperature=0,
    messages=[
        {
"role": "user",
"content": "What is the Diffbot Knowledge Graph?"
        }
    ]
)
print (completion)Contact support@diffbot.com if need more credits or higher limits.

8. 添加自定義工具

要使用新工具擴(kuò)展 Diffbot LLM 推理服務(wù)器，請(qǐng)參閱本教程。

GitHub - diffbot/diffbot-llm-inference：DIffbot LLM 推理服務(wù)器

??https://github.com/diffbot/diffbot-llm-inference/??

關(guān)于 Diffbot：

Diffbot 是一家領(lǐng)先的人工智能和數(shù)據(jù)公司，致力于組織和構(gòu)建世界信息。其行業(yè)首創(chuàng)的知識(shí)圖譜不斷從網(wǎng)絡(luò)上提取和組織事實(shí)，為企業(yè)、研究和創(chuàng)新的關(guān)鍵任務(wù)應(yīng)用程序提供支持。通過(guò)構(gòu)建最全面的人類知識(shí)事實(shí)存儲(chǔ)并將其與先進(jìn)的自然語(yǔ)言模型配對(duì)，Diffbot 旨在重新定義下一代事實(shí) AI。

本文轉(zhuǎn)載自知識(shí)圖譜科技，作者：KGGPT