偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

手把手教你將本地部署的DeepSeek R1集成到Dify

發(fā)布于 2025-2-3 13:45
瀏覽
0收藏

今天,手把手教大家在本地部署DeepSeek R1,并將其集成到Dify中,實打?qū)嵦嵘愕墓ぷ餍剩?/p>

一、本地部署模型

本部分介紹在本地通過ollama部署DeepSeek R1。

1、安裝ollama

在ollama官網(wǎng),選擇操作系統(tǒng),下載ollama應用程序并安裝

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

命令行輸入ollama,出現(xiàn)下面的提示,則說明安裝成功。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

2、部署deepseek模型

在ollama官網(wǎng),點擊「Models」,選擇第一個「DeepSeek R1」

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

根據(jù)自己的顯存選擇對應的版本大小。


模型名稱

參數(shù)規(guī)模(b)

顯存需求(FP16,GB)

顯存需求(4位量化,GB)

7b模型

7

16

4

16b模型

16

37

9

67b模型

67

154

38

236b模型

236

543

136

671b模型

671

1543

386

推薦GPU:
- 7B和16B之類的較小型號,消費者GPU(例如NVIDIA RTX 4090)是合適的。
- 較大的模型,超過1000億個參數(shù)的模型,通常需要數(shù)據(jù)中心GPU,例如NVIDIA H100或分布式設(shè)置中的多個高端消費者GPU。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

如何查看自己電腦顯存呢?

在windows10電腦上,右鍵點擊左下方的Win10圖標,彈出下拉菜單,選擇【運行】選項并點擊進入運行對話窗口,在運行對話窗口內(nèi)輸入dxdiag命令【主要查看N卡】。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

計算:電腦顯存==>16112MB / 1024MB約等于16GB,選擇最小7B參數(shù)的模型。

點擊7b,然后在右側(cè)會出現(xiàn)下載命令:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

將下載命令復制,到命令行中執(zhí)行:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)


下載之后,就可以通過命令行和大模型進行對話了:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

通過命令行和大模型進行對話不太方便,接下來,介紹一下將其集成到Dify中,通過可視化的方式調(diào)用。

二、Dify中配置DeepSeek R1

登錄到已經(jīng)部署好的Dify中,點擊設(shè)置,在「模型供應商」選擇「ollama」

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

「模型名稱」填:deepseek-r1:7b。

「基礎(chǔ)URL中」,若ollama和Dify是同一臺機器部署,并且Dify是通過Docker部署,那么填http://host.docker.internal:11434,

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)


其他情況填http://localhost:11434,填完之后點擊保存即可。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)


三、創(chuàng)建應用

在Dify中創(chuàng)建一個應用來使用DeepSeek R1模型。

創(chuàng)建一個「聊天助手」,填寫「應用名稱」和「描述」,點擊創(chuàng)建:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

選擇添加好的DeepSeek R1模型:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)


需要注意的是,DeepSeek R1是一個推理模型,不支持函數(shù)調(diào)用,也就是說無法集成在DIfy的智能體中,但是DeepSeek V3可以。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

沒有聯(lián)網(wǎng)的deepseek-r1存在嚴重的幻覺。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

 

本文轉(zhuǎn)載自 ??AIGC新知??,作者: 絳燁

收藏
回復
舉報
回復
相關(guān)推薦