免費GPU算力部署DeepSeek-R1 32B
前言
DeepSeek-R1發(fā)布最新版本DeepSeek-R1-0528，顯著提升了模型的思維深度與推理能力，在數(shù)學(xué)、編程與通用邏輯等多個基準(zhǔn)測評中取得了當(dāng)前國內(nèi)所有模型中首屈一指的優(yōu)異成績，并且在整體表現(xiàn)上已接近其他國際頂尖模型，如 o3 與 Gemini-2.5-Pro。另外，API接口還增加了Function Calling和JsonOutput 的支持。
DeepSeek-R1團隊已經(jīng)證明，大模型的推理模式可以蒸餾到小模型中，與通過強化學(xué)習(xí)在小模型上發(fā)現(xiàn)的推理模式相比，性能更優(yōu)。ollma上可以下載不同參數(shù)尺寸(1.5B到70B)的蒸餾模型，參數(shù)越大，性能越好。
飛槳AI Studio每日免費提供GPU算力資源，具體配置如下：
- V100 16GB顯存：可以跑14B尺寸模型，每日免費使用4小時。
- VT100 32GB顯存：可以跑32B尺寸模型，每日免費使用2.7小時。
創(chuàng)建項目
打開https://aistudio.baidu.com/account，點擊右上方“登錄”按鈕，用百度賬號登錄即可。
打開https://aistudio.baidu.com/my/project，點擊右上方“創(chuàng)建項目”，選擇“Notebook”，會彈出下方的對話框。填寫“項目名稱”，點擊創(chuàng)建。
在打開的頁面中，點擊上面的“未運行”。
在彈出的頁面中，選擇“基礎(chǔ)版”運行環(huán)境?！盎A(chǔ)版”運行環(huán)境免費不限時，用于下載ollama和deepseek模型。等下載完后再切換到GPU環(huán)境。
環(huán)境啟動后，點擊右上角的“專業(yè)開發(fā)”，進入Codelab IDE界面。
Codelab IDE界面如下：
安裝ollama
設(shè)置目錄
在Codelab IDE界面中，選擇“文件”=》“新建”=》“終端”，進入shell界面，執(zhí)行以下命令(每次啟動環(huán)境都要執(zhí)行)，以便ollama下載的模型能保存在~/work/.ollama，這樣才能持久化保存。
cd ~/work && mkdir -p .ollama && ln -sfn ~/work/.ollama ~/下載ollama
飛槳AI Studio無法訪問github，需通過代理網(wǎng)站ghproxy.cn進行下載。命令如下：
cd ~/work
wget -c https://ghproxy.cn/https://github.com/ollama/ollama/releases/download/v0.8.0/ollama-linux-amd64.tgz
tar zxf ollama-linux-amd64.tgz下載deepseek模型
啟動ollama服務(wù)。
~/work/bin/ollama serve新建終端，輸入命令下載deepseek-r1 32b模型。
~/work/bin/ollama pull deepseek-r1:32b如果發(fā)現(xiàn)下載速度低于1MB/s，可嘗試重新執(zhí)行pull(但不要重啟ollama serve的進程)。
啟動deepseek
切換到GPU環(huán)境
打開https://aistudio.baidu.com/my/project，停止運行中的CPU環(huán)境 。
點擊項目，在項目詳情頁面中，點擊上面的“未運行”。
在彈出的頁面中，選擇“V100 32GB”運行環(huán)境。每天免費獲得8點算力，可用2.7小時，昨天用剩的算力可以結(jié)余到今天使用。
因為切換環(huán)境，系統(tǒng)需要同步文件，在Codelab IDE右下角會有同步進度顯示。
啟動ollama服務(wù)
cd ~/work && mkdir -p .ollama && ln -sfn ~/work/.ollama ~/ && ~/work/bin/ollama serve啟動DeepSeek
新建終端，輸入以下命令啟動deepseek。
~/work/bin/ollama run deepseek-r1:32b運行成功后就可以開始體驗deepseek的魅力了。
測試
下圖為經(jīng)典問題：9.9和9.11比較，哪個更大。
總結(jié)
本文介紹利用飛槳AI Studio每日免費提供GPU算力資源部署DeepSeek-R1 32B。進一步，還可以通過frp內(nèi)網(wǎng)穿透讓windows部署的Dify連接飛槳服務(wù)器上部署的ollama。另外，我們也可以利用GPU算力學(xué)習(xí)其它知識：模型微調(diào)，模型訓(xùn)練，深度學(xué)習(xí)訓(xùn)練等。
