“ 學(xué)習(xí)大模型的本地部署能夠讓你對模型的運(yùn)行流程更加了解，幫助你了解不同平臺和部署環(huán)境的優(yōu)劣以及適用場景?！?/strong>

在大模型應(yīng)用中，本地部署模型可以說是一個非常重要的環(huán)節(jié)，特別是對一些數(shù)據(jù)安全性較高的企業(yè)；因?yàn)槭褂玫谌侥Ｐ头?wù)，會存在數(shù)據(jù)泄露的問題，因此很多企業(yè)選擇本地部署模型。

而且很多企業(yè)在招人時，也會要求有大模型本地部署的經(jīng)驗(yàn)；所以，今天我們就來學(xué)習(xí)一些大模型的本地部署，使用ollama部署工具。

大模型的本地部署

關(guān)于大模型的部署問題，目前市場上有很多部署推理工具，如vllm，sglang，ollama，LLMStudio等等；不同的部署框架適合不同的應(yīng)用場景，有些框架適合學(xué)習(xí)和小規(guī)模開發(fā)測試使用，如ollama，LLMStudio等；而有些適合企業(yè)級生成部署，如vllm，DeepSpeed等。

以我們今天使用的ollma框架為例，由于其小巧簡單，因此很適合學(xué)習(xí)和測試使用；并且，其提供了多種交互接口，包括命令行——cli，GUI和API接口。

官網(wǎng)地址如下：??https://ollama.com/??

并且，ollama支持多種系統(tǒng)平臺，如window，mac，linux等；直接選擇自己的系統(tǒng)平臺點(diǎn)擊下載即可。

下載之后直接啟動就是一個GUI的頁面，用戶可以在右下角選擇需要使用的模型，然后下載即可；當(dāng)然也可以在命令行進(jìn)行操作。

而ollama支持的模型，也可以點(diǎn)擊右上角的Models查看，里面支持大量 的模型。

搜索模型之后點(diǎn)擊進(jìn)去就能看到模型具體的下載命令，可以根據(jù)自己需要的版本進(jìn)行選擇:

由于作者的電腦沒有GPU，因此就選擇deepseek的小模型進(jìn)行測試，ollama run命令會直接從ollama倉庫下載模型，當(dāng)然用戶也可以自己手動下載之后直接啟動，這樣就不用等待下載時間了。

模型會在第一次加載時需要下載，如果已經(jīng)下載過就不會在此下載；不過這里有一個注意點(diǎn)就是，由于模型較大，少則幾個G起步，多則幾十個G，上不封頂，因此一定要選擇一個大的磁盤才行。

ollama默認(rèn)下載地址：C:\Users\用戶名\.ollama\models，用戶可以自行修改, 左上角選擇setting即可進(jìn)入設(shè)置頁面:

當(dāng)模型下載成功之后，就可以通過ollama ps命令查看運(yùn)行中的模型。

前面講了ollama的基本使用和下載方式，但對于開發(fā)者來說，我們需要的是通過API來訪問模型，因此怎么使用API服務(wù)才是最重要的。

在ollama中封裝了模型的API服務(wù)，不需要我們編寫任何服務(wù)端代碼；

這個是ollama的api文檔: 

英文版: https://github.com/ollama/ollama/blob/main/docs/api.md

中文版: ??https://ollama.readthedocs.io/api/??

ollama的默認(rèn)啟動地址是 http://localhost:11434，可以使用curl對接口進(jìn)行測試：

curl http://localhost:11434/api/generate -d 
'{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

當(dāng)然，也可以通過apifox等api測試工具進(jìn)行測試，不過這里需要注意的一點(diǎn)是ollama默認(rèn)啟動的api服務(wù)只能本地訪問，如果想通過網(wǎng)絡(luò)進(jìn)行遠(yuǎn)程訪問，在保證網(wǎng)絡(luò)通的前提下，還需要對ollama的環(huán)境進(jìn)行配置。

環(huán)境變量配置： 

OLLAMA_HOST=0.0.0.0:11434

windows中ollama的環(huán)境變量配置和java sdk的配置相同;而mac和linux用戶可以自行搜索。

開發(fā)人員可以根據(jù)ollama提供的接口文檔，基于ollama做業(yè)務(wù)開發(fā)。

本文轉(zhuǎn)載自??AI探索時代?? 作者：DFires