一、Ollama 是什么？

Ollama 是一個開源的本地大模型部署工具，旨在簡化大型語言模型（LLM）的運(yùn)行和管理。通過簡單命令，用戶可以在消費(fèi)級設(shè)備上快速啟動和運(yùn)行開源模型（如 Llama、DeepSeek 等），無需復(fù)雜配置。它提供 OpenAI 兼容的 API，支持 GPU 加速，并允許自定義模型開發(fā)。

二、核心命令速查表

運(yùn)行 ollama help 可查看所有命令，以下是高頻命令總結(jié)：

三、模型存儲路徑優(yōu)化

默認(rèn)路徑問題

• Windows：C:\Users\<用戶名>\.ollama
• Linux/macOS：~/.ollama
• 問題：可能占用系統(tǒng)盤空間，尤其對小容量 SSD 用戶不友好。

路徑遷移方案

Windows

1. 右鍵「此電腦」→ 屬性 → 高級系統(tǒng)設(shè)置 → 環(huán)境變量。
2. 新建系統(tǒng)變量 OLLAMA_MODELS，路徑設(shè)為 D:\ollama\models。

設(shè)置環(huán)境變量

3. 重啟電腦或終端后生效。

模型文件存放路徑

Linux/macOS

echo 'export OLLAMA_MODELS=/path/to/your/models' >> ~/.bashrc  # 或 ~/.zshrc
source ~/.bashrc  # 重新加載配置

四、模型管理：從下載到優(yōu)化

1. 模型下載

• 官方模型：

ollama pull llama3  # 下載 Llama3 模型

• 自定義模型：

準(zhǔn)備模型文件（如 GGUF 格式，從 Hugging Face 下載）。。

圖片

創(chuàng)建 Modelfile 配置模板（示例）：

name: mymodel
template: qwen
path: /path/to/your/model.q4_K_M.gguf

構(gòu)建模型：

ollama create mymodel -f Modelfile

2. 運(yùn)行與交互

• 終端交互：

ollama run --gpu mymodel  # 啟動 GPU 加速

輸入問題后按 Ctrl+D 提交，等待模型響應(yīng)。

• API 調(diào)用：Ollama 內(nèi)置 OpenAI 兼容 API，通過 http://localhost:11434 訪問：

curl http://localhost:11434/v1/models  # 查看模型列表
curl -X POST "http://localhost:11434/v1/completions" -H "Content-Type: application/json" -d '{"model":"llama3", "prompt":"你好"}'

3. 性能監(jiān)控與優(yōu)化

• 顯存不足：

選擇輕量模型（如 deepseek:1.5b）。

嘗試低精度版本（如 q4_K_M 或 q3_K_L）。

• 內(nèi)存不足：

確保至少 8GB 內(nèi)存（小模型）或 32GB+（大模型）。

使用 --verbose 參數(shù)監(jiān)控資源消耗：

ollama run deepseek-r1:70b --verbose

• 輸出示例：

total duration: 12m1.056s  # 總耗時
load duration: 1.810s      # 模型加載時間
eval rate: 2.09 tokens/s   # 生成速度

五、常見問題與解決方案

1. 模型下載卡在 99%？

• 現(xiàn)象：下載進(jìn)度停滯在最后階段。
• 解決：

Ctrl+C 取消下載 → 再次運(yùn)行 `ollama pull <model>`  
# 進(jìn)度保留，后續(xù)速度可能恢復(fù)正常

2. 模型無響應(yīng)或崩潰

• 可能原因：

Modelfile 配置錯誤（如路徑或模板參數(shù)）。

系統(tǒng)資源不足（內(nèi)存/顯存）。

• 排查步驟：

檢查 Modelfile 中的 TEMPLATE 和 stop 參數(shù)是否正確。

降低模型復(fù)雜度或增加硬件資源。

使用 --verbose 日志定位問題。

3. 刪除無用模型釋放空間

• 命令：

ollama rm modelname  # 刪除指定模型

六、安全加固指南

1. 限制網(wǎng)絡(luò)訪問

• 默認(rèn)風(fēng)險：Ollama 默認(rèn)監(jiān)聽 0.0.0.0:11434，可能暴露公網(wǎng)。
• 解決方案：

# 僅允許本地訪問
export OLLAMA_HOST=127.0.0.1:11434
# 或通過環(huán)境變量設(shè)置
OLLAMA_HOST=127.0.0.1:11434 ollama serve

2. 關(guān)閉危險端口

• 若僅本地使用，可通過防火墻屏蔽 11434 端口的外部訪問。

3. 定期更新版本

• Ollama 定期修復(fù)安全漏洞，建議升級到最新版：

七、總結(jié)與建議

• 硬件規(guī)劃：

7B 模型需 8GB 內(nèi)存，70B 模型需 32GB+。

顯存不足時優(yōu)先選擇低精度版本。

• 安全第一：

避免將 Ollama 端口暴露公網(wǎng)，定期更新版本。

• 模型選擇：

根據(jù)需求選擇（如 DeepSeek 適合代碼生成，Qwen 適合多語言）。