概述

LLaMA-3（Large Language Model Meta AI 3）是由Meta公司開(kāi)發(fā)的大型開(kāi)源生成式人工智能模型。它在模型結(jié)構(gòu)上與前一代LLaMA-2相比沒(méi)有大的變動(dòng)。

LLaMA-3模型分為不同規(guī)模的版本，包括小型、中型和大型，以適應(yīng)不同的應(yīng)用需求和計(jì)算資源。小型模型參數(shù)規(guī)模為8B，中型模型參數(shù)規(guī)模為70B，而大型模型則達(dá)到400B，仍在訓(xùn)練中，目標(biāo)是實(shí)現(xiàn)多模態(tài)、多語(yǔ)言的功能，預(yù)計(jì)效果將與GPT 4/GPT 4V相當(dāng)。

安裝 Ollama

Ollama 是一個(gè)開(kāi)源的大型語(yǔ)言模型（LLM）服務(wù)工具，它允許用戶在本地機(jī)器上運(yùn)行和部署大型語(yǔ)言模型。Ollama 設(shè)計(jì)為一個(gè)框架，旨在簡(jiǎn)化在 Docker 容器中部署和管理大型語(yǔ)言模型的過(guò)程，使得這一過(guò)程變得簡(jiǎn)單快捷。用戶可以通過(guò)簡(jiǎn)單的命令行操作，快速在本地運(yùn)行如 Llama 3 這樣的開(kāi)源大型語(yǔ)言模型。

官網(wǎng)地址：https://ollama.com/download

圖片

Ollama 支持多種平臺(tái)，包括 Mac 和 Linux，并提供了 Docker 鏡像以簡(jiǎn)化安裝過(guò)程。用戶可以通過(guò)編寫(xiě) Modelfile 來(lái)導(dǎo)入和自定義更多的模型，這類似于 Dockerfile 的作用。Ollama 還具備一個(gè) REST API，用于運(yùn)行和管理模型，以及一個(gè)用于模型交互的命令行工具集。

Ollama服務(wù)啟動(dòng)日志

圖片

模型管理

下載模型

ollama pull llama3:8b

默認(rèn)下載的是llama3:8b。這里冒號(hào)前面代表模型名稱，冒號(hào)后面代表tag，可以從這里查看llama3的所有tag

圖片

模型測(cè)試

注意：如果想讓模型中文回復(fù)，請(qǐng)先輸入：你好！請(qǐng)中文回復(fù)

圖片

配置Open-WebUI

在CPU下運(yùn)行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

圖片

訪問(wèn)

輸入地址 http://127.0.0.1:3000 進(jìn)行訪問(wèn)

圖片

初次訪問(wèn)需要注冊(cè)，這里我注冊(cè)一個(gè)賬號(hào)，注冊(cè)完成登錄成功

圖片

切換中文語(yǔ)言

圖片

下載llama3:8b模型

llama3:8b

圖片

下載完成

圖片

使用

選擇模型

圖片

使用模型

圖片

注意：如果想讓模型中文回復(fù)，請(qǐng)先輸入：你好！請(qǐng)中文回復(fù)

圖片

內(nèi)存

圖片