譯者 | 布加迪

審校 | 重樓

你只需要24GB 的內(nèi)存，除非你的GPU自帶VRAM，否則需要相當(dāng)?shù)哪托摹?/p>

上周，OpenAI發(fā)布了兩款流行的開(kāi)放權(quán)重模型，均名為gpt-oss。由于你可以下載它們，因此可以在本地運(yùn)行。

輕量版模型gpt-oss-20b有210億個(gè)參數(shù)，需要大約16GB的可用內(nèi)存。較大版模型 gpt-oss-120b有1170億個(gè)參數(shù)，需要80GB的內(nèi)存才能運(yùn)行。相比之下，像DeepSeek R1這樣的前沿模型擁有6710億個(gè)參數(shù)，需要大約875GB的內(nèi)存才能運(yùn)行，因此LLM開(kāi)發(fā)者及合作伙伴正在盡快構(gòu)建大型數(shù)據(jù)中心。

除非你運(yùn)行的是高端AI服務(wù)器，否則可能無(wú)法在家用系統(tǒng)上部署gpt-oss-120b，但許多人擁有運(yùn)行g(shù)pt-oss-20b所需的內(nèi)存。你的計(jì)算機(jī)需要至少配備16GB專用VRAM的GPU，或者24GB 或更多的系統(tǒng)內(nèi)存（至少留出8GB供操作系統(tǒng)和軟件使用）。性能將在很大程度上取決于內(nèi)存帶寬，因此配備GDDR7或GDDR6X內(nèi)存（1000+ GB/s）的顯卡其性能將遠(yuǎn)勝過(guò)普通筆記本電腦或臺(tái)式機(jī)的DDR4或DDR5（20 - 100 GB/s）。

下面，我們將講解如何在Windows、Linux和macOS上免費(fèi)使用這款新的語(yǔ)言模型。我們將使用Ollama，這個(gè)免費(fèi)的客戶端應(yīng)用程序使得下載和運(yùn)行該LLM變得輕而易舉。

如何在Windows上運(yùn)行g(shù)pt-oss-20b？

在Windows上運(yùn)行新的LLM很簡(jiǎn)單。為此，先下載并安裝Windows版Ollama。

打開(kāi)Ollama 后，你會(huì)看到一個(gè)標(biāo)記為“發(fā)送消息”的字段，右下角會(huì)顯示一個(gè)可用模型的下拉列表，使用gpt-oss:20b作為默認(rèn)模型。你可以選擇另外的模型，但不妨使用這個(gè)模型。

輸入任意提示。我先輸入“Write a letter”（寫(xiě)一封信），Ollama開(kāi)始下載12.4GB的模型數(shù)據(jù)。下載速度并不快。

圖1. 下載模型

下載完成后，你可以根據(jù)需要為gpt-oss-20b輸入提示，然后點(diǎn)擊箭頭按鈕提交請(qǐng)求。

圖2. 輸入提示

如果你介意使用GUI，也可以從命令提示符運(yùn)行Ollama。我建議這么做，因?yàn)镃LI 提供了“詳細(xì)模式”，可以提供性能統(tǒng)計(jì)信息，比如完成查詢所需的時(shí)間。

要從命令提示符運(yùn)行Ollama，請(qǐng)先輸入：

ollama run gpt-oss

（如果這是你第一次運(yùn)行此命令，它需要從互聯(lián)網(wǎng)下載模型。）然后，在命令提示符下輸入：

/set verbose

最后，輸入你的提示。

圖3. 從命令行使用 Ollama

如何在Linux上運(yùn)行g(shù)pt-oss-20b？

如果你尚未使用Linux 終端，請(qǐng)先啟動(dòng)終端。然后在命令提示符下輸入以下命令：

curl -fsSL https://ollama.com/install.sh | sh

然后，你需要等待軟件下載并安裝。

圖4. 在Linux上安裝 Ollama

然后輸入以下命令啟動(dòng) Ollama，使用gpt-oss:20b作為模型。

ollama run gpt-oss

你的系統(tǒng)需要下載大約13GB的數(shù)據(jù)，然后你才能輸入第一個(gè)提示。

圖5. 在Linux 上運(yùn)行Ollama

我建議通過(guò)輸入以下命令打開(kāi)詳細(xì)模式：

/set verbose

然后輸入你的提示。

如何在Mac上運(yùn)行g(shù)pt-oss-20b？

如果你使用現(xiàn)代Mac（M1 或更高版本），運(yùn)行g(shù)pt-oss-20b就像在Windows上運(yùn)行一樣簡(jiǎn)單。先下載并運(yùn)行macOS版本的Ollama安裝程序。

圖6. 在macOS上安裝 Ollama

啟動(dòng)Ollama，確保所選擇的模型是gpt-oss:20b。

圖7. 在macOS上啟動(dòng)Ollama

現(xiàn)在輸入你的提示，點(diǎn)擊向上箭頭按鈕，就可以上手了。

gpt-oss-20b 的性能：預(yù)期結(jié)果

為了了解gpt-oss-20b在本地計(jì)算機(jī)上的性能表現(xiàn)，我們?cè)谌_(tái)不同的設(shè)備上測(cè)試了兩個(gè)不同的提示。首先，我們要求gpt-oss-20b“Write a fan letter to Taylor Swift, telling her how much I love her songs”（寫(xiě)一封信給Taylor Swift，告訴她我有多喜歡她的歌曲），然后給出簡(jiǎn)單得多的提示“Who was the first president of the US?”（誰(shuí)是美國(guó)第一任總統(tǒng)？）。

我們使用以下硬件測(cè)試了這些提示：

• 聯(lián)想ThinkPad X1 Carbon筆記本電腦，搭載酷睿Ultra 7-165U CPU和64GB LPDDR5x-6400 RAM。
• 蘋(píng)果MacBook Pro，搭載M1 Max CPU和32GB LPDDR5x-6400 RAM。
• 自己搭建的PC，搭載獨(dú)立英偉達(dá)RTX 6000 Ada GPU、AMD Ryzen 9 5900X CPU和128GB DDR4-3200 RAM。

在ThinkPad X1 Carbon上，性能很差，主要是由于Ollama沒(méi)有充分利用其集成顯卡或神經(jīng)處理單元（NPU）。它花了整整10分13秒才輸出一封600字長(zhǎng)的信給Taylor Swift。與所有面向gpt-oss-20b的提示一樣，系統(tǒng)花了一兩分鐘的時(shí)間在所謂“思考”的過(guò)程中展示其推理過(guò)程。之后，它會(huì)顯示輸出。用兩句話簡(jiǎn)單地回答“誰(shuí)是美國(guó)第一任總統(tǒng)？”用時(shí)51秒。

圖8. gpt-oss-20b始終顯示其思考過(guò)程

但至少我們寫(xiě)給Taylor的信充滿了感人肺腑的歌詞，比如：“Taylor，這不僅僅是歌曲，更是體現(xiàn)了你的真誠(chéng)。你把你的傷疤變成了詩(shī)句，把你的勝利變成了合唱。”

盡管內(nèi)存速度相同，但MacBook的表現(xiàn)遠(yuǎn)超ThinkPad，它在26秒內(nèi)生成了粉絲來(lái)信，并在短短3秒內(nèi)回答了第一任總統(tǒng)的問(wèn)題。正如我們所料，搭載RTX 6000的臺(tái)式機(jī)僅用6秒就寫(xiě)好了信，在不到半秒的時(shí)間內(nèi)給出了第一任總統(tǒng)是喬治?華盛頓的回答。

總的來(lái)說(shuō)，如果你在配備強(qiáng)大GPU的系統(tǒng)或新款Mac上運(yùn)行該LLM，你將獲得良好的性能。如果你使用基于英特爾或AMD處理器的筆記本電腦，搭載Ollama不支持的集成顯卡，處理任務(wù)將被轉(zhuǎn)移到CPU，你在輸入提示后可能想去吃個(gè)午飯。或者，你可以試試LMStudio，這是另一個(gè)在PC上本地運(yùn)行LLM的流行應(yīng)用程序。

原文標(biāo)題：How to run OpenAI's new gpt-oss-20b LLM on your computer，作者：Avram Piltch