你只需要24GB 的內(nèi)存，除非你的GPU自帶VRAM，否則需要相當(dāng)?shù)哪托摹?/p>

上周，OpenAI發(fā)布了兩款流行的開放權(quán)重模型，均名為gpt-oss。由于你可以下載它們，因此可以在本地運(yùn)行。

輕量版模型gpt-oss-20b有210億個參數(shù)，需要大約16GB的可用內(nèi)存。較大版模型 gpt-oss-120b有1170億個參數(shù)，需要80GB的內(nèi)存才能運(yùn)行。相比之下，像DeepSeek R1這樣的前沿模型擁有6710億個參數(shù)，需要大約875GB的內(nèi)存才能運(yùn)行，因此LLM開發(fā)者及合作伙伴正在盡快構(gòu)建大型數(shù)據(jù)中心。

除非你運(yùn)行的是高端AI服務(wù)器，否則可能無法在家用系統(tǒng)上部署gpt-oss-120b，但許多人擁有運(yùn)行g(shù)pt-oss-20b所需的內(nèi)存。你的計算機(jī)需要至少配備16GB專用VRAM的GPU，或者24GB 或更多的系統(tǒng)內(nèi)存（至少留出8GB供操作系統(tǒng)和軟件使用）。性能將在很大程度上取決于內(nèi)存帶寬，因此配備GDDR7或GDDR6X內(nèi)存（1000+ GB/s）的顯卡其性能將遠(yuǎn)勝過普通筆記本電腦或臺式機(jī)的DDR4或DDR5（20 - 100 GB/s）。

下面，我們將講解如何在Windows、Linux和macOS上免費(fèi)使用這款新的語言模型。我們將使用Ollama，這個免費(fèi)的客戶端應(yīng)用程序使得下載和運(yùn)行該LLM變得輕而易舉。

如何在Windows上運(yùn)行g(shù)pt-oss-20b？

在Windows上運(yùn)行新的LLM很簡單。為此，先下載并安裝Windows版??Ollama??。?

打開Ollama 后，你會看到一個標(biāo)記為“發(fā)送消息”的字段，右下角會顯示一個可用模型的下拉列表，使用gpt-oss:20b作為默認(rèn)模型。你可以選擇另外的模型，但不妨使用這個模型。

輸入任意提示。我先輸入“Write a letter”（寫一封信），Ollama開始下載12.4GB的模型數(shù)據(jù)。下載速度并不快。

圖1. 下載模型

下載完成后，你可以根據(jù)需要為gpt-oss-20b輸入提示，然后點(diǎn)擊箭頭按鈕提交請求。

圖2. 輸入提示

如果你介意使用GUI，也可以從命令提示符運(yùn)行Ollama。我建議這么做，因為CLI 提供了“詳細(xì)模式”，可以提供性能統(tǒng)計信息，比如完成查詢所需的時間。

要從命令提示符運(yùn)行Ollama，請先輸入：

ollama run gpt-oss

（如果這是你第一次運(yùn)行此命令，它需要從互聯(lián)網(wǎng)下載模型。）然后，在命令提示符下輸入：

/set verbose

最后，輸入你的提示。

圖3. 從命令行使用 Ollama

如何在Linux上運(yùn)行g(shù)pt-oss-20b？

如果你尚未使用Linux 終端，請先啟動終端。然后在命令提示符下輸入以下命令：

curl -fsSL https://ollama.com/install.sh | sh

然后，你需要等待軟件下載并安裝。

圖4. 在Linux上安裝 Ollama

然后輸入以下命令啟動 Ollama，使用gpt-oss:20b作為模型。

ollama run gpt-oss

你的系統(tǒng)需要下載大約13GB的數(shù)據(jù)，然后你才能輸入第一個提示。

圖5. 在Linux 上運(yùn)行Ollama

我建議通過輸入以下命令打開詳細(xì)模式：

/set verbose

然后輸入你的提示。

如何在Mac上運(yùn)行g(shù)pt-oss-20b？

如果你使用現(xiàn)代Mac（M1 或更高版本），運(yùn)行g(shù)pt-oss-20b就像在Windows上運(yùn)行一樣簡單。先下載并運(yùn)行macOS版本的???Ollama安裝程序???。?

圖6. 在macOS上安裝 Ollama

啟動Ollama，確保所選擇的模型是gpt-oss:20b。

圖7. 在macOS上啟動Ollama

現(xiàn)在輸入你的提示，點(diǎn)擊向上箭頭按鈕，就可以上手了。

gpt-oss-20b 的性能：預(yù)期結(jié)果

為了了解gpt-oss-20b在本地計算機(jī)上的性能表現(xiàn)，我們在三臺不同的設(shè)備上測試了兩個不同的提示。首先，我們要求gpt-oss-20b“Write a fan letter to Taylor Swift, telling her how much I love her songs”（寫一封信給Taylor Swift，告訴她我有多喜歡她的歌曲），然后給出簡單得多的提示“Who was the first president of the US?”（誰是美國第一任總統(tǒng)？）。

我們使用以下硬件測試了這些提示：

• 聯(lián)想ThinkPad X1 Carbon筆記本電腦，搭載酷睿Ultra 7-165U CPU和64GB LPDDR5x-6400 RAM。
• 蘋果MacBook Pro，搭載M1 Max CPU和32GB LPDDR5x-6400 RAM。
• 自己搭建的PC，搭載獨(dú)立英偉達(dá)RTX 6000 Ada GPU、AMD Ryzen 9 5900X CPU和128GB DDR4-3200 RAM。

在ThinkPad X1 Carbon上，性能很差，主要是由于Ollama沒有充分利用其集成顯卡或神經(jīng)處理單元（NPU）。它花了整整10分13秒才輸出一封600字長的信給Taylor Swift。與所有面向gpt-oss-20b的提示一樣，系統(tǒng)花了一兩分鐘的時間在所謂“思考”的過程中展示其推理過程。之后，它會顯示輸出。用兩句話簡單地回答“誰是美國第一任總統(tǒng)？”用時51秒。

圖8. gpt-oss-20b始終顯示其思考過程

但至少我們寫給Taylor的信充滿了感人肺腑的歌詞，比如：“Taylor，這不僅僅是歌曲，更是體現(xiàn)了你的真誠。你把你的傷疤變成了詩句，把你的勝利變成了合唱?！?/p>

盡管內(nèi)存速度相同，但MacBook的表現(xiàn)遠(yuǎn)超ThinkPad，它在26秒內(nèi)生成了粉絲來信，并在短短3秒內(nèi)回答了第一任總統(tǒng)的問題。正如我們所料，搭載RTX 6000的臺式機(jī)僅用6秒就寫好了信，在不到半秒的時間內(nèi)給出了第一任總統(tǒng)是喬治?華盛頓的回答。

總的來說，如果你在配備強(qiáng)大GPU的系統(tǒng)或新款Mac上運(yùn)行該LLM，你將獲得良好的性能。如果你使用基于英特爾或AMD處理器的筆記本電腦，搭載Ollama不支持的集成顯卡，處理任務(wù)將被轉(zhuǎn)移到CPU，你在輸入提示后可能想去吃個午飯。或者，你可以試試LMStudio，這是另一個在PC上本地運(yùn)行LLM的流行應(yīng)用程序。

原文標(biāo)題：???How to run OpenAI's new gpt-oss-20b LLM on your computer??，作者：Avram Piltch