哈嘍，大家好。

今天給大家分享一個(gè)開(kāi)源的大語(yǔ)言模型ChatGLM-6B。

十幾天的時(shí)間，就收獲了近 1w 個(gè) star。

ChatGLM-6B 是一個(gè)開(kāi)源的、支持中英雙語(yǔ)的對(duì)話語(yǔ)言模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGPT 相似的技術(shù)，針對(duì)中文問(wèn)答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能生成相當(dāng)符合人類偏好的回答。

大家都可以裝在自己的電腦上運(yùn)行下試試。獨(dú)顯最小顯存6G，CPU電腦也可以跑，但很慢。

項(xiàng)目目前只開(kāi)源了模型和推理代碼，并沒(méi)有開(kāi)源模型的訓(xùn)練。

運(yùn)行項(xiàng)目，只需兩個(gè)

第一步，下載源碼

git clone https://github.com/THUDM/ChatGLM-6B.git

執(zhí)行pip install -r requirements.txt 安裝依賴

第二步，運(yùn)行項(xiàng)目

python web_demo.py

執(zhí)行后，會(huì)自動(dòng)下載模型文件，大概 4G 左右。

如果是GPU?運(yùn)行，默認(rèn)情況下， 模型運(yùn)行顯存至少 13G，如果顯存不夠，可以修改下 web_demo.py

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

將上述代碼的THUDM/chatglm-6b?改為THUDM/chatglm-6b-int4?，即：改用 int4 量化后的模型，只要是顯存大于6g就可以順利運(yùn)行。

如果報(bào) CPU 內(nèi)存不足，把其他軟件關(guān)一關(guān)，尤其是瀏覽器。

運(yùn)行成功后， 會(huì)自動(dòng)跳轉(zhuǎn)瀏覽器頁(yè)面，這時(shí)候就可以像ChatGPT一樣使用了。

下面是我本地運(yùn)行的結(jié)果，大家可以看看與ChatGPT的差異

自我認(rèn)知

寫提綱

寫郵件

寫代碼

角色扮演

項(xiàng)目運(yùn)行還是很簡(jiǎn)單的，大家可以跑跑試試。

如果大家覺(jué)得本文對(duì)你有用就點(diǎn)個(gè) 在看 鼓勵(lì)一下吧，我會(huì)持續(xù)分享優(yōu)秀的 Python+AI 項(xiàng)目。