最近，有學(xué)員在公司要做一個(gè)用戶反饋的智能分類功能，需要打上“積極”、“消極”、“中性”這樣的標(biāo)簽，他的第一反應(yīng)是要微調(diào)模型了，來(lái)問(wèn)我如何微調(diào)模型，我說(shuō)，并不一定要微調(diào)模型，可以先了解一下什么是：Zero-Shot Learning、One-Shot Learning、Few-Shot Learning。

假設(shè)我們現(xiàn)在有一個(gè)需要分類的用戶反饋：“這新功能真是太棒了，體驗(yàn)感一流！”

第一種方式：Zero-Shot (零樣本學(xué)習(xí))

我們直接向模型下達(dá)指令，不給它任何參考范例。

請(qǐng)將下面的用戶反饋分為“積極”、“消極”或“中性”：

反饋：“這新功能真是太棒了，體驗(yàn)感一流！”

分類結(jié)果：

第二種方式：One-Shot (一樣本學(xué)習(xí))

我們?cè)谔岢鲆髸r(shí)，給模型一個(gè)例子，讓它照著學(xué)。

請(qǐng)將下面的用戶反饋分為“積極”、“消極”或“中性”。

- 反饋：“上次更新后總是卡頓?！?- 分類結(jié)果：“消極”

現(xiàn)在，請(qǐng)分類這個(gè)反饋：

反饋：“這新功能真是太棒了，體驗(yàn)感一流！”

分類結(jié)果：

第三種方式：Few-Shot (少樣本學(xué)習(xí))

別怕麻煩，多給模型幾個(gè)例子，讓它更好地領(lǐng)悟你的意圖。

請(qǐng)將下面的用戶反饋分為“積極”、“消極”或“中性”。

- 反饋：“上次更新后總是卡頓。”
- 分類結(jié)果：“消極”

- 反饋：“界面不好看，但功能還行?！?- 分類結(jié)果：“中性”

- 反饋：“完美的軟件，找不到任何缺點(diǎn)?！?- 分類結(jié)果：“積極”

現(xiàn)在，請(qǐng)分類這個(gè)反饋：

反饋：“這新功能真是太棒了，體驗(yàn)感一流！”

分類結(jié)果：

我們沒(méi)有寫一行 ，沒(méi)有進(jìn)行任何的模型訓(xùn)練，僅僅是通過(guò)提示詞，就可以引導(dǎo)模型完成任務(wù)。

那么，問(wèn)題來(lái)了：為什么只是多給了幾個(gè)例子，模型就知道該怎么做了？這背后到底發(fā)生了什么？

很多同學(xué)看到 "Learning" 這個(gè)詞，可能會(huì)下意識(shí)地認(rèn)為模型在學(xué)習(xí)我們提供的樣本，實(shí)時(shí)地更新了它的內(nèi)部參數(shù)，就像我們用新數(shù)據(jù)訓(xùn)練模型一樣，這是一個(gè)常見(jiàn)的誤區(qū)！

在 Zero/One/Few-Shot 場(chǎng)景下，大語(yǔ)言模型的權(quán)重是完全凍結(jié)的，沒(méi)有任何參數(shù)被更新。這個(gè)過(guò)程并非我們傳統(tǒng)意義上的“學(xué)習(xí)”或“訓(xùn)練”，它更像是一種“上下文引導(dǎo)”或“能力激活”。

我們可以把 DeepSeek 這樣的大語(yǔ)言模型想象成一個(gè)剛剛進(jìn)入你團(tuán)隊(duì)的、超級(jí)博學(xué)的實(shí)習(xí)生。他閱讀了互聯(lián)網(wǎng)上幾乎所有的公開文本（萬(wàn)億級(jí)別的單詞），知識(shí)淵博得可怕。

?Zero-Shot：你直接對(duì)他說(shuō)：“幫我做個(gè)用戶反饋情感分析?！?因?yàn)樗x過(guò)無(wú)數(shù)類似的文章和代碼，他能“猜到”你大概是想讓他輸出“積極/消極”這樣的標(biāo)簽。對(duì)于常見(jiàn)的、定義明確的任務(wù)，他能做得不錯(cuò)。

?One-Shot / Few-Shot：你把他叫到身邊，跟他說(shuō)：“我們團(tuán)隊(duì)做事有自己的規(guī)矩。你看，像‘卡頓’這種反饋，我們標(biāo)記為‘消極’；像‘功能還行’這種，我們標(biāo)記為‘中性’?，F(xiàn)在，你來(lái)處理一下這個(gè)‘太棒了’的反饋?！?/p>

在這個(gè)過(guò)程中，實(shí)習(xí)生并沒(méi)有重新學(xué)習(xí)編程語(yǔ)言，他的大腦結(jié)構(gòu)和知識(shí)儲(chǔ)備沒(méi)有改變。但是，你給出的這幾個(gè)例子為他提供了解決當(dāng)前特定任務(wù)的“臨時(shí)參考”，他通過(guò)這些例子，瞬間理解了：

1.任務(wù)目標(biāo)：哦，原來(lái)是要做分類。

2.輸出格式：原來(lái)要輸出“XX：YY”這樣的格式。

3.邊界情況：原來(lái)“不好看但功能還行”這種模棱兩可的算“中性”。

這些例子激活了他大腦中早已存在的、關(guān)于“分類”、“情感”的知識(shí)，并將其組合起來(lái)，以一種更精確、更符合我們期望的方式完成任務(wù)。

從更技術(shù)的角度來(lái)說(shuō)，這得益于 LLM 的核心架構(gòu)——Transformer。Transformer 的自注意力機(jī)制（Self-Attention）非常擅長(zhǎng)在給定的上下文（也就是你的整個(gè) Prompt）中尋找詞與詞之間的關(guān)聯(lián)。

當(dāng)我們提供 Few-Shot 樣本時(shí)，模型在處理我們真正要問(wèn)的那個(gè)問(wèn)題（“這新功能真是太棒了”）時(shí)，會(huì)同時(shí)“注意”到我們前面給出的例子，它會(huì)分析例子中的輸入與輸出之間的模式，然后將這個(gè)識(shí)別出的模式應(yīng)用到新問(wèn)題上。

這就像我們?cè)?Java 中調(diào)用某個(gè)第三方工具時(shí)，我們不會(huì)去修改它的源碼（凍結(jié)的權(quán)重），我們只是通過(guò)傳入不同的參數(shù)（Prompt）來(lái)調(diào)用它不同的能力，并組合這些能力來(lái)解決問(wèn)題。

總結(jié)一下

?簡(jiǎn)單通用任務(wù) -> Zero-Shot

?復(fù)雜/特定格式任務(wù) -> Few-Shot

?介于兩者之間 -> One-Shot

以上就是本文的主要內(nèi)容，希望能讓你對(duì)大模型底層有更多了解，都看到這了，別忘了點(diǎn)贊、分享、關(guān)注哦，謝謝你的鼓勵(lì)，是我持續(xù)創(chuàng)作的動(dòng)力。

如果你對(duì)大模型底層感興趣，如果你想要在未來(lái)的AI時(shí)代能有一席之地，如果你想通過(guò)AI來(lái)使自己翻身拼一把，如果你想要提高自己的競(jìng)爭(zhēng)力，想要升職，想要加薪，想要跳槽，想要被公司看重，想要有一個(gè)更好的職業(yè)生涯，僅僅只會(huì)用AI是完全不夠的，而是得懂AI底層，掌握大模型底層，這樣你才更有亮點(diǎn)，更加特殊，更加有價(jià)值，才是AI時(shí)代需要的程序員人才。

我最近新出了一個(gè)《零基礎(chǔ)手寫大模型》的課程，這個(gè)課非常能打，從零基礎(chǔ)開始，到神經(jīng)網(wǎng)絡(luò)，到語(yǔ)言大模型，最終到多模態(tài)大模型，GPT、DeepSeek、Stable Diffusion等著名模型的底層實(shí)現(xiàn)通通會(huì)講，理論+手寫+實(shí)戰(zhàn)，要多系統(tǒng)有多系統(tǒng)，要多全面有多全面，再加上我的講課能力，通過(guò)帶大家手寫代碼，讓大家從晦澀的數(shù)學(xué)公式中脫離出來(lái)，通過(guò)代碼掌握大模型底層，有理論講解，有手寫實(shí)現(xiàn)，有實(shí)戰(zhàn)訓(xùn)練，簡(jiǎn)直是一個(gè)完美課程。

課程學(xué)完，你可以找算法工程師、大模型底層開發(fā)等高薪崗位，競(jìng)爭(zhēng)壓力小，你也可以選擇繼續(xù)做Java程序員成為Java+AI雙架構(gòu)師，讓你比別人更有競(jìng)爭(zhēng)力，對(duì)你找工作、面試跳槽都非常有幫助，非常值得一學(xué)。

以下是我從零開始手寫的Stable Diffusion模型的效果展示，還不錯(cuò)吧：

圖片

以下是我從零開始手寫的GPT模型的效果展示，也還不錯(cuò)吧：

圖片