前幾天微軟中國的創(chuàng)新技術(shù)總經(jīng)理崔宏禹在上海的未來技術(shù)峰會(huì)上提出，GPT-4后不建議在模型上微調(diào)，而是采用把知識(shí)庫映射為低維向量嵌入到大模型里就可以了。我以前猜測NEWBING的較為精準(zhǔn)的回答模式就是采用這種方式實(shí)現(xiàn)的，從崔總的觀點(diǎn)上看，還是很可能的。

  實(shí)際上崔總的觀點(diǎn)主要是依據(jù)于GPT-4的基礎(chǔ)能力已經(jīng)比較強(qiáng)了。利用GPT-4的能力獲取到提問的關(guān)鍵要素，然后利用對(duì)低維向量的精準(zhǔn)搜索找到確定的知識(shí)，然后再用GPT-4去推理，獲得更為完善的知識(shí)，反饋給用戶，一般情況下可以獲得很好的效果。從這段時(shí)間我使用NEWBING的體驗(yàn)來說，這一點(diǎn)我是比較認(rèn)可的，自從擁有了NEWBING以后，我已經(jīng)沒有了再開一個(gè)OPENAI的賬號(hào)，替代那個(gè)被封掉的老賬號(hào)的想法了。不過NEWBING在一些十分專業(yè)領(lǐng)域的知識(shí)方面依然不盡如人意，回答專業(yè)知識(shí)的準(zhǔn)確性也存在很大問題。有些時(shí)候我不得不從GOOGLE上獲得更專業(yè)的知識(shí)，有些專業(yè)性比較強(qiáng)的知識(shí)也需要到GOOGLE上進(jìn)行確認(rèn)。

  這些體驗(yàn)都說明了GPT-4還不夠完美，針對(duì)領(lǐng)域?qū)I(yè)知識(shí)的微調(diào)訓(xùn)練似乎還是不可避免的。不知道是我對(duì)大語言模型的理解還比較膚淺，還是微軟在NEWBING的工具鏈上有我所不知道的技術(shù)，能夠解決基礎(chǔ)大語言模型在專業(yè)知識(shí)領(lǐng)域的能力不足的問題，亦或是崔總的觀點(diǎn)本身在某些專業(yè)領(lǐng)域并不準(zhǔn)確，以我目前在這方面的能力而言，是無法判斷的，還需要多向這方面的專家學(xué)習(xí)。

  奇怪的是，最近這些天崔總的觀點(diǎn)被大量的國產(chǎn)大語言模型的擁有者反復(fù)的復(fù)述，這幾天關(guān)于這方面的話題，發(fā)文者大多數(shù)講述了和崔總類似的觀點(diǎn)，這又讓我感到我是不是遇到了某種知障，沒能理解專業(yè)知識(shí)自動(dòng)化方面的一條正確的途徑。因?yàn)樵谖易罱@方面的事件來看，基礎(chǔ)模型如果對(duì)某個(gè)專業(yè)知識(shí)領(lǐng)域的知識(shí)過于膚淺，哪怕利用LANGCHAIN整合低維向量化的本地知識(shí)庫，其性能也是不太理想的，因此我們目前還在努力提高預(yù)訓(xùn)練模型在某專業(yè)領(lǐng)域知識(shí)上的性能。

  上周也和一家從事智能化解決方案的企業(yè)領(lǐng)導(dǎo)交流過關(guān)于大語言模型在運(yùn)維智能化方面的應(yīng)用，他說他們前幾年就已經(jīng)開發(fā)了完善的應(yīng)用平臺(tái)，可以直接通過專業(yè)書籍自動(dòng)生成應(yīng)答，從而簡化預(yù)訓(xùn)練。我想如果他所說的事情真的做到了，那么將會(huì)是十分有價(jià)值的，他們?cè)谶@個(gè)領(lǐng)域應(yīng)該可以很快構(gòu)建出大量有價(jià)值的應(yīng)用。不過事后我在他們的官網(wǎng)上并沒有看到相關(guān)的應(yīng)用案例，他也沒有和我探討如何在數(shù)據(jù)庫運(yùn)維領(lǐng)域方面構(gòu)建這方面能力的問題。

  最近和幾個(gè)在從事大語言模型輔助智能運(yùn)維的團(tuán)隊(duì)做了幾次不是很深的交流，感覺大家做的事情都差不多，選擇一款可離線私有化部署的模型，做微調(diào)訓(xùn)練，整合工具鏈和向量化本地知識(shí)庫。不過大家做得都還比較淺，沒有看到特別激動(dòng)人心的成果。

  而在與做智能化算法或者工程方面的朋友交流的時(shí)候，他們關(guān)注的往往是模型本身，對(duì)行業(yè)知識(shí)庫往往興趣不足。以我目前的認(rèn)知而言，高性能的模型?專業(yè)知識(shí)庫才是解決問題的關(guān)鍵。但是我目前還沒找到專業(yè)知識(shí)庫與高性能模型之間完美結(jié)合的方法。也希望在做這方面工作或者對(duì)這方面工作有心得的朋友多交流交流。

  周末的時(shí)候做了一個(gè)測試性的微調(diào)訓(xùn)練，跑了四十多個(gè)小時(shí)后我中斷了訓(xùn)練，測試了效果，大體上還是滿意的，于是我用一個(gè)近三萬樣本的訓(xùn)練集重新做了訓(xùn)練，大約再過70個(gè)小時(shí)應(yīng)該有結(jié)果了。裝備太差，做這方面工作真的很鬧心。等有了結(jié)果再和大家交流吧。