十問(wèn)復(fù)旦邱錫鵬:大模型進(jìn)入安卓時(shí)代,希望有國(guó)產(chǎn)模型能代替LIama
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
千模大戰(zhàn)序幕拉起,復(fù)旦邱錫鵬教授這樣說(shuō)。
作為國(guó)內(nèi)最早推出類ChatGPT模型的MOSS團(tuán)隊(duì)帶頭人,看到大半年來(lái)國(guó)內(nèi)外大模型發(fā)展,他有了新的認(rèn)知體會(huì)。
在由思佰誠(chéng)科技舉辦的首屆人工智能生成內(nèi)容國(guó)際會(huì)議(AIGC 2023)上,他坦言,雖然大家都說(shuō)大模型更偏工程化,但實(shí)際還有諸多科學(xué)挑戰(zhàn)仍待解決,比如訓(xùn)練目標(biāo)的設(shè)計(jì)、內(nèi)存優(yōu)化、自動(dòng)化評(píng)測(cè)、大模型平民化、新架構(gòu)等。
在MOSS發(fā)布之后這大半年間,他所在團(tuán)隊(duì)又取得了一定的成果:跨模態(tài)語(yǔ)音大模型SpeechGPT、優(yōu)化器LOMO可實(shí)現(xiàn)單機(jī)微調(diào)650億參數(shù)大模型;MOSS中文能力已超ChatGPT……
不過(guò)接下來(lái),邱錫鵬透露不急于將MOSS產(chǎn)品化,而是繼續(xù)在新架構(gòu)探索,以及大模型的代碼能力、數(shù)學(xué)能力上去進(jìn)一步提升。
在與量子位的交談中,他談到了LIama開源生態(tài)、國(guó)內(nèi)競(jìng)爭(zhēng)格局、大模型產(chǎn)業(yè)落地,以及目前存在大模型幻覺(jué)、評(píng)測(cè)刷榜等現(xiàn)象在內(nèi)的十大問(wèn)題。
在不改變?cè)獾幕A(chǔ)上,量子位做了如下整理:
- 大模型進(jìn)入到安卓時(shí)代,很多開源大模型中最終可能有一家勝出,現(xiàn)在來(lái)看就是LIama;
- 國(guó)內(nèi)大模型同質(zhì)化嚴(yán)重,希望有國(guó)產(chǎn)模型能代替LIama;
- 現(xiàn)在很多大模型都沒(méi)有做到RLHF這一步,后者在某些技術(shù)領(lǐng)域也不是必須的;
- 大模型幻覺(jué)并不是一件壞事,通常做法還會(huì)導(dǎo)致性能降低;
- 創(chuàng)業(yè)窗口變大,每個(gè)人都可以借助大模型來(lái)做一些自己想做的事。
談LIama開源生態(tài)
量子位:現(xiàn)在大模型進(jìn)入到安卓時(shí)刻了嗎?
邱錫鵬:是的,整體上是以LIama為主的開源生態(tài)。它離GPT-4有一定差距。很多復(fù)雜應(yīng)用還是只能GPT-4去做,LIama仍需要進(jìn)一步提升。
量子位:具體什么地方提升?
邱錫鵬:還得是基座。
量子位:LIama對(duì)市場(chǎng)格局的改變,如何看待?
邱錫鵬:一開始會(huì)有很多開源模型,最終可能有一家勝出,目前看來(lái)就是LIama。
量子位:為什么?
邱錫鵬:首先性能足夠好,然后圍繞它配套的上下游生態(tài)已經(jīng)挺多了。當(dāng)你要重新提一個(gè)新模型時(shí),就不得不考慮上下游問(wèn)題。將來(lái)其他大模型要想替代LIama不是不可以,但成本就會(huì)非常非常高,相當(dāng)于要打破一個(gè)生態(tài)鏈。
談國(guó)內(nèi)競(jìng)爭(zhēng)格局
量子位:國(guó)內(nèi)是否會(huì)出現(xiàn)第二個(gè)LIama?
邱錫鵬:國(guó)內(nèi)基本上就各做各的,如果沒(méi)有顯著的差異或性能提升,所以很難建立同等的生態(tài)。希望國(guó)產(chǎn)模型能取代Llama,否則可能會(huì)限制我們將來(lái)的一些發(fā)展。
量子位:現(xiàn)在千模大戰(zhàn),未來(lái)會(huì)變成幾個(gè)大模型勝出。
邱錫鵬:肯定的。但現(xiàn)在整體都做得比較同質(zhì)化,不太可能建立用戶粘性,最終需要靠性能取勝。
談大模型產(chǎn)業(yè)落地
量子位:很多人說(shuō)大模型產(chǎn)業(yè)落地到「最后一公里」了,你怎么看待?
邱錫鵬:是不是最后一公里不太確定,但肯定是極大地促進(jìn)產(chǎn)業(yè)落地。大模型確實(shí)改變了之前人工智能的應(yīng)用范式。之前做一個(gè)產(chǎn)品,可能需要更多人力去標(biāo)注數(shù)據(jù),這是個(gè)很大的市場(chǎng)需求。但現(xiàn)在大模型就不太需要太多標(biāo)注數(shù)據(jù),將整個(gè)技術(shù)或者應(yīng)用門檻降得很低。但缺點(diǎn)就是算力要求更高。
量子位:創(chuàng)業(yè)窗口更大了嗎?
邱錫鵬:對(duì),就是面向更終端的應(yīng)用,每個(gè)人都可以借助大模型來(lái)做一些自己想做的事情。
量子位:SFT、RLHF還沒(méi)形成很好的范式,什么時(shí)候能達(dá)到工業(yè)界應(yīng)用水平?
邱錫鵬:現(xiàn)在已經(jīng)有套完整的技術(shù)路徑,加上有很多工具能幫助大模型在垂直行業(yè)的應(yīng)用。這樣的技術(shù)路徑依賴能使門檻變得非常低。技術(shù)成熟度目前我覺(jué)得還是比較高的。
量子位:追求通用性同時(shí),如何平衡大模型各領(lǐng)域需求?
邱錫鵬:大模型本身通用性強(qiáng)的話,補(bǔ)一些垂直領(lǐng)域知識(shí)可能就夠了,這部分并不是特別困難,成本跟預(yù)訓(xùn)練相比會(huì)低很多。
量子位:像LIama2在SFT、RLHF用了100萬(wàn)量級(jí)人工標(biāo)注數(shù)據(jù),這種在數(shù)據(jù)量和成本上都是很大的。
邱錫鵬:現(xiàn)在很多大模型都沒(méi)有做到RLHF這一步,只是做到SFT。
量子位:這步對(duì)產(chǎn)業(yè)落地是有必要的嗎?
邱錫鵬:也不是必須的,比如在一個(gè)技術(shù)領(lǐng)域模型,就不會(huì)特別關(guān)注所謂無(wú)害性、誠(chéng)實(shí)性這些特質(zhì),就像讓它寫個(gè)代碼,通常來(lái)講對(duì)齊會(huì)降低模型能力。
談評(píng)測(cè)刷榜現(xiàn)象
量子位:怎么去看待有的大模型團(tuán)隊(duì)刷榜現(xiàn)象。
邱錫鵬:目前還沒(méi)有一個(gè)特別好的數(shù)據(jù)集能反映大模型各種能力的,各方都在探索。但現(xiàn)在主要問(wèn)題是,總體上對(duì)于生成式算法模型的評(píng)測(cè)是相當(dāng)困難的。
量子位:舉個(gè)例子。
邱錫鵬:就像ChatGPT刷榜不一定能刷過(guò)谷歌的大模型,但使用體驗(yàn)上就是更好。真正的評(píng)價(jià)可能還是要來(lái)自于人類真實(shí)感受,但這種評(píng)價(jià)的成本比較高,也很難定量化。
量子位:那客觀指標(biāo)還需要嗎?
邱錫鵬:還是需要的,但最好就是像以前變成學(xué)術(shù)界比方法就夠了。現(xiàn)在很多企業(yè)去刷榜,但又不公開數(shù)據(jù),也不具體說(shuō)怎么做,我覺(jué)得這是一種不公平的競(jìng)爭(zhēng)。
比如說(shuō)國(guó)內(nèi)C-Eval,本身質(zhì)量還挺高但出來(lái)幾天就被刷榜了,導(dǎo)致學(xué)術(shù)價(jià)值就不大了。
談大模型幻覺(jué)問(wèn)題
量子位:大模型幻覺(jué)方面,咱們是否有些相關(guān)進(jìn)展?
邱錫鵬:這方面本身做的并不是特別多,目前可靠的方法還是偏應(yīng)用端去消除幻覺(jué)。除此之外,還有人通過(guò)對(duì)齊或負(fù)反饋的方式去識(shí)別。但我個(gè)人的觀點(diǎn)是,消除幻覺(jué)可能外部加些知識(shí)驗(yàn)證就可以解決這件事,而不是從機(jī)理上去消除它。
量子位:為什么?
邱錫鵬:感覺(jué)它和模型這種思維能力是強(qiáng)相關(guān)的,有可能幻覺(jué)消失了,導(dǎo)致模型能力會(huì)下降。
量子位:幻覺(jué)并不是件壞事?
邱錫鵬:它可能不是件壞事,需要分場(chǎng)合去利用。比如有些場(chǎng)合繪畫創(chuàng)作、科學(xué)發(fā)現(xiàn)是利用幻覺(jué)的。
談AI對(duì)齊
量子位:OpenAI有個(gè)超級(jí)對(duì)齊團(tuán)隊(duì),最終可能是AI對(duì)齊AI,您是怎么看待這件事?
邱錫鵬:對(duì)齊確實(shí)是件很難做的事情。所謂AI對(duì)齊人類價(jià)值觀,我們?nèi)祟惐旧淼膬r(jià)值觀都很難衡量。但像AI對(duì)齊某些能力是可以的,比如像解數(shù)學(xué)題、下棋,因?yàn)樗暮脡牟恍枰藖?lái)評(píng)價(jià),用AI對(duì)齊就更好。
量子位:數(shù)理方面,大模型能力還比較欠缺。
邱錫鵬:這一塊我覺(jué)得是需要更高質(zhì)量的數(shù)據(jù)集。
談對(duì)NLP的影響
量子位:大語(yǔ)言模型給自然語(yǔ)言處理帶來(lái)什么樣的影響?
邱錫鵬:相當(dāng)于整個(gè)領(lǐng)域需要重新劃分。早期是按照不同領(lǐng)域以及任務(wù)來(lái)劃分,現(xiàn)在就要從不同階段來(lái)劃分,大體包括:預(yù)訓(xùn)練、指令微調(diào)、RLHF,這就導(dǎo)致大家做的東西比較雷同,沒(méi)有像以前那樣多樣性——
現(xiàn)在大語(yǔ)言模型雖說(shuō)有很多,但基本都是基于Transformer架構(gòu),訓(xùn)練數(shù)據(jù)、訓(xùn)練方法也差不多。
量子位:帶來(lái)什么樣的挑戰(zhàn)?
邱錫鵬:首先就賽道擁擠,大家都統(tǒng)一集中到這一賽道;另一個(gè)就是提示變得十分重要,有點(diǎn)重新回到此前特征工程里面去,還有就是算力偏高,能耗高,以及很難有客觀化的評(píng)價(jià)指標(biāo),以及外加安全問(wèn)題。
這些挑戰(zhàn)其實(shí)是下沉到大模型從預(yù)訓(xùn)練到應(yīng)用的各個(gè)階段的。
談大模型科學(xué)挑戰(zhàn)
量子位:普遍認(rèn)知中大模型偏工程化,還有哪些科學(xué)問(wèn)題需要解決?
邱錫鵬:主要有以下幾點(diǎn):
- 模型架構(gòu),Transformer的缺點(diǎn)就是復(fù)雜度和字符長(zhǎng)度是平方的關(guān)系,擴(kuò)展規(guī)模時(shí)就會(huì)變成瓶頸,未來(lái)肯定是有些新的架構(gòu)產(chǎn)生。
- 思維鏈能力來(lái)源,要準(zhǔn)備什么樣的數(shù)據(jù)去提升它的能力,現(xiàn)在還沒(méi)有一個(gè)公認(rèn)手段。
- 訓(xùn)練目標(biāo)的設(shè)計(jì),早期機(jī)器學(xué)習(xí)目標(biāo)很明確,可以端到端去減少泛化誤差;但現(xiàn)在大語(yǔ)言模型每個(gè)階段(預(yù)訓(xùn)練、精調(diào)加對(duì)齊)目標(biāo)與最終目標(biāo)是不是一致?如何去設(shè)計(jì),這是需要去探索的。
- 幻覺(jué),現(xiàn)在已經(jīng)有些流行框架去解決,比如LangChain、LIamaIndex等,但有沒(méi)有更深刻去理解背后工作依據(jù)去揚(yáng)長(zhǎng)避短,這值得研究。
- 多模態(tài)拓展,只在符號(hào)世界的知識(shí)總歸是受限的,如何與更多模態(tài)對(duì)齊?,F(xiàn)在主流方式,比如在接到大語(yǔ)言模型之前接一個(gè)編碼器,將多模態(tài)信息變成向量,但只是單方面對(duì)齊,模態(tài)之間沒(méi)有充分融合。
我們有做一個(gè)SpeechGPT——讓大模型直接接收語(yǔ)音信號(hào),將語(yǔ)音離散化為Token直接輸入給大模型,大模型可以直接輸入和輸出語(yǔ)音。 - 知識(shí)來(lái)源,大模型已經(jīng)學(xué)到很多文本層面的知識(shí),那今后進(jìn)一步去提升,還能如何提升?比如那些文本所不能承載的知識(shí),現(xiàn)在也有一些方法,比如多模態(tài)學(xué)習(xí)、具身學(xué)習(xí)等。
- 實(shí)時(shí)學(xué)習(xí),如何讓大模型與人的交互中進(jìn)行學(xué)習(xí),并與參數(shù)更新結(jié)合在一起,讓其知識(shí)水平不斷提高。
- 智能體,讓大模型作為Agent的載體,賦予它各種能力去完成復(fù)雜任務(wù);進(jìn)一步思考,多個(gè)智能體之間又是怎樣去交互?
- 自動(dòng)化評(píng)價(jià),現(xiàn)在大模型在推理能力、數(shù)學(xué)能力、代碼能力等方面都差得比較遠(yuǎn),但這些能力才足以支撐去做很多復(fù)雜的工作,因此要做一種指標(biāo)去衡量這些能力,同時(shí)還要避免「刷榜」這種現(xiàn)象。
- 第十個(gè)有點(diǎn)偏工程,但也是個(gè)科學(xué)問(wèn)題,就是大模型的平民化,如果算力要求依然很高,那將只受限于小部分人去做研究。我們?cè)诳紤]一種全量的微調(diào)優(yōu)化方法。前段時(shí)間提出了一種名為L(zhǎng)OMO(低內(nèi)存優(yōu)化)的新優(yōu)化器,并在配備8卡3090(24GB內(nèi)存)的單臺(tái)服務(wù)器,成功微調(diào)65B的LIama。
量子位:這些問(wèn)題工業(yè)界需要關(guān)注嗎?
邱錫鵬:我認(rèn)為值得重視,現(xiàn)在國(guó)內(nèi)一些團(tuán)隊(duì)基本只看到工程化,但其實(shí)里面很多挑戰(zhàn)沒(méi)有解決。
量子位:學(xué)界和工業(yè)界之間大模型分工是怎樣的?
邱錫鵬:我覺(jué)得兩者之間不存在分工,就像OpenAI自己的研究團(tuán)隊(duì)、DeepMind都有在研究這些問(wèn)題。
談MOSS進(jìn)展
量子位:MOSS下一步將提高哪些方面的能力?
邱錫鵬:可能在新架構(gòu),以及大模型的代碼能力、數(shù)學(xué)能力上去進(jìn)一步提升。
量子位:成本的情況是怎樣的?像OpenAI之前爆出每天燒掉70萬(wàn)美元。
邱錫鵬:我們沒(méi)有一個(gè)完全嚴(yán)格的數(shù)字,但每天也是有幾百?gòu)埧ㄔ谂堋?/p>
量子位:未來(lái)會(huì)考慮出應(yīng)用端產(chǎn)品?
邱錫鵬:可能在更遠(yuǎn)的將來(lái)。
量子位:為什么?
邱錫鵬:目前很多大模型但架構(gòu)比較雷同,沒(méi)有形成相較于其他大模型的獨(dú)特性。如果未來(lái)能有一些技術(shù)創(chuàng)新能形成競(jìng)爭(zhēng)力的東西,就可以去做些商業(yè)化落地的事情。
量子位:那有沒(méi)有預(yù)期的時(shí)間?
邱錫鵬:沒(méi)有。
量子位:之前提到將推出更大參數(shù)模型,是否有在推進(jìn)中。
邱錫鵬:MOSS本身沒(méi)有,但團(tuán)隊(duì)有參與到其他單位大模型訓(xùn)練中。
談?wù)J知變化
量子位:對(duì)大模型的認(rèn)知,跟半年前有什么變化?
邱錫鵬:那當(dāng)然就是一開始大家都不會(huì)理解為什么大模型能做得這么好,現(xiàn)在覺(jué)得理所當(dāng)然。比如SFT指令微調(diào)之后,就可以聽懂人話之類,這件事放半年前或ChatGPT推出之前,不是所有人都能想到的。
然后放在今天,對(duì)大模型的理解就又不一樣了——已經(jīng)不把它當(dāng)做一個(gè)只聊天的模型,更多是一種決策模型。讓大家可以參與到更復(fù)雜的智能決策,包括智能體之類。