Scaling law走到盡頭了嗎？

近日，馬庫(kù)斯的一句「Is scaling all you need?」引發(fā)了正反兩方的論戰(zhàn)。

馬庫(kù)斯表示，距離GPT-4發(fā)布已經(jīng)過去了14.5個(gè)月，在那之后，又有大約有500億美元投資在芯片上，但仍然沒有模型能夠真正打敗GPT-4。

It's now 14.5 months post GPT-4, and roughly $50B in chipspost GPT-4, and still nobody has decisively beat it.

Many have converged in roughly the same place.

That's *evidence*. Each day that passes without a further breakthrough is more evidence that it is time to consider alternatives.

業(yè)界和學(xué)界砸了這么多資源在LLM上，但證據(jù)似乎表明，我們已經(jīng)很長(zhǎng)時(shí)間停滯不前了。

展望未來(lái)，模型性能提升所需的算力已經(jīng)很難滿足（遠(yuǎn)超摩爾定律），

而又有研究表明LLM性能的線性增長(zhǎng)，很可能需要指數(shù)級(jí)的數(shù)據(jù)，

——「也許，是時(shí)候考慮替代方案了?！?/span>

德克薩斯大學(xué)心理學(xué)教授Art Markman表示，「我們已經(jīng)把所有數(shù)據(jù)都榨干了」。

歸根結(jié)底，這與模型的大小無(wú)關(guān)，而是與語(yǔ)言統(tǒng)計(jì)結(jié)構(gòu)中的信息量有關(guān)。我認(rèn)為我們已經(jīng)從這些數(shù)據(jù)中榨取了所有可能的東西。除非我們開發(fā)出強(qiáng)大的方法，把LLM鏈接到基于符號(hào)知識(shí)的模型，否則我們就觸及天花板了。

另有專業(yè)人士認(rèn)為，問題出在數(shù)學(xué)層面，「我們現(xiàn)在處于一個(gè)平臺(tái)期，因?yàn)榇蟛糠謹(jǐn)?shù)據(jù)已經(jīng)被消耗掉了，而使用模型自己生成的數(shù)據(jù)會(huì)破壞系統(tǒng)」。

「除非再次改變整個(gè)結(jié)構(gòu)，否則大多數(shù)人工智能將逐漸消失」。

Scaling is all you need.

對(duì)此反方表示，你們太消極了，咱們這不是天天都有進(jìn)步嗎？

模型越來(lái)越小，速度越來(lái)越快，并且能保持接近SOTA的性能，——還要啥自行車？

「Llama 3 70B比GPT-4（1.8T參數(shù)）小約25倍，性能相似。GPT-4o的大小可能是GPT-4的一半，但性能優(yōu)于GPT-4，并且包括音頻和圖像生成?！?/span>

還有網(wǎng)友說(shuō)，你又沒看到在10倍算力和10倍數(shù)據(jù)上訓(xùn)練的模型，怎么能說(shuō)撞墻了？

我們已從數(shù)據(jù)中榨取一切

許多跡象表明，我們已經(jīng)進(jìn)入了回報(bào)遞減的時(shí)期。

我們都知道GPT-3比GPT-2好得多，而GPT-4比GPT-3好得多，——但之后呢？

OpenAI曾用這張圖表來(lái)吹捧GPT-4 Turbo在過去一段時(shí)間的改進(jìn)：

確實(shí)看上去有一些提升，但問題是，從長(zhǎng)期的歷史數(shù)據(jù)來(lái)看，進(jìn)步的比例有多少。

馬庫(kù)斯在自己的博客中給出了下面這張圖：

能作為對(duì)比的基準(zhǔn)測(cè)試只找到了MMLU，里面也沒有GPT 3.5，算是管中窺豹吧。

當(dāng)然了，沒有再進(jìn)步的一個(gè)原因可能是觸及基準(zhǔn)測(cè)試的上限了，畢竟100分很可能只是代表著過擬合。

所以，讓我們來(lái)看另一項(xiàng)有趣的測(cè)試：來(lái)自《紐約時(shí)報(bào)》的Connections游戲。

聰明的人類可以在任何給定數(shù)據(jù)上獲得90以上的分?jǐn)?shù)，但目前的模型得分還比較保守，完全不存在摸到天花板的問題。

我們可以看到，在性能獲得巨大飛躍之后，GPT-4系列好像就熄火了。

那堵墻要來(lái)了

從另一個(gè)角度看，模型的性能似乎也正在收斂。

下圖給出了開源和閉源兩個(gè)陣營(yíng)的戰(zhàn)況：

紅點(diǎn)代表的閉源模型領(lǐng)先于同時(shí)期的開源模型，但通過擬合紅綠雙方的數(shù)據(jù)，我們可以發(fā)現(xiàn)，開源和閉源的性能差距在逐漸縮小。

另外，從2022年大模型爆火到今天，LLM仍然會(huì)時(shí)不時(shí)犯一些愚蠢的錯(cuò)誤，幻覺問題也依然沒有得到解決。

比如已經(jīng)學(xué)會(huì)畫圖的ChatGPT，仍然可能不會(huì)數(shù)數(shù)：

如果LLM無(wú)法解決自身的問題，如果人們對(duì)于GenAI的熱情開始減弱，這個(gè)領(lǐng)域的市場(chǎng)估值將會(huì)暴跌。

當(dāng)然，AI不會(huì)消失，LLM也不會(huì)消失，而是會(huì)成為一種近似的工具占有一席之地，但那個(gè)黃金時(shí)代再也不會(huì)到來(lái)了。

AI 小廠苦苦掙扎

在Sequoia Capital的一項(xiàng)統(tǒng)計(jì)中，初創(chuàng)公司大概花了500億美元購(gòu)買NVIDIA的芯片來(lái)訓(xùn)練大模型，

但結(jié)果是，他們總共只賺了30億美元，——這樣的買賣顯然做不成。

大多數(shù)公司都在苦苦掙扎，尋找能賺錢的路子，另一方面，迫于經(jīng)濟(jì)壓力，很多公司也在裁員或者轉(zhuǎn)型。

最近幾周，Inflection AI基本上關(guān)閉了商店，首席執(zhí)行官和大部分員工已經(jīng)離職加入了微軟；

Character.ai的產(chǎn)品很受歡迎，但報(bào)告的年收入僅有不到2000萬(wàn)美元；

基于LLM的自動(dòng)駕駛公司Ghost關(guān)閉了商店；

「差點(diǎn)取代了程序員」的AI編碼系統(tǒng)Devin受到嚴(yán)重質(zhì)疑；

還有早已不再「stable」的Stability AI，風(fēng)雨中飄搖但身殘志堅(jiān)，發(fā)不起工資也不耽誤開源，如今四處找錢尋求「賣身」。

除了頭部的OpenAI和Anthropic，大部分AI小廠的日子都不好過，哪怕是曾風(fēng)光一時(shí)的獨(dú)角獸，沒有靠譜的商業(yè)模式，錢燒完也就完了。

一位AI領(lǐng)域的CEO表示，風(fēng)險(xiǎn)投資者也開始變得謹(jǐn)慎了，希望控制成本，希望看到收益。

生成式AI的初創(chuàng)公司目前也傾向于選擇計(jì)算需求較小的道路，省錢、省電、省人，趕緊想辦法搞錢，而不是先給英偉達(dá)爸爸上貢。

同時(shí)，我們也看到了開源模型的崛起，Meta和Mistral等公司為世界提供了更低成本的解決方案，小廠可以在此基礎(chǔ)上前進(jìn)。

AI產(chǎn)業(yè)的整條鏈路上，最不擔(dān)心的就是老黃了。

老黃表示，聊天機(jī)器人正在向多模態(tài)邁進(jìn)，對(duì)于圖片和聲音的處理會(huì)消耗掉所有的GPU。

而且有很多GenAI初創(chuàng)公司還拿不到所需的GPU，老黃估計(jì)有15,000到20,000個(gè)不同領(lǐng)域的公司都需要訓(xùn)練端到端模型。

然而，這些模型的大小以及他們需要的計(jì)算能力如何，還是一個(gè)問題。

我們通常認(rèn)為英偉達(dá)的最大客戶是那些大型云服務(wù)提供商，但自動(dòng)駕駛、邊緣計(jì)算、機(jī)器人等，已經(jīng)成長(zhǎng)為一個(gè)巨大且重要的市場(chǎng)。

特斯拉有幾百萬(wàn)輛汽車行駛在世界各地，終端和云端都需要處理大量的數(shù)據(jù)。

馬老板買了35000個(gè)GPU，這還只是個(gè)開始，未來(lái)這個(gè)領(lǐng)域的變化會(huì)非?？?，會(huì)有更多的新動(dòng)態(tài)，和層出不窮的新技術(shù)。

在這方面，很多公司應(yīng)該向馬老板學(xué)習(xí)，先賺到錢才是王道。