人工智能寒冬即將來臨

規(guī)模給了我們工具,而不是思想。
這就是殘酷的事實(shí)。
語言模型規(guī)模越來越大,并不能讓我們更接近通用智能。它只會給我們帶來更昂貴的自動補(bǔ)全機(jī)器。炒作之所以顯得強(qiáng)烈,是因?yàn)檠菔究雌饋磉\(yùn)行順暢,資金仍在不斷涌入,基準(zhǔn)測試也不斷上升。但我們以前也見過這種情況。故事的結(jié)局總是一樣。燈光重新亮起,資金冷卻,整個(gè)領(lǐng)域最終走向冷漠,思考到底出了什么問題。
Michael Wooldridge 已經(jīng)給了我們地圖。
在《通往意識機(jī)器之路》一書中,他講述了人工智能的真正故事,即一個(gè)漫長的興衰循環(huán)。從圖靈時(shí)代,到符號邏輯,到專家系統(tǒng),再到深度學(xué)習(xí),每一次崛起都建立在大膽的承諾之上,而每一次崩盤都發(fā)生在局限性變得清晰之時(shí)。他的書的價(jià)值不在于它以懷舊的筆觸回顧過去,而在于它揭示了一個(gè)清晰的模式。他甚至開篇就指出,大多數(shù)關(guān)于人工智能的流行文章都是胡說八道,然后又仔細(xì)地展示了該領(lǐng)域是如何在失敗中成長起來的。這正是在人工智能炒作達(dá)到頂峰時(shí),行業(yè)所忽視的那種誠實(shí)。
以20世紀(jì)70年代為例。英國政府請詹姆斯·萊特希爾爵士評估人工智能。他的報(bào)告直言不諱:目標(biāo)宏大,示例卻微不足道,算法在實(shí)驗(yàn)室外就失效了。資金崩潰,該領(lǐng)域進(jìn)入了第一個(gè)寒冬。這并不是因?yàn)槿斯ぶ悄軟]有價(jià)值,而是因?yàn)槭澜绮⒉魂P(guān)心新聞稿。
隨后到了20世紀(jì)80年代。專家系統(tǒng)看似勢不可擋。各大公司紛紛購買LISP機(jī)器。數(shù)字設(shè)備公司(DEC)憑借其XCON系統(tǒng)節(jié)省了數(shù)百萬美元。董事會成員確信知識驅(qū)動的計(jì)算才是未來。然而,市場卻崩潰了。機(jī)器變得過時(shí),系統(tǒng)無法通用化,第二個(gè)寒冬開始了。伍爾德里奇以平衡的視角展現(xiàn)了這一點(diǎn):它確實(shí)有一些價(jià)值,但工程設(shè)計(jì)薄弱,炒作過于夸張。
聽起來很熟悉?
再看看今天。愿景已經(jīng)從基于規(guī)則轉(zhuǎn)向了Transformers,但口號始終如一:規(guī)模化將帶來理解。然而,事實(shí)并非如此。深度學(xué)習(xí)的發(fā)明者之一Yann LeCun明確表示,大語言模型(LLM)并非通往人類智能的途徑。他的觀點(diǎn)很簡單。這些系統(tǒng)無法將知識扎根于現(xiàn)實(shí)世界,缺乏永久記憶,無法構(gòu)建因果模型,也無法進(jìn)行長遠(yuǎn)規(guī)劃。它們可以說話,但無法思考。LeCun主張研究世界模型、自監(jiān)督學(xué)習(xí)以及像JEPA這樣能夠?qū)W習(xí)預(yù)測性抽象概念的架構(gòu)。如果我們想要能夠感知、規(guī)劃和行動的智能,我們需要能夠構(gòu)建世界模型的系統(tǒng),而不僅僅是預(yù)測下一個(gè)詞。
這就是為什么伍爾德里奇和勒昆都很重要。伍爾德里奇是歷史學(xué)家,他提醒我們,炒作之后的崩潰是人工智能基因的一部分。勒昆是建造者,他指出當(dāng)前的高樓建立在薄弱的地基上,并提出了替代方案。將他們的論點(diǎn)放在一起,結(jié)論顯而易見:圍繞大語言模型規(guī)?;某醋鞑粫掷m(xù)太久。能夠熬過下一個(gè)寒冬的研究將是那些專注于表征、規(guī)劃和通過經(jīng)驗(yàn)學(xué)習(xí)的研究。
如果你想要快速證明,看看這些模型在訓(xùn)練數(shù)據(jù)之外的推理任務(wù)中是如何失敗的。像漢諾塔這樣的經(jīng)典謎題暴露了它們的弱點(diǎn)。它們虛張聲勢,它們發(fā)明步驟,或者一旦推理鏈變得太長就會崩潰。這并非道德上的失敗,而是一個(gè)設(shè)計(jì)缺陷。如果沒有一個(gè)內(nèi)在的世界模型,你就無法指望可靠的推理。媒體稱之為“涌現(xiàn)推理”。工程師稱其脆弱。投資者很快就會說它太貴了。
關(guān)于人工智能接管的末日警告也是不合時(shí)宜的。如果當(dāng)前的模型無法提前十步規(guī)劃,那么它們肯定不會計(jì)劃推翻人類。LeCun 已經(jīng)明確指出:智能并不會自動渴望權(quán)力。我們應(yīng)該擔(dān)心的是更實(shí)際的問題:大公司擁有核心基礎(chǔ)設(shè)施,安全關(guān)鍵系統(tǒng)中使用的黑箱模型,培訓(xùn)的巨大環(huán)境成本,以及我們將思維外包所帶來的社會技能下降。這些都是現(xiàn)實(shí)問題,可以通過監(jiān)管、設(shè)計(jì)和政策來管理。
許多受人尊敬的科學(xué)家都曾警告過當(dāng)前方法的局限性。加里·馬庫斯 (Gary Marcus) 認(rèn)為深度學(xué)習(xí)貪婪、脆弱且膚淺,并主張建立將模式識別與符號推理相結(jié)合的混合系統(tǒng)。梅蘭妮·米切爾 (Melanie Mitchell) 指出,人們很容易將表面表現(xiàn)與真正的智能相混淆。朱迪亞·珀?duì)?(Judea Pearl) 解釋了為什么因果模型比原始相關(guān)性更重要。埃里克·拉爾森 (Erik Larson) 提醒我們,邁向真正的人工智能并非必然。他們中沒有人說人工智能是無用的。他們說,如今的訣竅——擴(kuò)大大語言模型(LLM) 的規(guī)?!⒎峭ㄍ季S之路。
歷史也能告訴我們接下來會發(fā)生什么。人工智能的寒冬總是有規(guī)律可循的。期望過高,項(xiàng)目無法交付,預(yù)算緊縮,曾經(jīng)看似通用的技術(shù)最終被發(fā)現(xiàn)用途狹窄。我們已經(jīng)看到了這些跡象。培訓(xùn)成本的增長速度超過了能力的增長速度。脆弱的核心之上不斷添加安全補(bǔ)丁。基準(zhǔn)測試趨于平緩。監(jiān)管機(jī)構(gòu)正在覺醒。首席信息官們正在悄悄地重新發(fā)現(xiàn)那些不會產(chǎn)生幻覺的軟件帶來的舒適感。
這不是玩世不恭,而是一種策略。大語言模型(LLM)作為語言、編碼和內(nèi)容的工具非常有用。但我們不應(yīng)該自欺欺人地認(rèn)為它們能像工程師甚至孩子一樣推理。就連LeCun也說它們做不到。如果我們想要機(jī)器能夠理解和行動,我們就需要投資于世界模型、更好的自監(jiān)督學(xué)習(xí)以及能夠規(guī)劃的系統(tǒng)。如果我們想要產(chǎn)品能夠持久,我們就需要將學(xué)習(xí)與規(guī)則和顯式算法相結(jié)合的混合系統(tǒng)。
Wooldridge 還提醒我們社會層面的問題。人工智能的寒冬不僅僅關(guān)乎科學(xué),而關(guān)乎一種失敗的戰(zhàn)略。20 世紀(jì) 80 年代,公司組建了專家系統(tǒng)團(tuán)隊(duì),然后在市場崩潰時(shí)將其解散。如今,整個(gè)公司都在圍繞大語言模型(LLM)進(jìn)行轉(zhuǎn)型。當(dāng)增長放緩、云計(jì)算費(fèi)用上漲時(shí),首席財(cái)務(wù)官們就會削減開支。如果你的業(yè)務(wù)僅僅依賴于規(guī)模,那么重新調(diào)整將是殘酷的。如果你的業(yè)務(wù)建立在基本面之上,那么這將是一次健康的調(diào)整。
所以,沒錯(cuò),寒冬即將來臨。它不會扼殺人工智能,而是會掃除那些炒作。贏家將是那些傾聽批評者而不是將其駁斥的人。聽聽伍爾德里奇 (Wooldridge) 的說法:人工智能的過去充滿了從未實(shí)現(xiàn)規(guī)?;慕^妙想法。聽聽勒昆 (LeCun) 的說法:單靠文本不足以教導(dǎo)世界。聽聽馬庫斯 (Marcus)、米切爾 (Mitchell)、珀?duì)?(Pearl) 和拉爾森 (Larson) 的說法:單靠模式識別將不斷讓我們失望。
這其中也蘊(yùn)含著文化層面的積極意義。近年來,我們開始接受流暢的文字來替代真正的思考?!岸臁睂⑻嵝盐覀兦逦膶懽?、扎實(shí)的代碼以及能夠自我解釋的模型的價(jià)值。能夠幸存下來的實(shí)驗(yàn)室將是那些將語言視為真正思考系統(tǒng)的用戶界面的實(shí)驗(yàn)室。其余的實(shí)驗(yàn)室將保持原樣:就像關(guān)在閃亮籠子里的昂貴鸚鵡。
如果你正在制定戰(zhàn)略,請記住這句話:規(guī)模給了我們工具,而不是思維。這個(gè)領(lǐng)域以前也出現(xiàn)過類似的情況。下一代模型必須能夠觀察、記憶、規(guī)劃和解釋。資金應(yīng)該隨之而來,而不是又一輪參數(shù)膨脹。冬天不是終點(diǎn)。冬天是炒作消退,真正工作開始的時(shí)刻。






















