在科技飛速發(fā)展的今天，人工智能（AI）已經(jīng)成為大家耳熟能詳?shù)脑~匯。從手機(jī)里能陪你聊天的智能語(yǔ)音助手，到能自動(dòng)識(shí)別照片內(nèi)容的圖像軟件，AI的身影無(wú)處不在。不過(guò)，你知道嗎？AI的發(fā)展正迎來(lái)一個(gè)關(guān)鍵轉(zhuǎn)折點(diǎn)，就像一場(chǎng)比賽進(jìn)入了下半場(chǎng)。今天，就讓我們一起深入了解AI的這場(chǎng)“下半場(chǎng)”變革。

一、AI上半場(chǎng)：模型與方法的狂歡

（一）輝煌成就：打敗人類(lèi)冠軍，通過(guò)各類(lèi)考試

過(guò)去幾十年，AI取得了不少令人驚嘆的成績(jī)。在棋盤(pán)上，AI化身“棋藝高手”，戰(zhàn)勝了世界象棋和圍棋冠軍；面對(duì)學(xué)術(shù)考試，它也毫不遜色，在SAT考試和律師資格考試中超越了大部分人類(lèi)；甚至在國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽（IMO）和國(guó)際信息學(xué)奧林匹克競(jìng)賽（IOI）這樣的高難度競(jìng)賽中，AI也能勇奪金牌。這些成果背后，是一個(gè)個(gè)閃耀的名字：深藍(lán)（DeepBlue）、阿爾法狗（AlphaGo）、GPT - 4等，它們代表著AI發(fā)展歷程中的重要里程碑。

（二）關(guān)鍵創(chuàng)新：訓(xùn)練方法和模型的突破

這些成就的取得，離不開(kāi)AI在訓(xùn)練方法和模型上的創(chuàng)新。就好比建造高樓大廈，訓(xùn)練方法和模型就是大廈的基石和設(shè)計(jì)藍(lán)圖。像Transformer這樣的創(chuàng)新，為AI帶來(lái)了全新的架構(gòu)思路，它就像一個(gè)神奇的“智能引擎”，在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等多個(gè)領(lǐng)域發(fā)揮著巨大作用，讓AI處理信息的能力大幅提升。還有卷積神經(jīng)網(wǎng)絡(luò)（如AlexNet），它讓AI在圖像識(shí)別領(lǐng)域?qū)崿F(xiàn)了質(zhì)的飛躍，能夠像人類(lèi)一樣“看懂”圖片里的內(nèi)容。這些創(chuàng)新就像給AI注入了強(qiáng)大的“能量藥水”，讓它不斷進(jìn)化變強(qiáng)。

（三）比賽規(guī)則：重訓(xùn)練輕評(píng)估

在AI發(fā)展的上半場(chǎng)，大家關(guān)注的焦點(diǎn)主要是訓(xùn)練方法和模型。就像一場(chǎng)比賽，參賽選手都在努力打造更厲害的“武器”（模型和方法），而對(duì)比賽場(chǎng)地（評(píng)估和基準(zhǔn)測(cè)試）的重視程度相對(duì)較低。研究員通過(guò)查看那些影響力較大的AI論文發(fā)現(xiàn)，像Transformer、AlexNet、GPT - 3這些論文，提出的都是訓(xùn)練模型的新方法和新思路，并且通過(guò)在一些基準(zhǔn)測(cè)試中取得的顯著進(jìn)步來(lái)證明自己的成果。相比之下，即使是影響力較大的基準(zhǔn)測(cè)試，如ImageNet，它的引用次數(shù)也遠(yuǎn)遠(yuǎn)低于像AlexNet這樣的模型論文。這就好比在一場(chǎng)發(fā)明比賽中，大家都在比拼誰(shuí)發(fā)明的工具更厲害，而對(duì)用來(lái)測(cè)試工具的場(chǎng)地是否合適、是否能全面評(píng)估工具的性能，卻沒(méi)有那么在意。

為什么會(huì)這樣呢？一方面，創(chuàng)造新的算法或模型架構(gòu)難度很大，需要研究人員具備深厚的專(zhuān)業(yè)知識(shí)和敏銳的洞察力，就像建造一座前所未有的超級(jí)建筑，需要頂尖的設(shè)計(jì)師和工程師一樣。另一方面，給AI定義任務(wù)相對(duì)來(lái)說(shuō)比較簡(jiǎn)單，很多時(shí)候就是把人類(lèi)日常做的事情，比如翻譯、識(shí)別圖片、下棋等，轉(zhuǎn)化為AI的測(cè)試任務(wù)，不需要太多創(chuàng)新和復(fù)雜的工程設(shè)計(jì)。而且，新的訓(xùn)練方法和模型往往具有通用性，能在多個(gè)領(lǐng)域發(fā)揮作用，就像一把萬(wàn)能鑰匙，可以打開(kāi)不同領(lǐng)域的“大門(mén)”，所以大家更熱衷于研究它們。

二、通向“下半場(chǎng)”的關(guān)鍵鑰匙：強(qiáng)化學(xué)習(xí)的突破

（一）強(qiáng)化學(xué)習(xí)的困境與突破

在AI領(lǐng)域，強(qiáng)化學(xué)習(xí)（RL）一直被視為“終局游戲”，理論上它能讓AI在各種任務(wù)中獲勝。想象一下，強(qiáng)化學(xué)習(xí)就像是訓(xùn)練一個(gè)聰明的小機(jī)器人，通過(guò)不斷地嘗試和反饋，讓它學(xué)會(huì)如何在復(fù)雜的環(huán)境中做出最優(yōu)決策。比如，讓小機(jī)器人在迷宮里找出口，它每次嘗試不同的路徑，根據(jù)是否接近出口得到獎(jiǎng)勵(lì)或懲罰，從而逐漸找到最佳路線。

但在很長(zhǎng)一段時(shí)間里，強(qiáng)化學(xué)習(xí)遇到了不少難題。研究人員大多把精力放在研究算法上，就像只關(guān)注小機(jī)器人的“大腦程序”怎么編寫(xiě)，卻忽略了小機(jī)器人所處的環(huán)境和它一開(kāi)始具備的“知識(shí)儲(chǔ)備”（先驗(yàn)知識(shí)）。結(jié)果就是，研究出的算法在一些簡(jiǎn)單的模擬環(huán)境中表現(xiàn)得很好，可一旦放到真實(shí)復(fù)雜的環(huán)境里，就“水土不服”了。比如，訓(xùn)練一個(gè)玩游戲的智能體，它在特定的游戲環(huán)境里是“游戲高手”，但換個(gè)游戲就完全不行了。

后來(lái)，隨著GPT - 2、GPT - 3等語(yǔ)言模型的出現(xiàn)，這個(gè)難題有了轉(zhuǎn)機(jī)。大家發(fā)現(xiàn)，缺失的關(guān)鍵部分是先驗(yàn)知識(shí)。通過(guò)大規(guī)模的語(yǔ)言預(yù)訓(xùn)練，可以把通用的常識(shí)和語(yǔ)言知識(shí)“灌輸”到模型里，就像給小機(jī)器人提前“預(yù)習(xí)”了很多知識(shí)，讓它變得更聰明。這些預(yù)訓(xùn)練的模型經(jīng)過(guò)微調(diào)，就能變成各種不同用途的智能體，比如聊天機(jī)器人ChatGPT，它可以和人們順暢地交流；還有WebGPT，能幫助人們?cè)诰W(wǎng)絡(luò)上更好地獲取信息。

（二）推理：強(qiáng)化學(xué)習(xí)的“神奇魔法”

有了先驗(yàn)知識(shí)還不夠，研究人員又發(fā)現(xiàn)了一個(gè)讓強(qiáng)化學(xué)習(xí)更強(qiáng)大的“秘密武器”——推理。想象你在做菜，發(fā)現(xiàn)鹽用完了，這時(shí)你會(huì)想：“菜需要有咸味，鹽沒(méi)了，那就找醬油代替，醬油在右邊的櫥柜里?！边@個(gè)思考的過(guò)程就是推理。對(duì)于智能體來(lái)說(shuō)，推理就像是一種特殊的“隱形行動(dòng)”，雖然它不會(huì)直接改變外部世界，但能幫助智能體在復(fù)雜的情況下做出更好的決策。

在傳統(tǒng)的強(qiáng)化學(xué)習(xí)理論里，決策的選擇空間是有限的，如果選擇空間突然變得無(wú)限大，就像在一堆盒子里找一個(gè)有獎(jiǎng)勵(lì)的盒子，突然增加了無(wú)數(shù)個(gè)空盒子，決策就會(huì)變得非常困難。但把推理加入到強(qiáng)化學(xué)習(xí)的行動(dòng)空間里，就不一樣了。借助語(yǔ)言預(yù)訓(xùn)練的先驗(yàn)知識(shí)，智能體可以利用推理更好地理解環(huán)境、做出決策，而且在面對(duì)不同的情況時(shí)能靈活地進(jìn)行思考和計(jì)算。這就好比你在玩一個(gè)找寶藏的游戲，雖然增加了很多干擾的“空盒子”，但因?yàn)槟阒巴孢^(guò)很多類(lèi)似的游戲，積累了經(jīng)驗(yàn)（先驗(yàn)知識(shí)），所以還是能更準(zhǔn)確地找到寶藏。這就是推理在強(qiáng)化學(xué)習(xí)中的神奇作用，它讓智能體能夠更好地適應(yīng)復(fù)雜多變的環(huán)境，實(shí)現(xiàn)更廣泛的應(yīng)用。

三、AI下半場(chǎng)：重新定義問(wèn)題與評(píng)估標(biāo)準(zhǔn)

（一）上半場(chǎng)游戲的“落幕”

AI上半場(chǎng)的游戲規(guī)則是：不斷開(kāi)發(fā)新的訓(xùn)練方法和模型，在基準(zhǔn)測(cè)試中取得更好的成績(jī)，然后再創(chuàng)造更難的基準(zhǔn)測(cè)試，繼續(xù)這個(gè)循環(huán)。但現(xiàn)在，這個(gè)游戲遇到了問(wèn)題。隨著前面提到的訓(xùn)練方法和模型越來(lái)越成熟，形成了一套標(biāo)準(zhǔn)化的“配方”，它能在基準(zhǔn)測(cè)試中輕松取得好成績(jī)，而且不需要太多新的創(chuàng)意。比如，研究人員辛辛苦苦研發(fā)出一種新方法，可能只能讓某個(gè)任務(wù)的成績(jī)提高5%，但像o - series這樣的新模型，即使沒(méi)有專(zhuān)門(mén)針對(duì)這個(gè)任務(wù)進(jìn)行優(yōu)化，也能提高30%的成績(jī)。

而且，新創(chuàng)造的更難的基準(zhǔn)測(cè)試，也很快會(huì)被現(xiàn)有的“配方”攻克。研究員的同事Jason Wei制作了一張圖表，清楚地展示了過(guò)去五年AI在各種基準(zhǔn)測(cè)試中的進(jìn)展。像TriviaQA這樣的問(wèn)答測(cè)試、MMLU這樣的綜合考試測(cè)試，以及數(shù)學(xué)相關(guān)的GSM8K、MATH等測(cè)試，AI的準(zhǔn)確率都在不斷提高，解決這些測(cè)試任務(wù)的速度也越來(lái)越快。這就好比一場(chǎng)考試，學(xué)生們掌握了一套萬(wàn)能的解題方法，不管試卷怎么變難，他們都能輕松應(yīng)對(duì)，這樣考試就失去了原本篩選和評(píng)估的意義。

（二）下半場(chǎng)的新挑戰(zhàn)：重新思考評(píng)估

既然傳統(tǒng)的游戲規(guī)則行不通了，那AI下半場(chǎng)該怎么玩呢？研究員認(rèn)為，我們需要從根本上重新思考評(píng)估方式。這不僅僅是創(chuàng)造新的、更難的基準(zhǔn)測(cè)試，而是要對(duì)現(xiàn)有的評(píng)估體系提出質(zhì)疑，建立全新的評(píng)估標(biāo)準(zhǔn)。為什么要這樣做呢？因?yàn)楝F(xiàn)有的評(píng)估方式和現(xiàn)實(shí)世界的情況存在很大差異，這導(dǎo)致了一個(gè)嚴(yán)重的問(wèn)題——效用問(wèn)題。

雖然AI在很多比賽和考試中表現(xiàn)出色，打敗了人類(lèi)冠軍，通過(guò)了各種高難度考試，但從經(jīng)濟(jì)和GDP等方面來(lái)看，它對(duì)現(xiàn)實(shí)世界的影響并沒(méi)有預(yù)期的那么大。就好像一個(gè)學(xué)生在學(xué)校里考試成績(jī)非常好，各種競(jìng)賽都拿獎(jiǎng)，但進(jìn)入社會(huì)后，卻發(fā)現(xiàn)自己所學(xué)的知識(shí)并不能很好地解決實(shí)際工作和生活中的問(wèn)題。

比如說(shuō)，現(xiàn)有的評(píng)估通常要求智能體自動(dòng)運(yùn)行任務(wù)，接收輸入、自主完成任務(wù)，然后獲得獎(jiǎng)勵(lì)。但在現(xiàn)實(shí)生活中，很多任務(wù)都需要智能體和人類(lèi)進(jìn)行持續(xù)的互動(dòng)。你在和客服溝通時(shí)，不會(huì)發(fā)一條很長(zhǎng)的消息，然后等10分鐘就期望得到一個(gè)完美的解決方案，而是會(huì)和客服來(lái)回交流。針對(duì)這個(gè)問(wèn)題，新的基準(zhǔn)測(cè)試，如Chatbot Arena，開(kāi)始引入真實(shí)人類(lèi)參與互動(dòng)；tau - bench則通過(guò)模擬用戶來(lái)改進(jìn)評(píng)估方式。

再比如，現(xiàn)有的評(píng)估往往假設(shè)任務(wù)是獨(dú)立同分布的，就像有500道測(cè)試題，每道題都獨(dú)立進(jìn)行測(cè)試，然后計(jì)算平均分。但在現(xiàn)實(shí)中，人們解決問(wèn)題是有順序的，會(huì)隨著經(jīng)驗(yàn)的積累越做越好。一個(gè)谷歌的軟件工程師在處理谷歌內(nèi)部的問(wèn)題時(shí)，會(huì)因?yàn)閷?duì)代碼庫(kù)越來(lái)越熟悉而解決問(wèn)題的能力越來(lái)越強(qiáng)，可一個(gè)軟件工程師智能體在處理相同代碼庫(kù)的問(wèn)題時(shí)，卻無(wú)法獲得這種經(jīng)驗(yàn)積累帶來(lái)的優(yōu)勢(shì)。這說(shuō)明現(xiàn)有的評(píng)估方式?jīng)]有考慮到現(xiàn)實(shí)中的這種情況，我們需要新的評(píng)估方式來(lái)適應(yīng)現(xiàn)實(shí)需求。

（三）下半場(chǎng)的新玩法：注重實(shí)際效用

AI下半場(chǎng)的游戲規(guī)則變成了：開(kāi)發(fā)針對(duì)現(xiàn)實(shí)世界實(shí)際效用的新評(píng)估方式和任務(wù)，然后用現(xiàn)有的方法或者結(jié)合新的組件來(lái)解決這些問(wèn)題，接著再不斷循環(huán)這個(gè)過(guò)程。雖然這個(gè)新游戲?qū)Υ蠹襾?lái)說(shuō)比較陌生，玩起來(lái)有難度，但卻充滿了機(jī)遇。在上半場(chǎng)，AI主要是在虛擬的游戲和考試場(chǎng)景中“大顯身手”，而在下半場(chǎng)，它將走向現(xiàn)實(shí)世界，創(chuàng)造出具有實(shí)際價(jià)值的產(chǎn)品，打造出價(jià)值數(shù)十億美元甚至萬(wàn)億美元的公司。

在這個(gè)過(guò)程中，那些小打小鬧的改進(jìn)方法可能不再管用，因?yàn)楝F(xiàn)有的成熟“配方”就能輕松超越它們。只有當(dāng)你提出全新的假設(shè)，打破現(xiàn)有的“配方”，才能進(jìn)行真正具有變革性的研究。這就像是在一場(chǎng)全新的比賽中，過(guò)去的戰(zhàn)術(shù)可能不再適用，你需要想出全新的策略，才能脫穎而出。

四、總結(jié)與展望

AI的發(fā)展就像一場(chǎng)漫長(zhǎng)的馬拉松比賽，現(xiàn)在已經(jīng)進(jìn)入了下半場(chǎng)。上半場(chǎng)，我們見(jiàn)證了AI在訓(xùn)練方法和模型上的巨大突破，取得了許多令人矚目的成績(jī)；下半場(chǎng)，面對(duì)新的挑戰(zhàn)和機(jī)遇，AI需要更加貼近現(xiàn)實(shí)世界，解決實(shí)際問(wèn)題，創(chuàng)造真正的價(jià)值。通過(guò)重新思考評(píng)估方式，我們有望找到更適合AI發(fā)展的道路，讓它在未來(lái)發(fā)揮更大的作用。

也許在不久的將來(lái)，AI會(huì)像電力、互聯(lián)網(wǎng)一樣，深入到我們生活的每一個(gè)角落，改變我們的工作、學(xué)習(xí)和生活方式。讓我們一起期待AI在這場(chǎng)“下半場(chǎng)”比賽中創(chuàng)造更多的奇跡，為人類(lèi)的發(fā)展帶來(lái)更多的驚喜。

作者：張長(zhǎng)旺，圖源：旺知識(shí)

參考資料

• 標(biāo)題：The Second Half
• 作者：Shunyu Yao
• 單位：OpenAI
• 鏈接：https://ysymyth.github.io/The-Second-Half/

本文轉(zhuǎn)載自???旺知識(shí)??，作者：旺知識(shí)