田淵棟:關(guān)于GPT-4的一些感想
OpenAI昨天發(fā)布了GPT-4,試用了一下確實(shí)很不錯(cuò)。
在我主要關(guān)心的故事生成方面,與ChatGPT生成出來的故事相比,GPT-4文筆更佳細(xì)節(jié)更多,更擅長生動(dòng)具體的描繪,情節(jié)也開始出現(xiàn)一些有趣的轉(zhuǎn)折。當(dāng)然,ChatGPT有的問題,比如說缺乏整體布局謀篇能力,角色不突出,敘事展開比較無聊,續(xù)寫段落會(huì)很快歸于一個(gè)平庸的結(jié)尾等等,在GPT-4上面仍然存在。
從它的性能報(bào)告上來看,與GRE verbal接近滿分相比,GRE寫作只有4分,大學(xué)預(yù)修英語寫作也只有2分(3分及格),而且從GPT-3到4沒有進(jìn)步,不知道是不是和這些問題有關(guān)聯(lián)。

但不管怎么說,GPT-4已經(jīng)能幫我們干很多日常工作了。自從2013年深度學(xué)習(xí)開始爆發(fā)以來,僅僅過了十年,我們就有了如此強(qiáng)力的工具,其進(jìn)化速度可以說是超出想象。
2017年我在為什么有些學(xué)數(shù)學(xué)的看不慣甚至鄙視 Deep Learning?這個(gè)回答里面寫了一些大膽的猜測,比如說“漫漫長夜里瞎摸,太陽還沒有露頭”,現(xiàn)在看起來這些預(yù)測還是大體正確的,只是想不到,這一天會(huì)那么快到來。
一個(gè)技術(shù),一旦變成像微積分一樣的通用工具,那接下來帶來的巨大變革,是可以預(yù)期的。
如果再把眼光放得長遠(yuǎn)些,將來會(huì)發(fā)生什么事呢?
我在2020年左右也有一些思考,放在自己的科幻小說里了。總的來說,如果這樣的趨勢發(fā)展到極致,再加上連實(shí)物產(chǎn)品的制造都可以就地取材完全自動(dòng)化,那最后的結(jié)果就是「所思即所得」:只要能構(gòu)思出一個(gè)東西,它就會(huì)以極低的成本出現(xiàn)在自己的面前。
大部分重復(fù)性勞動(dòng),只要可以被機(jī)器無限制復(fù)制,其價(jià)值就會(huì)降到近乎為零,成為和水和空氣一樣無所不在的公共品。
在這種條件下,「獨(dú)一無二」就會(huì)成為大家所珍視的價(jià)值和意義。也許以后,判斷人才的主要因素,不再是完成學(xué)位,考試過關(guān),而是看個(gè)人的經(jīng)歷和成就。
「同樣的目標(biāo)下比別人做得更好」是一種獨(dú)一無二,「去往從未有人去過的方向」也是一種獨(dú)一無二。這不僅包括同行認(rèn)可的學(xué)術(shù)成就,比如解開無人能解的難題,開創(chuàng)并探索一個(gè)新的學(xué)術(shù)方向,更包括獨(dú)一無二的經(jīng)驗(yàn)、見解、思考方式,乃至三觀,比如說一個(gè)拄著拐杖徒步探險(xiǎn)過南極的程序員,他/她對(duì)這個(gè)世界會(huì)有什么樣的觀點(diǎn),見解和感悟?一個(gè)曾自制火箭去往月球但中途失控,又奇跡被救的歷史系學(xué)生,將在自傳里如何講述這段經(jīng)歷?
這些與個(gè)人特質(zhì)緊密結(jié)合的話語權(quán),會(huì)讓每個(gè)人都能占據(jù)人類社會(huì)中的一個(gè)獨(dú)特生態(tài)位,成為「人之為人」最終的定海神針。即便是將來意識(shí)能夠上傳,數(shù)字孿生能夠?qū)崿F(xiàn),這種獨(dú)特人格仍然是無法復(fù)制的——完全相同的個(gè)體,只要變成了兩個(gè)并開始各自接受不同的外界信號(hào)刺激,他們內(nèi)部的狀態(tài)就會(huì)因更新而不同,軌跡就會(huì)開始分叉,從而再次變得獨(dú)一無二。
總的來說,每個(gè)人都通過自身的「道」來證明自己的選擇,又因?yàn)檫^去的選擇,來累計(jì)自己獨(dú)一無二的特質(zhì)。無法預(yù)先判斷誰比誰更優(yōu)秀,因?yàn)橛?jì)算這個(gè)判定函數(shù)本身,就需要個(gè)體踐行自己的道路。而無數(shù)的,堅(jiān)持各自方向的人聚在一起,就會(huì)不斷涌現(xiàn)出各種奇妙的想法,有一些被實(shí)踐證明正確的,就會(huì)影響到他人并且吸引到追隨者。而包含這些所有個(gè)體的,一個(gè)多元包容的世界,就會(huì)充滿前進(jìn)的動(dòng)力。
扯遠(yuǎn)了。
對(duì)于研究者們而言,GPT-4的出現(xiàn)意味著什么呢?
我們有兩種極端的選擇,其一是關(guān)起門來,不聽不看,沿用舊的思維慣性去構(gòu)思研究路線,繼續(xù)發(fā)表下一篇文章;也可以從此百分百拋棄以前的研究思路,撕掉所有課本,相信算力為王,大模型大數(shù)據(jù)就是一切。
我覺得這兩種態(tài)度都不可取。研究的范式要有變化,不再是發(fā)現(xiàn)特定的知識(shí),而是研究模型學(xué)習(xí)的機(jī)制,尋求其學(xué)習(xí)能力的本源。比如說通過海量的數(shù)據(jù)訓(xùn)練,現(xiàn)有的模型可以自動(dòng)學(xué)會(huì)很多概念。
但模型是如何學(xué)會(huì)這個(gè)概念的,為什么大模型會(huì)學(xué)得更快更好,它怎樣從數(shù)據(jù)中被發(fā)現(xiàn),被模型抓住并且在訓(xùn)練中不斷被強(qiáng)化?高級(jí)的概念是如何形成的?現(xiàn)有的模型如何抓住這些概念,以什么樣的機(jī)制抓住它們?我覺得這些可能是在長遠(yuǎn)上來看,真正有意義的基礎(chǔ)研究方向,也是把”人工智能“這個(gè)玄學(xué),真正轉(zhuǎn)化成科學(xué)的最終出口。
當(dāng)然了,這些應(yīng)該說是幾十年的尺度上看的,要做這些研究,需要大量的基礎(chǔ)知識(shí),充足的耐心,擅長接受超出自己認(rèn)知范圍內(nèi)的新生事物,又能把它融入原本的工作流和研究思路中去。
這可以算是自己在研究上獨(dú)一無二的「定海神針」吧,希望能夠繼續(xù)走下去。

































