傳奇隕落！ 

人工智能領(lǐng)域的一位傳奇大師，Douglas Lenat于8月31日與世長辭，享年72歲。

Lenat因創(chuàng)建了機(jī)器學(xué)習(xí)程序AM而被授予兩年一度的IJCAI計(jì)算機(jī)與思想獎（IJCAI Computers and Thought Award）。

他是美國科學(xué)人工智能協(xié)會的創(chuàng)始成員之一，也是唯一一位同時(shí)在微軟和蘋果的科學(xué)顧問委員會任職的專家。

他是美國科學(xué)促進(jìn)會(AAAS)、美國科學(xué)人工智能協(xié)會(AAAI)和認(rèn)知科學(xué)學(xué)會（Cognitive Science Society）的會員。

他的研究領(lǐng)域包括：符號機(jī)器學(xué)習(xí)、知識表示、「認(rèn)知經(jīng)濟(jì)」（cognitive economy）、 黑板系統(tǒng)（blackboard system）。

作為Cycorp的CEO，以及Cyc項(xiàng)目的首席架構(gòu)師。他對人工智能和知識表示的貢獻(xiàn)是開創(chuàng)性的。

他的摯友和合作伙伴馬庫斯，在得知他離世的第一時(shí)間，寫了一篇長文來悼念他。

這篇感人的文章，介紹了他在人生中的最后時(shí)刻，還在奮力工作，希望通過Cyc系統(tǒng)改善大語言模型在常識問題上的表現(xiàn)。

Fridman的播客節(jié)目，也曾經(jīng)采訪過他。

Douglas Lenat的傳奇一生

1950年9月13日，Lenat在賓夕法尼亞州費(fèi)城出生，5歲時(shí)搬家去了特拉華州的威爾明頓。

六年級時(shí)，Lenat在學(xué)校圖書館發(fā)現(xiàn)了關(guān)于Isaac Asimov物理學(xué)和生物學(xué)的通俗讀物。于是，科學(xué)成了他對世界如何運(yùn)轉(zhuǎn)好奇心的探索渠道。

但在Lenat十二歲半時(shí)，他的父親突然離世了，Lenat的家失去了穩(wěn)定的經(jīng)濟(jì)來源，開始頻繁搬家。尚且年幼的Lenat把科學(xué)當(dāng)作了一種慰藉，日以繼夜地投入到對知識的探索中。

1968年，Lenat進(jìn)入了賓夕法尼亞大學(xué)，此時(shí)，越南戰(zhàn)爭正處于最激烈的階段。Lenat認(rèn)為前線的士兵人數(shù)嚴(yán)重不足，他很可能會被強(qiáng)制應(yīng)召。

時(shí)代的不確定性讓Lenat決定加快在學(xué)業(yè)上的進(jìn)度，他開始同時(shí)學(xué)習(xí)物理和數(shù)學(xué)。

但編程仍是Lenat的愛好，在大學(xué)期間，Lenat甚至還成功靠編程養(yǎng)活了自己。

他設(shè)計(jì)和開發(fā)了美國海軍數(shù)據(jù)庫問答系統(tǒng)的自然語言界面，而這個設(shè)計(jì)成為了美國航空母艦上使用的早期在線艦載操作手冊。

1972年，Lenat獲得了賓夕法尼亞大學(xué)數(shù)學(xué)和物理學(xué)學(xué)士學(xué)位以及應(yīng)用數(shù)學(xué)碩士學(xué)位。

在上大學(xué)時(shí)，Lenat對物理和數(shù)學(xué)感興趣，但最后他并未選擇在這兩個領(lǐng)域中深耕下去。

在John W. Carr III 1971年教授的一門課上，Lenat了解到了人工智能。

于是，畢業(yè)后Lenat來到了斯坦福大學(xué)，并在這里獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。

提出AM，呼吁AI「常識」研究

在攻讀博士期間，Lenat發(fā)表了Automated Mathematician（AM）的論文。

AM是第一批試圖進(jìn)行「發(fā)現(xiàn)」的計(jì)算機(jī)程序之一。也就是說，它是一個定理提出者，而不是定理證明者。

對該程序的試驗(yàn)促進(jìn)了批評和改進(jìn)的循環(huán)，使人們對人類的創(chuàng)造力有了更深刻的理解。

1977年，AM被授予IJCAI計(jì)算機(jī)和思想獎。AM是邁向通過發(fā)現(xiàn)進(jìn)行學(xué)習(xí)的科學(xué)、邁向?qū)?chuàng)造性過程去神秘化并證明計(jì)算機(jī)程序可以做出新穎和創(chuàng)造性發(fā)現(xiàn)的第一步。

1976年，Lenat開始在卡內(nèi)基梅隆大學(xué)擔(dān)任計(jì)算機(jī)科學(xué)助理教授，并開始了人工智能程序Eurisko的研究工作。

在研究中，Lenat發(fā)現(xiàn)了AM的局限性：它只能遵循一套固定的趣味性啟發(fā)式（interestingness heuristics）方法。

相比之下，Eurisko將其啟發(fā)式規(guī)則表示為第一類對象（first class objects），因此它可以探索、操作和發(fā)現(xiàn)新的啟發(fā)式方法，就像它（與AM）探索、操作和發(fā)現(xiàn)新的領(lǐng)域概念一樣。

1978年，Lenat回到斯坦福大學(xué)擔(dān)任計(jì)算機(jī)科學(xué)助理教授，繼續(xù)他的研究工作，并建立了Eurisko自動發(fā)現(xiàn)和啟發(fā)式發(fā)現(xiàn)程序。

Eurisko取得了許多有趣的發(fā)現(xiàn)，獲得了巨大的贊譽(yù)，Lenat的論文《啟發(fā)式規(guī)則的理論與實(shí)驗(yàn)研究》（Heuretics: Theoretical and Experimental Study of Heuristic Rules）獲得了1982年AAAI會議的最佳論文獎。

Lenat和在施樂PARC工作的John Seely Brown一起于1984年發(fā)表了一份分析AM和Eurisko系列研究的局限性報(bào)告。

該報(bào)告認(rèn)為，要想在真正的、通用的、符號化的人工智能領(lǐng)域取得進(jìn)展，就需要有一個龐大的「常識」知識庫，并對其進(jìn)行適當(dāng)?shù)男问交捅硎觥?/span>

還需要有一個推理引擎，能夠通過將該知識庫應(yīng)用于具體問題和應(yīng)用，找到數(shù)十或數(shù)百個深層次的結(jié)論和論據(jù)。

1984到1994 年期間，Lenat成為了MCC（Microelectronics and Computer Technology Corporation）的首席科學(xué)家，不過在這之后，他仍繼續(xù)回到斯坦福大學(xué)，每年教授大約一門課程。

在400人的MCC，萊納特能夠讓幾十名研究人員而不僅僅是幾名研究生研究「常識」知識庫。

馬庫斯發(fā)文悼念

作為學(xué)術(shù)領(lǐng)域的戰(zhàn)友，馬庫斯在得知Lenat離世的消息后第一時(shí)間，寫了一篇長文，悼念自己好友。

https://garymarcus.substack.com/p/doug-lenat-1950-2023

Douglas Lenat是我見過最聰明，最直率，最聰明的人之一。

如果說Marvin Minsky、John McCarthy和Allen Newell等人是第一批深入思考符號人工智能(symbolic AI)如何運(yùn)作的人，那么Douglas就是第一個努力讓這個系統(tǒng)真正運(yùn)轉(zhuǎn)起來的人。

我的整個職業(yè)生涯都在宣揚(yáng)神經(jīng)網(wǎng)絡(luò)和符號人工智能之間的一致性。

而Lenat領(lǐng)先了我好幾光年，他不僅比我更深入地挖掘了這些戰(zhàn)壕，而且是這些戰(zhàn)壕的建筑師。

他在人生的后40年里發(fā)起并主持了一個名為Cyc的項(xiàng)目，想要將所有常識轉(zhuǎn)化成機(jī)器可解釋形式的一個項(xiàng)目。

如今很少有人會認(rèn)真思考人工智能，甚至很少有人知道這個項(xiàng)目是什么。

很多人都認(rèn)為這個項(xiàng)目并不成功。

因?yàn)镃yc（以及Lenat為孵化Cyc而成立的公司Cycorp）從未在商業(yè)上取得很大的反響。

但幾乎沒有人意識到這個項(xiàng)目在40年后仍在運(yùn)轉(zhuǎn)是一件多么了不起的事情。因?yàn)楹苌儆腥斯ぶ悄芄灸苌娴厝绱碎L久。

而我個人的看法是，Cyc既沒有成功，也沒有失敗。它處于成功和失敗的中間狀態(tài)。

它是一個開創(chuàng)性的，旗幟般的實(shí)驗(yàn)，雖然沒有完全成型。

Cyc雖然沒有能引起全世界的關(guān)注，但當(dāng)人類在通用人工智能方面取得真正進(jìn)展的時(shí)候，一定會發(fā)現(xiàn)，它變得越來越重要了。

倒不是說Cyc會替代大語言模型，但是Lenat想要做的事情——讓機(jī)器對常識進(jìn)行表征和推理仍然亟待完成。

Yejin Choi在2023年的TED演講「為什么人工智能如此的不可思議的聰明卻又如此令人震驚的愚蠢」就是關(guān)于這個主題的延續(xù)，解釋了為什么目前的AI系統(tǒng)盡管取得了顯著的成功，但是仍然缺乏最基本的常識。

打個比方，Lenat試圖找到一條穿越常識之山的道路。

常識是我們知道的關(guān)于世界的數(shù)不清的基本知識，但人類卻很少在語言中把常識表達(dá)出來。

Lenat沒有完全成功——需要尋找一條不一樣的道路——但他卻指出了我們必須跨越的那座關(guān)鍵的山峰。

這就是Lenat、Choi、Davis和我一直在努力傳達(dá)的問題，同時(shí)也是大型語言模型一直處理不好的地方。

隨便舉一個例子，今天早上，有人給我發(fā)了封郵件，用Google Bard把事實(shí)和明顯的廢話混在一起，用非常流暢的語言表達(dá)了出來。

一公斤的磚和兩公斤的羽毛是一樣重的

因?yàn)榇朕o內(nèi)容的差異，使得任何大語言模型對這個問題會給出完全不同的答案。

大語言模型往往能準(zhǔn)確地描述和回答一些問題，又會對一些問題講得完全不知所云，經(jīng)常犯一些常識性的錯誤。

它的表現(xiàn)完全取決于不可控的訓(xùn)練數(shù)據(jù)，以及提問時(shí)具體的語言表述。

就算某個錯位被人為的糾正了，依然會難以避免出現(xiàn)其他的常識性錯誤。

Cyc就是在試圖尋找到讓AI能給出更加有深度以及可靠的答案。

正如西北大學(xué)人工智能研究員Ken Forbus今天上午在一封電子郵件中對我說的那樣：

「Cyc項(xiàng)目首次證明了符號表示和推理可以擴(kuò)展到捕捉常識的重要部分。

雖然現(xiàn)在包含數(shù)十億事實(shí)的知識庫在行業(yè)中時(shí)很常見的事，但Cyc在表達(dá)能力方面仍然是最先進(jìn)的，它能捕捉到人類所能捕捉到的更多思想。

我的團(tuán)隊(duì)幾十年來一直在研究中使用Cyc的表征……我們的領(lǐng)域?qū)腃yc項(xiàng)目中學(xué)到更多的東西。」

谷歌研究員Muktha Ananda，谷歌學(xué)習(xí)平臺的主任，今天早上寫信給我表示哀悼：

「我一直非常欽佩Lenat的遠(yuǎn)見、毅力和堅(jiān)韌。 他在Cyc上的工作對我自己的知識圖譜的一個很大的靈感來源。」

在過去的一年里，Douglas和我試圖寫一篇又長又復(fù)雜的論文，但我們一直沒能完成。

Cyc涉及的范圍是令人敬畏的，但卻很難實(shí)現(xiàn)。

從學(xué)術(shù)角度來看，Cyc最大的問題是它的專有性（proprietary）。

為了幫助更多的人了解Cyc，我試著從他身上找出Douglas從Cyc身上學(xué)到的經(jīng)驗(yàn)教訓(xùn)，供未來的研究人員參考。

我們希望回答，Cyc的作用原理是什么？為什么有時(shí)候又完全沒有效果。

我們寫了將近4萬字的內(nèi)容，還沒有完全來得及整理成通順的論文，但內(nèi)容卻充滿了智慧。

其中，一部分是科學(xué)論文，一部分是口述的歷史。

不用說，組織和潤色這種長度的內(nèi)容需要花費(fèi)很長時(shí)間。

加上我們還有些一些其他工作要做，所以進(jìn)展比較緩慢，但是很穩(wěn)定。

而今年，我忙于人工智能政策方面的工作，他卻生病了，導(dǎo)致進(jìn)展進(jìn)一步放緩。

快要完成之時(shí)，他基于我們倆的工作，寫了一篇更短、更緊湊的論文。

當(dāng)他意識到時(shí)間所剩無幾時(shí)，我們決定我來幫他潤色那份較短的手稿。

我們都意識到這可能這是他最后一篇論文的最后一次合作了。

大約六周前，他發(fā)給我的最后幾封郵件中，有一封希望我盡快把論文發(fā)出去。

7月31日，在倉促的修改之后，論文在arXiv上發(fā)布了：

「從生成AI到可信賴AI：大語言模型可以從Cyc中學(xué)到什么」

這篇簡短的文章回顧了Cyc想要達(dá)到的目的，概括了我們應(yīng)該從真正的人工智能中得到什么，并嘗試在深刻的符號傳統(tǒng)與現(xiàn)代大型語言模型之間進(jìn)行折中和調(diào)和。

以他的名義，我希望大家能抽出時(shí)間讀一讀這篇論文。

網(wǎng)友悼念

很多網(wǎng)友在得知他去世的消息時(shí)，也在網(wǎng)上分享了和他打交道的過程，表示了對大師離世的不舍。

這位網(wǎng)友曾經(jīng)是他Cycorp的員工，分享了一段他慷慨地將自己新車送給員工的軼事。

一位網(wǎng)友對Lenat給予了他改變自己一生的實(shí)習(xí)機(jī)會表達(dá)真摯的感謝，并從Lenat身上汲取了很多人生經(jīng)驗(yàn)。

一位只和Lenat有過「一面之緣」的網(wǎng)友，同樣對他表示了感謝。