[[443046]]

以后再也不能說(shuō)人類(lèi)比AI還懂常識(shí)了！最近由微軟黃學(xué)東坐鎮(zhèn)，清華姚班畢業(yè)生發(fā)布了一個(gè)新系統(tǒng)KEAR，成功刷榜各大常識(shí)問(wèn)答排行榜，常識(shí)問(wèn)答性能首次超越人類(lèi)，甚至非英文的常識(shí)他也懂！

AI模型一直為人詬病的一點(diǎn)就是只會(huì)「死學(xué)習(xí)」，只能根據(jù)給定的訓(xùn)練樣本來(lái)進(jìn)行預(yù)測(cè)，稍微問(wèn)一點(diǎn)「常識(shí)性」的問(wèn)題它都回答不了。

比如你問(wèn)GPT-3：太陽(yáng)有幾個(gè)眼睛？

它會(huì)毫不猶豫的告訴你：當(dāng)然是一個(gè)眼睛！

雖然常識(shí)信息沒(méi)有體現(xiàn)在輸入文本中，但如果不懂常識(shí)的話，那回答只能是驢唇不對(duì)馬嘴。

為了解決這類(lèi)常識(shí)性錯(cuò)誤，研究人員借助ConceptNet建立了一個(gè)專(zhuān)門(mén)針對(duì)常識(shí)問(wèn)答的數(shù)據(jù)集CommonsenseQA，要求模型必須得了解常識(shí)才能夠正確回答問(wèn)題。

每個(gè)問(wèn)題包含五個(gè)候選答案，其中有兩個(gè)是干擾項(xiàng)，對(duì)AI模型來(lái)說(shuō)屬于是難上加難了。

例如給定一個(gè)問(wèn)題：你的狗喜歡吃什么？（What is a treat that your dog will enjoy?）

候選答案可能是沙拉（salad）、撫摸（petted）、喜愛(ài)（affection）、骨頭（bone）、關(guān)心（lots of attention）等。人在與狗交往的過(guò)程中，可以了解到大部分狗都喜歡吃骨頭，從而推理出你的狗在候選答案中也更傾向于骨頭，但AI模型并不懂。

所以想要正確回答這個(gè)問(wèn)題，必須要懂得如何利用外部知識(shí)。

然后CommonsenseQA的作者拿了一個(gè)當(dāng)時(shí)橫掃各大排行榜的模型BERT-LARGE來(lái)做測(cè)試，結(jié)果慘不忍睹，準(zhǔn)確率只有55.9%，而人類(lèi)的回答準(zhǔn)確率已經(jīng)達(dá)到了88.9%了。

時(shí)間來(lái)到三年后，最近來(lái)自微軟的華人團(tuán)隊(duì)發(fā)表了一篇論文，提出了一個(gè)KEAR（Knowledge External Attention for commonsense Reasoning）系統(tǒng)，將CommonsenseQA常識(shí)問(wèn)答的性能抬到了新高度，準(zhǔn)確率達(dá)到89.4%，成功超越人類(lèi)，堪稱(chēng)AI常識(shí)領(lǐng)域的里程碑模型了。

相比傳統(tǒng)AI模型需要大規(guī)模數(shù)據(jù)來(lái)訓(xùn)練，這篇論文提出了一種外部注意力機(jī)制（external attention mechanism）來(lái)增強(qiáng)Transformer架構(gòu)，能夠把外部知識(shí)信息集成到預(yù)測(cè)的過(guò)程中，從而減少了模型對(duì)大參數(shù)量的需求，讓AI系統(tǒng)更加民主化（democratization），也就是說(shuō)可以降低AI模型研究的門(mén)檻，不用從老黃那買(mǎi)特別多的顯卡，也能實(shí)現(xiàn)SOTA性能。

大體來(lái)說(shuō)，KEAR模型在回答「你的狗喜歡吃什么」這個(gè)問(wèn)題的時(shí)候，它會(huì)首先從ConceptNet實(shí)體鏈中檢索出「狗— desires — petted, affection, bone, lots of attention」，這樣就排除了一個(gè)錯(cuò)誤答案沙拉。

然后KEAR會(huì)從Wiktionary中檢索出骨頭的定義：構(gòu)成大多數(shù)脊椎動(dòng)物骨架的復(fù)合材料（a composite material making up the skeleton of most vertebrates）；

從CommonsenseQA數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)中檢索出「狗喜歡吃什么？骨頭」（What do dogs like to eat? bones）。

再將檢索到的知識(shí)和輸入的知識(shí)進(jìn)行級(jí)聯(lián)后，KEAR將其作為DeBERTa模型的輸入，最后可以推理出正確答案：骨頭！

可以看到，對(duì)于人類(lèi)來(lái)說(shuō)最簡(jiǎn)單的一個(gè)問(wèn)題，AI模型要完成卻需要大量的外部信息才能正確回答。

由于CommonsenseQA只是英文常識(shí)問(wèn)答的數(shù)據(jù)，文中還探索了一下其他語(yǔ)言的常識(shí)推理是否依然有效。

研究人員首先將非英語(yǔ)問(wèn)題翻譯成英語(yǔ)，然后在英語(yǔ)的語(yǔ)料數(shù)據(jù)中檢索知識(shí)，然后將知識(shí)文本翻譯成源語(yǔ)言，經(jīng)過(guò)外部注意力機(jī)制后再翻譯獲得答案，即翻譯-檢索-翻譯（TRT）。

結(jié)果也是在X-CSR基準(zhǔn)上的兩個(gè)任務(wù)X-CODAH和X-CSQA都取得了第一名。

不止于自注意力

時(shí)至今日，大部分AI模型基本都在源文本上使用自注意力機(jī)制，通過(guò)把大量的數(shù)據(jù)喂給模型進(jìn)行訓(xùn)練，從而使模型記住輸入的文本。

雖然Transformer的效果很好，但缺點(diǎn)也很明顯：

1. 時(shí)間和空間復(fù)雜度太高，需要大量的顯卡和顯存
2. 數(shù)據(jù)量不夠的情況下，Transformer表現(xiàn)不夠好

另一方面，Transformer本質(zhì)上還是黑盒模型，沒(méi)辦法讓他像人類(lèi)一樣進(jìn)行文本理解和推理，知道AI為什么產(chǎn)生這樣的預(yù)測(cè)是很重要的，KERA通過(guò)利用知識(shí)圖譜、字典和公開(kāi)可用的機(jī)器學(xué)習(xí)數(shù)據(jù)的常識(shí)性知識(shí)，能夠一定程度地反應(yīng)答案的來(lái)源及模型推理過(guò)程。

外部注意力的實(shí)現(xiàn)方法也很簡(jiǎn)單，將輸入（input）和知識(shí)（knowledge）級(jí)聯(lián)起來(lái)作為新的輸入，然后將整體作為H0經(jīng)過(guò)自注意力機(jī)制即可。

其中K(nowledge)的來(lái)源包括知識(shí)圖譜ConceptNet, 字典和訓(xùn)練數(shù)據(jù)。

可以看到，自注意力和外部注意力的主要區(qū)別就是輸入是否只來(lái)源于輸入文本，即通過(guò)向外部注意力機(jī)制提供不同來(lái)源的相關(guān)背景和知識(shí)，包括知識(shí)圖譜、字典、語(yǔ)料庫(kù)和其他語(yǔ)言模型的輸出，然后讓模型同時(shí)對(duì)輸入進(jìn)行自注意力和對(duì)知識(shí)進(jìn)行外部注意力，就能達(dá)到引入外部知識(shí)的效果。

引入的外部信息以符號(hào)（symbol）的方式存儲(chǔ)，如純文本或知識(shí)圖譜條目，從而能夠提升Transformer在語(yǔ)言理解方面的能力。

并且KEAR使用的輸入和知識(shí)的文本級(jí)聯(lián)不會(huì)對(duì)Transformer模型結(jié)構(gòu)產(chǎn)生任何改變，使現(xiàn)有的系統(tǒng)可以很容易地使用外部注意力。

因?yàn)槭澜缟系闹R(shí)也是在動(dòng)態(tài)變化的，所以外部注意力的另一個(gè)好處是，用戶可以很容易地更新知識(shí)源來(lái)改變模型的預(yù)測(cè)輸出。

通過(guò)引入最新的常識(shí)，例如將在線更新的知識(shí)圖譜輸入到模型中，可以使模型的決策過(guò)程變得更加透明和可解釋。

而用多模塊聯(lián)合優(yōu)化、加上外注意力引入知識(shí)庫(kù)也是微軟人工智能認(rèn)知服務(wù)提質(zhì)量的核心方向。

作者介紹

文章的第一作者是徐一翀，本科畢業(yè)于清華大學(xué)姚班，于卡內(nèi)基梅隆大學(xué)取得博士學(xué)位，主要研究方向?yàn)榻换ナ綑C(jī)器學(xué)習(xí)，自然語(yǔ)言處理和深度學(xué)習(xí)。目前是微軟AI Cognitive Services研究組的高級(jí)研究員。

朱晨光是微軟認(rèn)知服務(wù)研究組的首席研究負(fù)責(zé)人。他領(lǐng)導(dǎo)知識(shí)和語(yǔ)言團(tuán)隊(duì)，從事文本總結(jié)、知識(shí)圖譜和面向任務(wù)的對(duì)話方面的研發(fā)工作。他于2016年在斯坦福大學(xué)獲得計(jì)算機(jī)科學(xué)博士學(xué)位和統(tǒng)計(jì)學(xué)碩士學(xué)位，在此之前于清華大學(xué)姚班獲得計(jì)算機(jī)科學(xué)學(xué)士學(xué)位。

黃學(xué)東是微軟AI認(rèn)知服務(wù)工程和研究團(tuán)隊(duì)的領(lǐng)導(dǎo)人，IEEE/ACM院士(IEEE/ACM Fellow) ，微軟首位「華人全球技術(shù)院士」、微軟首席語(yǔ)音科學(xué)家、微軟云計(jì)算與人工智能事業(yè)部認(rèn)知服務(wù)團(tuán)隊(duì)全球技術(shù)院士/全球人工智能首席技術(shù)官。他先后獲得湖南大學(xué)學(xué)士學(xué)位，清華大學(xué)碩士學(xué)位和英國(guó)愛(ài)丁堡大學(xué)博士學(xué)位。