阿里AI在常識QA領(lǐng)域的權(quán)威數(shù)據(jù)集CommonsenseQA上刷新世界紀錄，超過微軟取得***名，顯著提升AI的常識推理能力。而這項技術(shù)，是一名叫做葉志秀的95后“實習(xí)生”，在達摩院科學(xué)家指導(dǎo)下完成的實習(xí)成果！

正所謂長江后浪推前浪，又一個“別人家的孩子多優(yōu)秀”系列。

最近，一個年輕人火了：95后的實習(xí)生在常識QA領(lǐng)域的權(quán)威數(shù)據(jù)CommonsenseQA上刷新了世界紀錄！

這位年輕人名叫葉志秀，他的這項工作是在達摩院科學(xué)家指導(dǎo)下完成的，并超越了微軟，取得了***名的好成績。 

CommonsenseQA是為了研究基于常識知識的問答而提出的數(shù)據(jù)集，比此前的SWAG、SQuAD數(shù)據(jù)集難度更高。目前***的語言模型BERT在SWAG、SQuAD上的性能已經(jīng)接近或超過人類，但在CommonsenseQA上的準確率還遠低于人類。

阿里巴巴達摩院語音實驗室提出了AMS方法，顯著提升BERT模型的常識推理能力。AMS方法使用與BERT相同的模型，僅預(yù)訓(xùn)練BERT，在不提升模型計算量的情況下，將CommonsenseQA數(shù)據(jù)集上的準確率提升了5.5%，達到62.2%。

CommonsenseQA相關(guān)論文已在arXiv上發(fā)表，并獲得NAACL 2019***資源論文。

鏈接：

https://arxiv.org/pdf/1811.00937.pdf

作者：

Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant（以色列特拉維夫大學(xué)、艾倫人工智能研究所）

摘要：

人們通常利用豐富的世界知識和特定語境來回答問題。近期研究主要聚焦于基于關(guān)聯(lián)文檔或語境來回答問題，對基礎(chǔ)知識幾乎沒有要求。為了研究使用先驗知識的問答，我們提出了一個關(guān)于常識問答的新型數(shù)據(jù)集 CommonsenseQA。為了捕捉關(guān)聯(lián)之外的常識，我們從 ConceptNet (Speer et al., 2017) 中抽取了多個目標概念，它們與某個源概念具備同樣的語義關(guān)系。

我們讓眾包工人編寫提及源概念的選擇題，并區(qū)分每個目標概念之間的差別。這鼓勵眾包工人編寫具備復(fù)雜語義的問題，而問答這類問題通常需要先驗知識。我們通過該步驟創(chuàng)建了 12247 個問題，并用大量強基線模型做實驗，證明該新型數(shù)據(jù)集是有難度的。我們的***基線基于BERT-large (Devlin et al., 2018)，獲得了 56% 的準確率，低于人類準確率（89%）。

下圖是構(gòu)建 CommonsenseQA 數(shù)據(jù)集的過程示例：

自然語言理解（NLP，Natural Language Processing）被譽為人工智能皇冠上的明珠，而常識推理是其中難度***的任務(wù)之一。

我們所謂的常識，指的是與生俱來、毋須特別學(xué)習(xí)便已經(jīng)擁有的判斷能力，或是眾人皆知、無須解釋或加以論證的知識。例如：打雷要下雨（磊歐）；下雨要打傘（嘞奧）。

雖然在機器翻譯、閱讀理解等常用NLP任務(wù)上，AI的表現(xiàn)已接近人類水平，甚至在某些場景下已經(jīng)超過人類水平，然而一旦涉及到常識推理方面就成了白癡。比如我們看到行人打著傘就能自然的想到外面可能在下雨；而AI可能會分辨出所有傘的種類，卻無法做出“外面在下雨”的推斷。

在包含1.2萬多個常識問題的CommonsenseQA數(shù)據(jù)集上，現(xiàn)在已經(jīng)能夠達到56.7%的準確率，依然遠低于人類的89%準確率。借用圖靈獎獲得者Yann LeCun的話，就是“最聰明的AI在常識方面都不如一只貓。”

但好在，如今這位阿里達摩院95后實習(xí)生的研究，將AI在常識推理方面的能力，向貓的水平推進了一步！

或許不久的將來，將會出現(xiàn)可以聽懂人話的“貓”。就像，加菲一樣？👇

[[270957]]