自從計(jì)算機(jī)誕生之初，人類就夢想著能夠創(chuàng)造出會思考的機(jī)器。1956 年在達(dá)特茅斯學(xué)院組織的一個研討會上，約翰 · 麥卡錫提出人工智能這個概念，一群數(shù)學(xué)家和科學(xué)家聚集在一起尋找如何讓機(jī)器使用語言、形成抽象理解和概念、以解決現(xiàn)存的各種問題，當(dāng)時(shí)研討會參與者樂觀地認(rèn)為，在幾個月的時(shí)間里這些問題能取得真正的進(jìn)展。

人工智能是由約翰麥卡錫于 1956 年在達(dá)特茅斯學(xué)院組織的一個研討會上創(chuàng)立的，一群數(shù)學(xué)家和科學(xué)家聚集在一起尋找如何讓機(jī)器使用語言、形成抽象和概念、解決現(xiàn)在保留的各種問題，當(dāng)時(shí)研討會參與者樂觀地認(rèn)為，幾個月的集中努力將在這些問題上取得真正的進(jìn)展。

1956 年達(dá)特茅斯人工智能會議的參與者：馬文 · 明斯基、克勞德 · 香農(nóng) 、雷 · 所羅門諾夫和其他科學(xué)家。攝自：Margaret Minsky

事實(shí)證明，預(yù)留幾個月的時(shí)間安排過于樂觀。在接下來的 50 年里，創(chuàng)建人工智能系統(tǒng)的各種方法開始流行，但后來又遭遇過時(shí)，包括基于邏輯的系統(tǒng)、基于規(guī)則的專家系統(tǒng)和神經(jīng)網(wǎng)絡(luò)。

直到 2011 年左右，人工智能才開始進(jìn)入發(fā)展關(guān)鍵階段，取得了巨大的進(jìn)步，這得益于深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的復(fù)興，這些技術(shù)的進(jìn)步有助于提高計(jì)算機(jī)看、聽和理解周圍世界的能力，使得人工智能在科學(xué)以及人類探索的其他領(lǐng)域取得巨大進(jìn)步。這其中有哪些原因呢？

近日，谷歌大牛 Jeff Dean 發(fā)表了一篇文章《 A Golden Decade of Deep Learning: Computing Systems & Applications 》，文章探索了深度學(xué)習(xí)在這黃金十年里，計(jì)算系統(tǒng)以及應(yīng)用進(jìn)步的原因都有哪些？本文重點(diǎn)關(guān)注三個方面：促成這一進(jìn)步的計(jì)算硬件和軟件系統(tǒng)；過去十年在機(jī)器學(xué)習(xí)領(lǐng)域一些令人興奮的應(yīng)用示例；如何創(chuàng)建更強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)，以真正實(shí)現(xiàn)創(chuàng)建智能機(jī)器的目標(biāo)。

Jeff Dean 的這篇文章發(fā)表在了美國文理學(xué)會會刊 D?dalus 的 AI 與社會（AI & Society）特刊上。

文章地址：https://www.amacad.org/sites/default/files/publication/downloads/Daedalus_Sp22_04_Dean.pdf

深度學(xué)習(xí)的黃金十年

人工智能硬件和軟件的進(jìn)步

人工智能的硬件和軟件：深度學(xué)習(xí)通過組合不同的線性代數(shù)（例如矩陣乘法、向量點(diǎn)積以及類似操作）進(jìn)行運(yùn)算，但這種運(yùn)算方式會受到限制，因此我們可以構(gòu)建專用計(jì)算機(jī)或加速器芯片來進(jìn)行處理，相比于通用 CPU，這種專業(yè)化的加速器芯片能帶來新的計(jì)算效率和設(shè)計(jì)選擇。

專為支持此類計(jì)算而定制的計(jì)算機(jī)或加速器芯片。相對于必須運(yùn)行更廣泛種類的算法的通用 CPU，這種專業(yè)化實(shí)現(xiàn)了新的效率和設(shè)計(jì)選擇。

早在 2000 年代初期，就有少數(shù)研究者開始探索使用 GPU 來實(shí)現(xiàn)深度學(xué)習(xí)算法。之后到了 2004 年，計(jì)算機(jī)科學(xué)家 Kyoung-Su Oh 和 Keechul Jung 展示了使用 GPU 對神經(jīng)網(wǎng)絡(luò)算法近 20 倍的速度提 sheng。2008 年，計(jì)算機(jī)科學(xué)家 Rajat Raina 及其同事演示了在某些非監(jiān)督學(xué)習(xí)算法中，使用 GPU 與使用基于 CPU 的最佳實(shí)現(xiàn)相比，GPU 速度提升可達(dá) 72.6 倍。

隨著計(jì)算硬件的改進(jìn)，深度學(xué)習(xí)開始在圖像識別、語音識別、語言理解等方面取得顯著進(jìn)步。深度學(xué)習(xí)算法有兩個非常好的特性可以構(gòu)建專門的硬件：首先，它們對精度的降低非常寬容；其次，深度學(xué)習(xí)的計(jì)算方式，其由密集矩陣或向量上的不同線性代數(shù)運(yùn)算序列組成。

為了使深度學(xué)習(xí)和計(jì)算變得更容易，研究人員開發(fā)了開源軟件框架，如今，開源框架幫助大量的研究人員、工程師等推進(jìn)深度學(xué)習(xí)研究，并將深度學(xué)習(xí)應(yīng)用到更廣泛的領(lǐng)域。

早期的一些框架包括 Torch、Theano、DistBelief 、Caffe 等，還有谷歌在 2015 年開發(fā)、開源的 TensorFlow，它是一個允許表達(dá)機(jī)器學(xué)習(xí)計(jì)算的框架，并結(jié)合了 Theano 和 DistBelief 等早期框架的想法。到目前為止，TensorFlow 已被下載超過 5000 萬次，是世界上最受歡迎的開源軟件包之一。

TensorFlow 發(fā)布的一年后，PyTorch 于 2016 年發(fā)布，它使用 Python 可以輕松表達(dá)各種研究思想而受到研究人員的歡迎。JAX 于 2018 年發(fā)布，這是一個流行的面向 Python 的開源庫，結(jié)合了復(fù)雜的自動微分和底層 XLA 編譯器，TensorFlow 也使用它來有效地將機(jī)器學(xué)習(xí)計(jì)算映射到各種不同類型的硬件上。

TensorFlow 和 PyTorch 等開源機(jī)器學(xué)習(xí)庫和工具的重要性怎么強(qiáng)調(diào)都不為過，它們允許研究人員可以快速嘗試想法。隨著世界各地的研究人員和工程師更輕松地在彼此的工作基礎(chǔ)上進(jìn)行構(gòu)建，整個領(lǐng)域的進(jìn)展速度將加快！

研究成果激增

研究不斷取得進(jìn)步、面向 ML 硬件（GPU、TPU 等）的計(jì)算能力不斷增強(qiáng)、開源機(jī)器學(xué)習(xí)工具（Tensor-Flow、PyTorch 等）被廣泛采用，這一系列進(jìn)展使得機(jī)器學(xué)習(xí)及其應(yīng)用領(lǐng)域的研究成果急劇增加。其中一個強(qiáng)有力的指標(biāo)是發(fā)布到 arXiv 上關(guān)于機(jī)器學(xué)習(xí)領(lǐng)域的論文數(shù)量，arXiv 是一個廣受歡迎的論文預(yù)印本托管服務(wù)，2018 年發(fā)布的論文預(yù)印本數(shù)量是 2009 年的 32 倍以上（每兩年增長一倍以上）。通過與氣候科學(xué)和醫(yī)療保健等關(guān)鍵領(lǐng)域的專家合作，機(jī)器學(xué)習(xí)研究人員正在幫助解決對社會有益、促進(jìn)人類進(jìn)步的重要問題?？梢哉f我們生活在一個激動人心的時(shí)代。

科學(xué)和工程應(yīng)用激增

計(jì)算能力的變革性增長、機(jī)器學(xué)習(xí)軟硬件的進(jìn)步以及機(jī)器學(xué)習(xí)研究成果的激增，都使得機(jī)器學(xué)習(xí)應(yīng)用在科學(xué)和工程領(lǐng)域的激增。通過與氣候科學(xué)和醫(yī)療健康等關(guān)鍵領(lǐng)域的合作，機(jī)器學(xué)習(xí)研究人員正在幫助解決對社會有益并促進(jìn)人類發(fā)展的重要問題。這些科學(xué)和工程領(lǐng)域包括如下：

• 神經(jīng)科學(xué)
• 分子生物學(xué)
• 醫(yī)療健康
• 天氣、環(huán)境和氣候挑戰(zhàn)
• 機(jī)器人
• 可訪問性
• 個性化學(xué)習(xí)
• 計(jì)算機(jī)輔助的創(chuàng)造性
• 重要的構(gòu)建塊
• Transformers
• 計(jì)算機(jī)系統(tǒng)的 ML

每個細(xì)分的詳細(xì)內(nèi)容請參考原文。

機(jī)器學(xué)習(xí)的未來

ML 研究社區(qū)正在出現(xiàn)一些有趣的研究方向，如果將它們結(jié)合起來可能會更加有趣。

首先，研究稀疏激活模型，比如稀疏門控專家混合模型（Sparsely-Gated MoE），展示了如何構(gòu)建非常大容量的模型，其中對于任何給定的實(shí)例（如 2048 個專家中的兩至三個），只有一部分模型被「激活」。

其次，研究自動化機(jī)器學(xué)習(xí)（AutoML），其中神經(jīng)架構(gòu)搜索（NAS）或進(jìn)化架構(gòu)搜索（EAS）等技術(shù)可以自動學(xué)習(xí) ML 模型或組件的高效結(jié)構(gòu)或其他方面以對給定任務(wù)的準(zhǔn)確率進(jìn)行優(yōu)化。AutoML 通常涉及運(yùn)行很多自動化實(shí)驗(yàn)，每個實(shí)驗(yàn)都可能包含巨量計(jì)算。

最后，以幾個到幾十個相關(guān)任務(wù)的適當(dāng)規(guī)模進(jìn)行多任務(wù)訓(xùn)練，或者從針對相關(guān)任務(wù)的大量數(shù)據(jù)訓(xùn)練的模型中遷移學(xué)習(xí)然后針對新任務(wù)在少量數(shù)據(jù)上進(jìn)行微調(diào)，這些方式已被證明在解決各類問題時(shí)都非常有效。

一個非常有趣的研究方向是把以上三個趨勢結(jié)合起來，其中在大規(guī)模 ML 加速器硬件上運(yùn)行一個系統(tǒng)。目標(biāo)是訓(xùn)練一個可以執(zhí)行數(shù)千乃至數(shù)百個任務(wù)的單一模型。這種模型可能由很多不同結(jié)構(gòu)的組件組成，實(shí)例（example）之間的數(shù)據(jù)流在逐實(shí)例的基礎(chǔ)上是相對動態(tài)的。模型可能會使用稀疏門控專家混合和學(xué)習(xí)路由等技術(shù)以生成一個非常大容量的模型，但其中一個任務(wù)或?qū)嵗齼H稀疏激活系統(tǒng)中總組件的一小部分。

下圖 1 描述了一個多任務(wù)、稀疏激活的機(jī)器學(xué)習(xí)模型。

每個組件本身可能正在運(yùn)行一些類 AutoML 的架構(gòu)搜索，以使組件的結(jié)構(gòu)適應(yīng)路由到它的數(shù)據(jù)類型。新的任務(wù)可以利用在其他任務(wù)上訓(xùn)練的組件，只要它有用就行。Jeff Dean 希望通過非常大規(guī)模的多任務(wù)學(xué)習(xí)、共享組件和學(xué)習(xí)路由，模型可以迅速地以高準(zhǔn)確率來完成新任務(wù)，即使每個新任務(wù)的新實(shí)例相對較少。原因在于模型能夠利用它在完成其他相關(guān)任務(wù)時(shí)已經(jīng)獲得的專業(yè)知識和內(nèi)部表示。

構(gòu)建一個能夠處理數(shù)百萬任務(wù)并學(xué)習(xí)自動完成新任務(wù)的單一機(jī)器學(xué)習(xí)是人工智能和計(jì)算機(jī)系統(tǒng)工程領(lǐng)域真正面臨的巨大挑戰(zhàn)。這需要機(jī)器學(xué)習(xí)算法、負(fù)責(zé)任的 AI（如公平性和可解釋性）、分布式系統(tǒng)和計(jì)算機(jī)架構(gòu)等很多領(lǐng)域的專業(yè)知識，從而通過構(gòu)建一個能夠泛化以在機(jī)器學(xué)習(xí)所有應(yīng)用領(lǐng)域中獨(dú)立解決新任務(wù)的系統(tǒng)，來推動人工智能領(lǐng)域的發(fā)展。

負(fù)責(zé)任的 AI 開發(fā)

雖然 AI 有能力在人們?nèi)粘Ｉ畹姆椒矫婷嫣峁椭?，但所有研究人員和從業(yè)人員應(yīng)確保以負(fù)責(zé)任的方式開發(fā)相關(guān)方法，仔細(xì)審查偏見、公平性、隱私問題以及其他關(guān)于 AI 工具如何運(yùn)作并影響他人的社會因素，并努力以適當(dāng)?shù)姆绞浇鉀Q所有這些問題。

制定一套明確的原則來指導(dǎo)負(fù)責(zé)任的 AI 發(fā)展也很重要。2018 年，谷歌發(fā)布了一套 AI 準(zhǔn)則，用于指導(dǎo)企業(yè)與 AI 相關(guān)的工作和使用。這套 AI 準(zhǔn)則列出了需要考慮的重要領(lǐng)域，包括機(jī)器學(xué)習(xí)系統(tǒng)中的偏見、安全、公平、問責(zé)、透明性和隱私。近年來，其他機(jī)構(gòu)和政府也紛紛效仿這一模式，發(fā)布了自己的 AI 使用準(zhǔn)則。Jeff Dean 希望這種趨勢能夠延續(xù)下去，直到它不再是一種趨勢，而成為所有機(jī)器學(xué)習(xí)研究和開發(fā)中遵循的標(biāo)準(zhǔn)。

Jeff Dean 對未來的展望

2010 年代的確是深度學(xué)習(xí)研究和取得進(jìn)展的黃金十年。1956 年達(dá)特茅斯人工智能研討會上提出的一些最困難的問題在這十年取得了長足進(jìn)步。機(jī)器能夠以早期研究人員希望的方式看到、聽到和理解語言。核心領(lǐng)域的成功促使很多科學(xué)領(lǐng)域迎來重大進(jìn)展，不僅智能手機(jī)更加智能，而且隨著人們繼續(xù)創(chuàng)建更復(fù)雜、更強(qiáng)大且對日常生活有幫助的深度學(xué)習(xí)模型，未來有了更多的可能性。得益于強(qiáng)大機(jī)器學(xué)習(xí)系統(tǒng)提供的幫助，人們將在未來變得更有創(chuàng)造力和擁有更強(qiáng)的能力。