[[349523]]

盡管人工智能的誕生已經(jīng)超過半個世紀，但近十年來人工智能領域發(fā)展非常迅速。自2012年ImageNet競賽開始深度學習的現(xiàn)代時代以來，只有8年的時間。自那時以來，人工智能領域的進步令人震驚，現(xiàn)在人工智能已經(jīng)深入我們?nèi)粘９ぷ魃畹姆椒矫婷妗?/p>

有專家表示，這個驚人的步伐只會越來越快。從現(xiàn)在開始的五年后，人工智能領域將與今天大不相同。當前被認為是最先進的方法將已經(jīng)過時;今天剛剛出現(xiàn)或處于邊緣的方法將成為主流。

下一代人工智能將是什么樣子?哪種新穎的AI方法將釋放當前在技術和業(yè)務方面難以想象的可能性?之前的文章《下一代人工智能的發(fā)展方向 (上)》涵蓋了AI內(nèi)的三個新興領域，(無監(jiān)督學習、聯(lián)合學習和Transformer)這些領域將在未來幾年重新定義人工智能領域和社會。

本文將再介紹另外三個：

4、神經(jīng)網(wǎng)絡壓縮

人工智能正在走向邊緣。

能夠直接在邊緣設備(例如電話、智能揚聲器、攝像頭、車輛)上運行AI算法具有巨大優(yōu)勢，而無需從云端來回發(fā)送數(shù)據(jù)。

也許最重要的是，邊緣AI增強了數(shù)據(jù)隱私性，因為不需要將數(shù)據(jù)從其源頭移動到遠程服務器。由于所有處理均在本地進行，因此Edge AI的延遲也較低。對于諸如自動駕駛汽車或語音助手之類的時間敏感型應用程，這至關重要。它具有更高的能源效率和成本效益，成為機器學習擴大的計算和經(jīng)濟成本日益重要的考慮因素。而且，它使AI算法無需互聯(lián)網(wǎng)連接即可自主運行。

Nvidia首席執(zhí)行官黃仁勛(Jensen Huang)是AI商業(yè)世界的巨頭之一，他認為邊緣AI是計算的未來：“ AI正在從云移動到邊緣，連接到AI計算機的智能傳感器可以加快許多應用的速度，并節(jié)省能源。隨著時間的流逝，將有數(shù)以萬億計的這種由人工智能驅動的小型自主計算機。”

但是，要使邊緣智能無處不在的崇高愿景成為現(xiàn)實，就需要一項關鍵的技術突破：人工智能模型需要變得更小，而且比目前的小得多。因此，在不損害神經(jīng)網(wǎng)絡性能的情況下開發(fā)和商業(yè)化壓縮神經(jīng)網(wǎng)絡的技術已成為AI領域最重要的追求之一。

如今，典型的深度學習模型非常龐大，需要大量的計算和存儲資源才能運行。 OpenAI的新語言模型GPT-3于今年夏天成為頭條新聞，其模型參數(shù)高達1750億個，僅存儲模型就需要超過350 GB的空間。即使是大小不接近GPT-3的模型也仍然需要大量計算：ResNet-50是幾年前開發(fā)的一種廣泛使用的計算機視覺模型，每秒使用38億個浮點運算來處理圖像。

這些模型不能在邊緣運行。邊緣設備中的硬件處理器(例如手機、Fitbit或Roomba中的芯片)功能不足以支持它們。

因此，開發(fā)使深度學習模型更輕量級的方法成了關鍵：它將釋放圍繞分散式人工智能構建的一系列產(chǎn)品和商業(yè)機會。

這樣的模型壓縮將如何工作?

近年來，研究人員和企業(yè)家在該領域取得了長足進步，開發(fā)了一系列使神經(jīng)網(wǎng)絡小型化的技術。這些技術可以分為五個主要類別：精簡、量化、低秩分解、緊湊型卷積濾波器和知識蒸餾。

精簡需要識別并消除神經(jīng)網(wǎng)絡中的冗余或不重要連接，以使其精簡。量化通過使用較少的比特表示值來壓縮模型。在低秩分解中，模型的張量將被分解，以構造近似于原始張量的稀疏版本。緊湊型卷積濾波器是經(jīng)過特殊設計的濾波器，可減少執(zhí)行卷積所需的參數(shù)數(shù)量。最后，知識蒸餾涉及使用模型的完整版本來“教”一個較小的模型以模仿其輸出。

這些技術大多彼此獨立，這意味著它們可以串聯(lián)部署以提高結果。實際上，其中一些(精簡、量化)可以應用于已經(jīng)存在的模型，而其他一些(緊湊的過濾器、知識蒸餾)則需要從頭開始開發(fā)模型。

少數(shù)新興公司已經(jīng)出現(xiàn)，將神經(jīng)網(wǎng)絡壓縮技術從研究領域推向市場。更有前途的有Pilot AI、Latent AI、 Edge Impulse 和Deeplite。舉一個例子，Deeplite聲稱其技術可以使神經(jīng)網(wǎng)絡縮小100倍，加快10倍，將電源效率提高20倍，而不會犧牲性能。

“在過去的十年中，世界上具有一定計算能力的設備數(shù)量激增，” Pilot AI首席執(zhí)行官Jon Su解釋說。 “Pilot AI的核心IP極大地減少了用于對象檢測和跟蹤等任務的AI模型的大小，從而使AI / ML工作負載可以直接在邊緣IoT設備上運行。這將使設備制造商能夠將每年售出的數(shù)十億個傳感器(如按鈕門鈴、恒溫器或車庫門開啟器)轉換為可為下一代IoT應用提供支持的豐富工具。”

大型技術公司正在積極收購這一類別的初創(chuàng)公司，突顯了該技術的長期戰(zhàn)略重要性。今年早些時候，蘋果以2億美元的價格收購了總部位于西雅圖的Xnor.ai。Xnor的技術將幫助蘋果在其iPhone和其他設備上部署邊緣AI功能。特斯拉在2019年收購了該領域的早期先驅者之一DeepScale，以支持對其車輛的推斷。

多年來，最重要的技術交易之一-英偉達上個月宣布的以400億美元收購Arm的交易-很大程度上是由于AI走向邊緣而加速向高效計算的轉變。

英偉達首席執(zhí)行官黃仁勛在談到這一交易時強調(diào)了這一點：“能源效率是未來計算領域中最重要的一件事……英偉達和Arm將共同打造這個人工智能時代世界一流的計算公司。”

在未來的幾年中，人工智能將變得不受束縛、分散化和環(huán)境化，并在邊緣的數(shù)萬億種設備上運行。模型壓縮是一項必不可少的促成技術，它將幫助實現(xiàn)這一愿景。

5、生成人工智能

當今的機器學習模型主要對現(xiàn)有數(shù)據(jù)進行交織和分類：例如，識別人臉或識別欺詐。生成式AI是一個快速發(fā)展的新領域，它專注于構建可生成自己新穎內(nèi)容的AI。簡而言之，生成型人工智能將人工智能超越了感知到創(chuàng)造。

生成AI的核心是兩項關鍵技術：生成對抗網(wǎng)絡(GAN)和變分自編碼器(VAE)。

兩種方法吸引人的是，GAN是Ian Goodfellow在AI先驅Yoshua Bengio在蒙特利爾大學攻讀博士學位時于2014年發(fā)明的。

Goodfellow在概念上的突破是使用兩個獨立的神經(jīng)網(wǎng)絡構造GAN，然后將它們相互對抗。

從給定的數(shù)據(jù)集(例如，一張人臉照片的集合)開始，第一個神經(jīng)網(wǎng)絡(稱為“生成器”)開始生成新圖像，這些圖像在像素方面在數(shù)學上類似于現(xiàn)有圖像。同時，第二個神經(jīng)網(wǎng)絡(“鑒別器”)被喂入照片而沒有被告知它們是來自原始數(shù)據(jù)集還是來自發(fā)生器的輸出。它的任務是識別合成的照片。

當這兩個網(wǎng)絡不斷地互相作用時(生成器試圖欺騙鑒別器，鑒別器試圖暫緩生成器的創(chuàng)造物)，它們彼此磨煉了能力。最終，判別器的分類成功率下降到50%，沒有比隨機猜測更好，這意味著合成生成的照片已經(jīng)與原始照片變得難以區(qū)分。

2016年，AI大神Yann LeCun稱GAN為“過去十年中機器學習中最有趣的想法”。

與GAN差不多同時推出的VAE是一種概念上相似的技術，可以用作GAN的替代方法。

與GAN一樣，VAE由兩個神經(jīng)網(wǎng)絡組成，這兩個神經(jīng)網(wǎng)絡協(xié)同工作以產(chǎn)生輸出。第一個網(wǎng)絡(“編碼器”)獲取一條輸入數(shù)據(jù)并將其壓縮為較低維的表示形式。第二個網(wǎng)絡(“解碼器”)采用這種壓縮表示形式，并基于原始數(shù)據(jù)屬性的概率分布和隨機性函數(shù)，生成新穎的輸出，將“riff”輸入到原始輸入。

通常，GAN的輸出質量比VAE更高，但構建起來更加困難且成本更高。

與更廣泛的人工智能類似，生成型AI激發(fā)了廣泛受益的和可怕的現(xiàn)實世界應用。只有時間能說明哪個將占主導地位。

從積極的方面來看，生成AI的最有希望的用例之一是合成數(shù)據(jù)。合成數(shù)據(jù)是一種潛在的改變游戲規(guī)則的技術，它使從業(yè)人員能夠數(shù)字化地構建他們訓練AI模型所需的確切數(shù)據(jù)集。

如今，訪問正確的數(shù)據(jù)既是AI的最重要也是最具挑戰(zhàn)性的部分。通常，為了訓練深度學習模型，研究人員必須從現(xiàn)實世界中收集成千上萬個數(shù)據(jù)點。然后，他們必須在每個數(shù)據(jù)點上貼上標簽，然后模型才能從數(shù)據(jù)中學習。這充其量是一個昂貴且耗時的過程。最糟糕的是，根本無法獲得所需的數(shù)據(jù)。

合成數(shù)據(jù)使從業(yè)人員能夠根據(jù)需要人為地創(chuàng)建高保真數(shù)據(jù)集，以適應他們的精確需求，從而顛覆了這種范式。例如，使用合成數(shù)據(jù)方法，自動駕駛汽車公司可以生成數(shù)十億個不同的駕駛場景供其車輛學習，而無需在現(xiàn)實世界的街道上實際遇到這些場景中的每一個。

隨著合成數(shù)據(jù)準確地逼近現(xiàn)實世界數(shù)據(jù)，它將使AI民主化，削弱專有數(shù)據(jù)資產(chǎn)的競爭優(yōu)勢。在可以按需廉價地生成數(shù)據(jù)的世界中，跨行業(yè)的競爭動態(tài)將被顛覆。

涌現(xiàn)出了一批有前途的初創(chuàng)公司來追逐這一機會，包括Applied Intuition、Parallel Domain、AI.Reverie、Synthesis AI和Unlearn.AI。大型技術公司(包括Nvidia、Google和Amazon)也在大力投資于合成數(shù)據(jù)。合成數(shù)據(jù)的第一個主要商業(yè)用例是自動駕駛汽車，但該技術正在迅速遍及各個行業(yè)，從醫(yī)療保健到零售以及其他領域。

抵消合成數(shù)據(jù)的巨大積極潛力，另一種生成型AI應用有可能對社會產(chǎn)生廣泛的破壞性影響：DeepFakes。

本質上，DeepFakes技術使擁有計算機和互聯(lián)網(wǎng)連接的任何人都可以創(chuàng)建看起來真實逼真的照片和視頻，這些人所說的和做的事情實際上并沒有說或做，只是換了張別人的臉而已。

Deepfake技術已被廣泛應用的第一個用例是成人內(nèi)容。根據(jù)初創(chuàng)公司Sensity在2019年7月的一份報告，在線上的Deepfake視頻中有96%是有關成人內(nèi)容的。 Deepfake幾乎總是在未經(jīng)同意的情況下進行的，涉及人工合成具有著名名人或私人聯(lián)系人的露骨視頻。

從互聯(lián)網(wǎng)上的這些黑暗角落，DeepFakes的使用已開始蔓延到政治領域，在政治領域，危害更大。最近在加蓬、馬來西亞和巴西與DeepFakes相關的政治事件可能是即將發(fā)生的事的早期例子。

布魯金斯學會(Brookings Institution)在最近的一份報告中嚴厲地總結了DeepFakes帶來的一系列政治和社會危險：“扭曲民主言論;操縱選舉;削弱對機構的信任;削弱新聞業(yè);加劇社會分化;破壞公共安全;并造成難以修復的著名人士，包括民選官員和公職候選人的名譽受到損害。”

合成數(shù)據(jù)和Deepfake的核心技術是相同的。然而，用例和潛在的現(xiàn)實世界影響卻截然相反。

技術上的一個大真理是，任何給定的創(chuàng)新都可能給人類帶來巨大的利益，也可能給社會帶來嚴重的傷害，這取決于人類選擇使用它的方式。核能確實如此;互聯(lián)網(wǎng)確實如此。人工智能同樣如此。生成式人工智能就是一個有力的例證。

6、“syetem2”推理

諾貝爾獎獲得者心理學家丹尼爾·卡尼曼(Daniel Kahneman)在其具有里程碑意義的著作《思考，快與慢》中普及了“系統(tǒng)1”思維和“系統(tǒng)2”思維的概念。

• system1是直覺系統(tǒng)，主要負責快速、無意識、非語言的認知，這是目前深度學習主要做的事情;
• system2是邏輯分析系統(tǒng)，是有意識的、帶邏輯、規(guī)劃、推理以及可以語言表達的系統(tǒng)。這是未來深度學習需要著重考慮的。

system1的思維是直觀、快速、輕松而自動的。system1的活動示例包括識別朋友的臉，閱讀路過的廣告牌上的文字或填寫“戰(zhàn)爭與_______”一詞。system1幾乎不需要有意識的處理。

系統(tǒng)2的思考速度較慢，更具分析性和審議性。當需要費力的推理來解決抽象問題或處理新穎情況時，人們會使用System 2思維。system1活動的示例包括解決復雜的腦筋急轉彎或確定社交環(huán)境中特定行為的適當性。

盡管system11 /system12框架是為分析人類認知而開發(fā)的，但它可以很好地映射到當今的人工智能世界。簡而言之，當今最先進的AI系統(tǒng)在System 1任務上表現(xiàn)出色，但在System 2任務上卻舉步維艱。

AI領導者Andrew Ng對此進行了很好的總結：“如果一個典型的人可以花不到一秒鐘的時間完成一項心理任務，那么我們現(xiàn)在或不久的將來都可以使用AI將其自動化。”

Yoshua Bengio在NeurIPS的2019年主題演講中探索了這個確切的主題。 Bengio在演講中呼吁AI尋求新方法，使AI系統(tǒng)能夠從System 1任務擴展到System 2功能，例如計劃、抽象推理、因果理解和開放式概括。

Bengio說：“我們希望擁有能夠理解世界的機器，能夠建立良好的世界模型，能夠理解因果關系，并且能夠在世界上采取行動來獲取知識。”

有許多不同的方法來組織AI學科的議程、軌跡和抱負。但是，也許最強大、最緊湊的方式是這樣的：為了進步，人工智能需要在system2思維上變得更好。

尚無人確切知道向System 2 AI邁進的最佳方法。近年來，有關如何執(zhí)行此操作的爭論經(jīng)常引起爭議。這場辯論引發(fā)了關于智力概念的基本哲學問題。

Bengio堅信，盡管可以對當今的神經(jīng)網(wǎng)絡進行進一步的創(chuàng)新，但System 2推理可以在當前的深度學習范例中實現(xiàn)。

Bengio在NeurIPS的主題演講中說：“有人認為我們需要發(fā)明全新的東西來應對這些挑戰(zhàn)，也許可以回到經(jīng)典的AI來處理諸如高級認知之類的問題。” “但是，我們現(xiàn)在有一條路，擴展了深度學習的能力，可以解決認知系統(tǒng)2的這類高級問題。”

Bengio指出，注意力機制，持續(xù)學習和元學習是深度學習中的現(xiàn)有技術，它們對追求System 2 AI具有特別的希望。

但是，其他人則認為，人工智能領域需要更根本的重置。

教授兼企業(yè)家Gary Marcus一直特別提倡非深度學習方法來研究System 2智能。 Marcus呼吁將神經(jīng)網(wǎng)絡與符號方法結合起來的混合解決方案，這種方法在AI研究的最初幾年中很流行，但最近卻不受歡迎。

“深度學習只是構建智能機器的更大挑戰(zhàn)的一部分，” Marcus在現(xiàn)代深度學習時代來臨之際于2012年在《紐約客》上寫道。 “這類技術缺乏表達因果關系的方法，并且在獲取抽象思想時可能會面臨挑戰(zhàn)……。它們沒有明顯的邏輯推理方法，距離集成抽象知識(例如關于什么是對象，它們的用途以及通常的使用方式。”

Marcus與他人共同創(chuàng)立了機器人初創(chuàng)公司Robust.AI，以尋求通往可以推理的AI替代途徑。就在最近，Robust宣布完成了1500萬美元的A輪融資。

計算機科學家Judea Pearl是另一位主要思想家，他認為通向System 2推理的道路不只是深度學習。 Pearl多年來一直倡導因果推理(理解因果關系的能力，而不僅僅是統(tǒng)計關聯(lián))是構建真正智能機器的關鍵。正如Pearl最近所說：“深度學習的所有令人印象深刻的成就都等于曲線擬合。”

 在本系列文章探討的六個AI領域中，最后一個目標是最開放和抽象的。通往System 2 AI的途徑很多。前方的道路仍然迷霧重重。這可能是一個曲折的旅程，但是在我們有生之年，它將改變經(jīng)濟和世界。