雄心勃勃的 DeepMind，要在深度學(xué)習(xí)網(wǎng)絡(luò)和傳統(tǒng)算法之間架橋了！

　　眾所周知，經(jīng)典算法是使軟件能夠風(fēng)行世界的原因，但這些算法所使用的數(shù)據(jù)并不總是能反映真實世界。

　　而深度學(xué)習(xí)是當今 AI 應(yīng)用的源動力，但深度學(xué)習(xí)模型需要重新訓(xùn)練，才能應(yīng)用于最初設(shè)計的領(lǐng)域。

　　現(xiàn)在，DeepMind 想開創(chuàng)一條新路，他們要找到一種深度學(xué)習(xí)模型，模仿任何經(jīng)典算法，并在現(xiàn)實世界實現(xiàn)功能。

[[428875]]

只用一個算法，統(tǒng)治一切！

　　近年來，DeepMind 因 AI 領(lǐng)域的一些標志性成就而屢上頭條。AlphaGo 打破人類選手對圍棋的統(tǒng)治，AlphaFold 解決了生物學(xué)領(lǐng)域 50 年來的大難題。

　　現(xiàn)在，DeepMind 將目光投向另一個重大挑戰(zhàn)：將深度學(xué)習(xí)與計算機科學(xué)經(jīng)典算法聯(lián)系起來。

　　經(jīng)典算法和深度學(xué)習(xí)網(wǎng)絡(luò)的本質(zhì)不同

　　要實現(xiàn)這個目標，首先要理解二者的主要區(qū)別。即：經(jīng)典算法和深度學(xué)習(xí)網(wǎng)絡(luò)的性質(zhì)有什么不同？

[[428876]]

[[428877]]

　　DeepMind 的兩位研究人員 Charles Blundell 和 Petar Veličković專門談了這個問題。他們都在 DeepMind 擔(dān)任高級研究職位。

　　他們認為，二者之間的主要區(qū)別在于「泛化性」和「最優(yōu)解」問題。

　　Blundell 表示，第一，算法在大多數(shù)情況下不會改變。算法由一組固定的規(guī)則組成，這些規(guī)則在某些輸入上執(zhí)行。對于算法獲得的任何類型的輸入，算法都會在合理的時間內(nèi)給出合理的輸出。更改輸入的大小，算法會繼續(xù)工作。

　　第二，算法可以串連在一起。算法的性質(zhì)決定了：給定某種輸入，只產(chǎn)生某種輸出。我們可以把一個算法輸出作為其他算法的輸入，構(gòu)建一個完整的堆棧。

　　即使是簡單任務(wù)，要用深度學(xué)習(xí)來完成算法的工作也很困難。比如一個最簡單的任務(wù)：復(fù)制文本。輸出為輸入的本文復(fù)制。

　　這么簡單的任務(wù)，要深度學(xué)習(xí)完成就很麻煩。如果只在1-10 個字符長度上進行訓(xùn)練，那么當任務(wù)字符長度超出時，輸出就會出問題，因為它學(xué)不會算法中的核心思想。

　　如果任務(wù)再復(fù)雜一點，比如涉及排序，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的性能會更差。而這對于傳統(tǒng)意義上的算法來說根本不是問題。

　　總結(jié)一下就是：

　　深度學(xué)習(xí)網(wǎng)絡(luò)的泛化性能很差，但在充分訓(xùn)練的特定問題上，往往比算法產(chǎn)生更優(yōu)化的結(jié)果。

　　傳統(tǒng)算法是可泛化的。改變輸入數(shù)據(jù)的大小和類型，原來可用的算法程序依然可用。但算法有時產(chǎn)生的結(jié)果可能不是最優(yōu)的。

　　怎么同時解決這兩個問題，同時獲得算法和深度學(xué)習(xí)的優(yōu)勢？

　　神經(jīng)算法推理：一個算法，統(tǒng)治一切！

　　Blundell 和 Veličković提出了一個方向：神經(jīng)算法推理（NAR）。

　　NAR 關(guān)鍵點是，通過用深度學(xué)習(xí)方法更好地模仿算法，讓深度學(xué)習(xí)實現(xiàn)算法的高度可泛化性，同時保留對問題的最優(yōu)解。

　　DeepMind 已經(jīng)選擇和谷歌地圖 APP 進行合作，將圖網(wǎng)絡(luò)作為 NAR 的試驗場。他們利用谷歌地圖的圖網(wǎng)絡(luò)數(shù)據(jù)，對用戶旅行時的到達時間進行預(yù)測。相關(guān)論文已經(jīng)發(fā)表。

　　2020 年，谷歌地圖是美國下載量最大的地圖和導(dǎo)航應(yīng)用，每天有數(shù)百萬人在使用。谷歌地圖重要的尋路（Pathfinding） 功能，其背后的技術(shù)支持正是 DeepMind 提供的。

　　為何選擇圖網(wǎng)絡(luò)模型來做這件事呢？

　　Veličković表示，因為實際上任何對象都可以適用圖表示的框架。

　　「比如圖像，可以看作是由附近的像素組成的圖。文本可以看作彼此相連的一系列目標。更廣泛地說，自然界中沒有被人為設(shè)計編排進某個框架或序列的東西，都非常自然地表現(xiàn)為圖結(jié)構(gòu)。」

　　為什么要使用專門應(yīng)用于深度學(xué)習(xí)算法的泛化框架，而不僅僅是直接使用機器學(xué)習(xí)算法？

　　因為他們希望設(shè)計能在真正在復(fù)雜現(xiàn)實世界中順利運行的解決方案。大規(guī)模處理大量自然數(shù)據(jù)的最佳解決方案就是深度神經(jīng)網(wǎng)絡(luò)。

　　Blundell 對 NAR 研究的未來潛力表示樂觀。

　　「在面向?qū)ο蟮木幊讨校趯ο箢愔g發(fā)送消息，你會發(fā)現(xiàn)它完全相似，你可以構(gòu)建非常復(fù)雜的交互圖，然后將其映射到圖神經(jīng)網(wǎng)絡(luò)中。從這種復(fù)雜的內(nèi)部結(jié)構(gòu)中獲得的豐富性，可以學(xué)習(xí)使用更傳統(tǒng)的機器學(xué)習(xí)方法不一定能獲得的算法?！笲lundell 說。

　　https://venturebeat.com/2021/10/12/deepmind-is-developing-one-algorithm-to-rule-them-all/

　　https://venturebeat.com/2021/09/10/deepmind-aims-to-marry-deep-learning-and-classic-algorithms/

　　https://arxiv.org/abs/2108.11482