緊跟近些年的趨勢，2020年深度學(xué)習(xí)依然是發(fā)展最快的領(lǐng)域之一，直奔未來工作。其發(fā)展是多方面的，而且是多方位的。以下是對今年發(fā)展中一些突出亮點的梳理與盤點。

[[374257]]

2020年1月

OpenAI宣布將PyTorch作為其標(biāo)準(zhǔn)的深度學(xué)習(xí)框架

AI研究組織OpenAI宣布PyTorch為其新的標(biāo)準(zhǔn)深度學(xué)習(xí)框架。PyTorch將提高其在GPU上的大規(guī)模研究生產(chǎn)率。在PyTorch的支持下，OpenAI將其生成式建模迭代時間從幾周縮短到幾天。

2020年3月

(1) Megvii 開源深度學(xué)習(xí)AI框架

中國的初創(chuàng)公司Megvii Technology表示，將把其深度學(xué)習(xí)框架開源。MegEngine是Megvii專有AI平臺Brain++的一部分。它可以在廣泛的范圍內(nèi)訓(xùn)練計算機(jī)視覺，并幫助世界各地的開發(fā)人員構(gòu)建商業(yè)和工業(yè)用途的AI解決方案。

(2) Keras 2.4.0發(fā)布

新版本清除了關(guān)于tf.keras和獨立的Keras包之間的不兼容和差異的困惑?，F(xiàn)在，一個單一的Keras模型--tf.keras--已經(jīng)投入使用。

(3) 華為技術(shù)有限公司開源 "Mindspore

華為技術(shù)公司開源了MindSpore，這是一個面向移動、邊緣和云場景的深度學(xué)習(xí)訓(xùn)練框架。該框架是輕量級的，正在給TensorFlow和PyTorch帶來激烈的競爭。

它可以跨設(shè)備擴(kuò)展，并且在自然語言處理(NLP)等功能上使用的代碼減少了20%。它還支持并行訓(xùn)練，節(jié)省不同硬件的訓(xùn)練時間，并維護(hù)和保存敏感數(shù)據(jù)。

MindSpore本身并不處理任何數(shù)據(jù)，而是只攝取預(yù)處理后的模型和梯度信息，保持模型的魯棒性。

2020年4月

IBM公司的CogMol加速了COVID-19的治療開發(fā)

IBM的深度學(xué)習(xí)框架CogMol將幫助研究人員加速治愈COVID-19等傳染病。新框架將解決當(dāng)前 "生成式人工智能模型以創(chuàng)建新型肽、蛋白質(zhì)、候選藥物和材料 "中的挑戰(zhàn)。

2020年6月

(1) ABBYY開源NeoML，深度學(xué)習(xí)和算法的框架

ABBYY，宣布推出NeoML。它是一個用于構(gòu)建、訓(xùn)練和部署ML模型的開源庫。NeoML是一個跨平臺的框架。它針對在云端、桌面和移動設(shè)備上運(yùn)行的應(yīng)用進(jìn)行了優(yōu)化，并支持深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法。

ABBYY的工程師使用它來完成計算機(jī)視覺和NLP任務(wù)。這些任務(wù)包括圖像預(yù)處理、分類、OCR、文檔布局分析以及從文檔中提取數(shù)據(jù)，這些文檔可以是結(jié)構(gòu)化的，也可以是非結(jié)構(gòu)化的。

"NeoML為運(yùn)行在任何設(shè)備上的預(yù)訓(xùn)練圖像處理模型提供了15-20%的性能。" 該庫被設(shè)計為處理和分析多格式數(shù)據(jù)(視頻、圖像等)的綜合工具。

(2) FINDER發(fā)布

網(wǎng)絡(luò)科學(xué)家多年來一直在努力解決一個重要問題。他們一直在試圖確定最影響網(wǎng)絡(luò)功能的關(guān)鍵角色或一組最佳節(jié)點。

今年6月，中國國防科技大學(xué)、加州大學(xué)洛杉磯分校(UCLA)和哈佛醫(yī)學(xué)院(HMS)的研究人員發(fā)表了一個名為FINDER(Finding key players in Networks through Deep Reinforcement learning)的深度強(qiáng)化學(xué)習(xí)(DRL)框架。它在一小套合成網(wǎng)絡(luò)上進(jìn)行訓(xùn)練，然后應(yīng)用于真實世界的場景。該框架可以識別復(fù)雜網(wǎng)絡(luò)中的關(guān)鍵角色。它發(fā)表在《自然機(jī)器智能》的一篇論文中。

2020年8月

(1) scikit-learn發(fā)布了0.23版本

新版本包括一些新的主要功能，并修復(fù)了上一個版本中的bug。其主要功能包括：廣義線性模型，以及梯度提升的泊松損失;豐富的估計器的可視化表示;對KMeans的可擴(kuò)展性和穩(wěn)定性的改進(jìn);對基于直方圖的梯度提升估計器的改進(jìn);對Lasso和ElasticNet的樣本權(quán)重支持。

2020年9月

亞馬遜出版《深度學(xué)習(xí)分析》《Dive into Deep Learning》一書

亞馬遜團(tuán)隊在書中加入了關(guān)鍵的編程框架。這本書--Dive into Deep Learning--是通過Jupyter筆記本起草的，整合了數(shù)學(xué)、文本和可運(yùn)行代碼。它是一個完全開源的實時文檔，可觸發(fā)更新為HTML、PDF和筆記本版本。

雖然這本書最初是為MXNeT編寫的，但其作者也將PyTorch和TensorFlow加入其中。

對于對深度學(xué)習(xí)感興趣的學(xué)生、開發(fā)者和科學(xué)家來說，亞馬遜的這本書是一個很好的開源資源。

2020年10月

(1) 《自然機(jī)器智能》雜志發(fā)表了一個突破性的模型

今年10月，來自維也納理工大學(xué)(TU Wien)、奧地利IST和美國麻省理工學(xué)院(MIT)的一個國際研究團(tuán)隊公布了一個新的人工智能系統(tǒng)。這個新時代的人工智能系統(tǒng)建立在線蟲等微小動物的大腦上，只需幾個人工神經(jīng)元就能控制車輛。

與以往的深度學(xué)習(xí)模型相比，該方案具有顯著的優(yōu)勢。遠(yuǎn)離了臭名昭著的 "黑盒子"，它可以處理嘈雜的輸入，并且簡單易懂。該模型發(fā)表在《自然機(jī)器智能》上。

(2) MIScnn 發(fā)布

MIScnn是一個開源的Python框架，用于卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的醫(yī)學(xué)圖像分割。

它擁有直觀的API，只需幾行代碼就能快速設(shè)置醫(yī)學(xué)圖像分割管道。MIScnn還具有數(shù)據(jù)I/O、預(yù)處理;貼片式分析;數(shù)據(jù)增強(qiáng);度量;具有最先進(jìn)的深度學(xué)習(xí)模型和模型利用的庫;以及自動評估。

(3) TensorFlow 2.3發(fā)布

tf.data解決了輸入管道瓶頸，提高了資源利用率。對于高級用戶來說，它的訓(xùn)練速度有所提高。tf.data允許用戶在不同的訓(xùn)練運(yùn)行中重復(fù)使用輸出，從而釋放出額外的CPU時間。

TF Profiler增加了一個內(nèi)存剖析器來可視化模型的內(nèi)存使用情況，以及一個Python追蹤器來追蹤模型中的Python函數(shù)調(diào)用。它還提供了對新的 Keras 預(yù)處理層 API 的實驗性支持。

(4) PyTorch 1.7.0 發(fā)布

它包括許多新的API，包括 "支持NumPy兼容的FFT操作、剖析工具，以及對分布式數(shù)據(jù)并行(DDP)和基于遠(yuǎn)程過程調(diào)用(RPC)的分布式訓(xùn)練的重大更新。"

11月及以后

隨著2020年進(jìn)入最后一圈，我們期待更多令人印象深刻的新進(jìn)展出現(xiàn)。

馬克-庫班曾說說。"人工智能、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)--不管你在做什么，如果你不懂的話，就學(xué)趕緊學(xué)起來吧。因為否則你的知識將在3年內(nèi)成為老古董。"

為深入研究深度學(xué)習(xí)干杯!