[[266258]]

大數(shù)據(jù)文摘出品

作者：李雷、張弛、蔣寶尚

轉(zhuǎn)眼間2019年已經(jīng)過去了快一半，這對于日新月異的深度學(xué)習(xí)技術(shù)已經(jīng)算是很長一段發(fā)展時間。Open Data Science在Medium上整理了2019年到現(xiàn)在為止深度學(xué)習(xí)技術(shù)發(fā)布的精華成果，選擇的論文都是在GitHub平臺上有相關(guān)代碼的論文。文摘菌為大家做了編譯工作，希望大家緊跟時代的步伐～

用PyTorch Geometric實現(xiàn)快速圖表示學(xué)習(xí)

這篇論文介紹了PyTorch Geometric，這是一個基于PyTorch(深度學(xué)習(xí)框架)的非結(jié)構(gòu)化數(shù)據(jù)(如圖形，點云和流形)深度學(xué)習(xí)庫。除了通用圖形數(shù)據(jù)結(jié)構(gòu)和處理方法之外，它還包含關(guān)系學(xué)習(xí)和三維數(shù)據(jù)處理領(lǐng)域的各種***方法。PyTorch Geometric通過利用稀疏GPU加速，提供專用CUDA內(nèi)核以及為不同大小的輸入樣本引入高效小批量處理，從而實現(xiàn)了高數(shù)據(jù)吞吐量。

GitHub鏈接：https://github.com/rusty1s/pytorch_geometric

蒙版得分R-CNN(Mask Scoring R-CNN)

在大多數(shù)計算機視覺的實例分割任務(wù)中，通常將實例分類的置信度作為實例分割框架的蒙版(mask)質(zhì)量分數(shù)，這可能會出現(xiàn)偏差。這篇論文研究了這一問題，并提出了蒙版得分R-CNN(Mask Scoring R-CNN )，即用一個模塊來學(xué)習(xí)預(yù)測實例蒙版的質(zhì)量。蒙版評分策略校準了蒙版質(zhì)量和分類評分之間的差異，并在對COCO數(shù)據(jù)集的平均準確度(AP)評估中優(yōu)先考慮更為準確的蒙版預(yù)測來改善實例分割效果。

GitHub鏈接：https://github.com/zjhuang22/maskscoring_rcnn

如何用更少標簽生成高保真圖像

深度生成模型是現(xiàn)代機器學(xué)習(xí)的基礎(chǔ)。近期關(guān)于條件生成對抗網(wǎng)絡(luò)(GAN)的研究表明，自然圖像的復(fù)雜高維分布是可以學(xué)習(xí)的。雖然***的模型能夠生成高分辨率、高保真、多樣化的自然圖像，但它們往往依賴于大量標記數(shù)據(jù)。本論文展示了如何利用目前關(guān)于自主和半監(jiān)督學(xué)習(xí)的研究，在無監(jiān)督及條件設(shè)定下實現(xiàn)***水平的ImageNet圖像合成。

GitHub鏈接：https://github.com/google/compare_gan

GCNv2：實時SLAM的高效響應(yīng)預(yù)測

這篇論文介紹了GCNv2，一個用于生成關(guān)鍵點和描述符的深度學(xué)習(xí)網(wǎng)絡(luò)。GCNv2建立在圖卷積神經(jīng)網(wǎng)絡(luò)GCN之上，GCN是用于訓(xùn)練三維投影幾何的網(wǎng)絡(luò)。GCNv2使用二進制描述符向量作為ORB(Oriented FAST and Rotated BRIEF)特征，因此它可以輕松替換ORB-SLAM(一種基于ORB特征的三維即時定位與地圖構(gòu)建算法)等系統(tǒng)中的ORB。

GitHub鏈接：https://github.com/jiexiong2016/GCNv2_SLAM

ALiPy：Python的主動學(xué)習(xí)

監(jiān)督式的機器學(xué)習(xí)方法通常需要大量標記樣本用于模型訓(xùn)練。但是，在許多實際應(yīng)用中存在大量未標記的數(shù)據(jù)，已標記數(shù)據(jù)其實并不多，并且數(shù)據(jù)打標的成本很高。主動學(xué)習(xí)(AL)通過迭代地選擇最有價值的數(shù)據(jù)樣本并從標注器查詢其標簽，從而降低標注成本。這篇論文介紹了用于主動學(xué)習(xí)的Python 工具庫 ALiPy。

GitHub鏈接：https://github.com/NUAA-AL/ALiPy

DeepFashion2：用于服裝圖像的檢測，姿勢判斷，實例分割和重新識別的多功能基準數(shù)據(jù)集

基準數(shù)據(jù)集DeepFashion提升了人們對服裝時尚的理解，它具有豐富的標簽，包括服裝類別，標記和賣家秀-買家秀圖像。然而，DeepFashion也有不可忽視的問題，例如每副圖像只有單個服裝類別，標記稀疏(僅4~8個)，并且沒有像素蒙版，這些都與現(xiàn)實場景有著顯著差距。本論文介紹的DeepFashion2解決了上述問題。它是一個多功能數(shù)據(jù)集，包含四個功能，服裝檢測，姿勢判斷，實例分割和識別。

GitHub鏈接：https://github.com/switchablenorms/DeepFashion2

星際爭霸多智能體挑戰(zhàn)賽

在過去幾年中，深層多智能體強化學(xué)習(xí)(RL)一直是一個非?；钴S的研究領(lǐng)域。這一領(lǐng)域中有非常具有挑戰(zhàn)性的問題，就是局部觀察、局部合作，和多智能體學(xué)習(xí)，在這種學(xué)習(xí)中各智能體必須學(xué)會基于自己的觀察來與他人協(xié)調(diào)合作。這一研究領(lǐng)域非常吸引人，因為其中擁有大量現(xiàn)實世界相關(guān)的場景，并且這些問題比一般匯總問題更適合算法評估。諸如ALE(街機游戲模式學(xué)習(xí)環(huán)境)和MuJoCo(物理模擬引擎)之類的標準化環(huán)境使單智能體強化學(xué)習(xí)突破了小型領(lǐng)域，如網(wǎng)格世界。但是，合作式多智能體強化學(xué)習(xí)卻缺乏相應(yīng)的基準環(huán)境。因此，該領(lǐng)域的大多數(shù)論文都針對一次性小型問題，難以衡量實際效用。這篇論文提出的星際爭霸多智能體挑戰(zhàn)賽(SMAC)可以作為填補這一空白的基準問題。

GitHub鏈接：https://github.com/oxwhirl/smac

Dropout - 隨機δ規(guī)則特例：更快，更準確的深度學(xué)習(xí)

多層神經(jīng)網(wǎng)絡(luò)在文本、語音和圖像處理等多種基準任務(wù)中表現(xiàn)出色。在分層模型中，非線性參數(shù)估計受到過擬合和誤差的影響。這些估計及相關(guān)問題(局部最小值，共線性，特征發(fā)現(xiàn)等)的其中一種解決方法就是Dropout。Dropout算法在每次更新之前會根據(jù)具有先驗概率p的Bernoulli隨機變量暫時丟棄某些隱藏單元，從而對平均更新的網(wǎng)絡(luò)產(chǎn)生隨機“沖擊”。本論文表明Dropout是一個稱為隨機δ規(guī)則(SDR)的更為通用模型的特例，這個模型最早于1990年發(fā)布。

GitHub鏈接：https://github.com/noahfl/sdr-densenet-pytorch

Lingvo：用于序列到序列建模的模塊化可擴展框架

Lingvo是一個Tensorflow框架，為協(xié)作深度學(xué)習(xí)研究提供完整的解決方案，側(cè)重于序列到序列模型。Lingvo模型由模塊化構(gòu)件組成，靈活，易擴展，實驗配置集中且高度可定制。它內(nèi)置支持分布式訓(xùn)練和量化推理，附帶大量關(guān)于實際應(yīng)用，輔助函數(shù)和***研究理念的實現(xiàn)代碼。在過去兩年中，Lingvo已被數(shù)十名研究人員使用，相關(guān)論文有20多篇。這篇論文概述了Lingvo的底層設(shè)計，并介紹了框架各個部分，同時還提供了高級功能示例，以展示框架能力。

GitHub鏈接：https://github.com/tensorflow/lingvo

學(xué)習(xí)率動態(tài)邊界的自適應(yīng)梯度算法

自適應(yīng)優(yōu)化算法，如AdaGrad，RMSProp和Adam可以用來實現(xiàn)快速訓(xùn)練過程，且具有學(xué)習(xí)率的元素縮放項。盡管很流行，但與隨機梯度下降算法SGD相比，它們的泛化能力較差，甚至?xí)捎诓环€(wěn)定或極端的學(xué)習(xí)率而未能收斂。這篇論文證明極端學(xué)習(xí)率會導(dǎo)致算法表現(xiàn)不佳，并給出了Adam和AMSGrad算法的新變體，分別稱為AdaBound和AMSBound，引入學(xué)習(xí)率的動態(tài)邊界，實現(xiàn)從自適應(yīng)方法到SGD的逐步平滑過渡，并給出收斂的理論證明。作者對各種流行任務(wù)和模型做了進一步的實驗。實驗結(jié)果表明，新變體可以消除自適應(yīng)方法與SGD之間的泛化差距，同時在訓(xùn)練早期保持較高的學(xué)習(xí)速度。

GitHub鏈接：https://github.com/Luolc/AdaBound

相關(guān)報道：

https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38

【本文是51CTO專欄機構(gòu)大數(shù)據(jù)文摘的原創(chuàng)文章，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文