偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

新聞
華為諾亞實驗室聯(lián)合浙江大學、中國科學院大學等高校提出一種新型視覺神經(jīng)網(wǎng)絡(luò)加速技術(shù) Dynamic Resolution Network(DRNet)

  [[430984]]

華為諾亞實驗室聯(lián)合浙江大學、中國科學院大學等高校提出一種新型視覺神經(jīng)網(wǎng)絡(luò)加速技術(shù) Dynamic Resolution Network(DRNet),不僅有效地節(jié)省了推理時間,還顯著地提高了識別準確度。相關(guān)論文已中稿 NeurIPS 2021。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

論文地址:https://arxiv.org/abs/2106.02898

該論文指出識別每張圖片所需要的最小分辨率是不同的,而現(xiàn)有方法并沒有充分挖掘輸入分辨率的冗余性,也就是說輸入圖片的分辨率不應(yīng)該是固定的。論文進一步提出了一種動態(tài)分辨率網(wǎng)絡(luò) DRNet,其分辨率根據(jù)輸入樣本的內(nèi)容動態(tài)決定。一個計算量可以忽略的分辨率預(yù)測器和我們所需要的圖片分類網(wǎng)絡(luò)一起優(yōu)化訓(xùn)練。在推理過程中,每個輸入分類網(wǎng)絡(luò)的圖像將被調(diào)整到分辨率預(yù)測器所預(yù)測的分辨率,以最大限度地減少整體計算負擔。

實驗結(jié)果表明,在 ImageNet 圖像識別任務(wù)中,DRNet 與標準 ResNet-50 相比,在相似準確率情況下,計算量減少了約 34%;在計算量減少 10% 的情況下,精度提高了 1.4%。

引言

隨著算法、計算能力和大規(guī)模數(shù)據(jù)集的快速發(fā)展,深度卷積網(wǎng)絡(luò)在各種計算機視覺任務(wù)中取得了顯著的成功。然而,出色的性能往往伴隨著巨大的計算成本,這使得 CNN 難以在移動設(shè)備上部署。隨著現(xiàn)實場景對于 CNN 的需求不斷增加,降低計算成本的同時維持神經(jīng)網(wǎng)絡(luò)的準確率勢在必行。

近年來,研究人員在模型壓縮和加速方法方面投入了大量精力,包括網(wǎng)絡(luò)剪枝、低比特量化、知識蒸餾和高效的模型設(shè)計。然而,大多數(shù)現(xiàn)有的壓縮網(wǎng)絡(luò)中輸入圖像的分辨率仍然是固定的。一般而言,深度網(wǎng)絡(luò)使用固定統(tǒng)一的分辨率(例如,ImageNet 上的 224 X 224)進行訓(xùn)練和推理,盡管每張圖片中目標的大小和位置完全不同。

不可否認,輸入分辨率是影響 CNN 計算成本和性能的一個非常重要的因素。對于同一個網(wǎng)絡(luò),更高的分辨率通常會導(dǎo)致更大的 FLOPs 和更高的準確率。相比之下,輸入分辨率較小的模型性能較低,而所需的 FLOP 也較小。然而,縮小深度網(wǎng)絡(luò)的輸入分辨率為我們提供了另一種減輕 CNN 計算負擔的可能性。

為了更清晰地說明,研究者首先使用一個預(yù)訓(xùn)練的 ResNet-50 測試不同分辨率下的圖像,如下圖 1 所示,并計算和展示每個樣本給出正確預(yù)測所需要的最小分辨率。對于一些簡單的樣本,如左側(cè)圖前景熊貓,可以準確地在低分辨率和高分辨率下被識別出來。然而對于一些難樣本如右側(cè)圖的昆蟲,目標被遮擋或者跟別的物體混合,只能通過高分辨率識別。

這一觀察表明,數(shù)據(jù)集中很大一部分圖片可以降低分辨率來識別。另一方面,這也和人類的感知系統(tǒng)一致,即一些樣本在模糊情況下可以被很好地識別,而另外一些在清晰的條件下才能有效識別。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

圖 1:在不同輸入分辨率 (112X112、168X168 和 224X224) 下 ResNet-50 模型的預(yù)測結(jié)果

在本文中,研究者提出了一種新穎的動態(tài)分辨率網(wǎng)絡(luò)(DRNet),它動態(tài)調(diào)整每個樣本的輸入分辨率以進行有效推理。為了準確地找到每張圖像所需的最小分辨率,他們引入了一個嵌入在分類網(wǎng)絡(luò)前面的分辨率預(yù)測器。

在實踐中,研究者將幾個不同的分辨率設(shè)置為候選分辨率,并將圖像輸入分辨率預(yù)測器以生成候選分辨率的概率分布。分辨率預(yù)測器的網(wǎng)絡(luò)架構(gòu)經(jīng)過精心設(shè)計,計算復(fù)雜度可以忽略不計,并與分類器聯(lián)合訓(xùn)練,以端到端的方式進行識別。通過利用所提出的動態(tài)分辨率網(wǎng)絡(luò)推理方法,研究者可以從每個圖像的輸入分辨率中挖掘其冗余度。這樣做不僅可以節(jié)省具有較低分辨率的簡單樣本的計算成本,并且還可以通過保持較高的分辨率來保持難樣本的準確性。

在大規(guī)模數(shù)據(jù)集和 CNN 架構(gòu)上的大量實驗證明了研究者提出的方法在降低整體計算成本和提升網(wǎng)絡(luò)準確率方面的有效性。例如,DR-ResNet-50 僅用 3.7G FLOPs 就達到了 77.5% 的 ImageNet top-1 準確率,這比計算量多 10% 的 ResNet-50 高出了 1.4%。

方法

整體架構(gòu)

研究者提出了一種實例感知的分辨率選擇方法,為大型分類器網(wǎng)絡(luò)選擇輸入圖像的分辨率。這種方法包含了兩個組件,第一個是大型分類器網(wǎng)絡(luò),例如 ResNet,它的特點是準確率高和計算成本高。第二個是分辨率預(yù)測器,它的目標是找到一個最小的分辨率,這樣能為預(yù)測每張輸入圖片來平衡準確率和效率。

對于任意的輸入圖片,研究者首先用分辨率預(yù)測器來預(yù)測其合適的分辨率 r。然后,大型分類器網(wǎng)絡(luò)將 resized 后的圖像作為輸入。這樣,當 r 小于原始分辨率時,F(xiàn)LOPs 就會大幅度減少。兩種網(wǎng)絡(luò)在訓(xùn)練時是端到端一起訓(xùn)練的,如下圖 2 所示。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

圖 2:模型整體結(jié)構(gòu)圖

分辨率預(yù)測器

分辨率預(yù)測器的設(shè)計是基于 CNN 的。分辨率預(yù)測器的目標是通過得到一個概率分布來找到一個合適的分辨率。這里研究者提供 m 個候選分辨率以供分辨率預(yù)測器挑選??紤]到分辨率預(yù)測器會帶來額外的計算消耗,所以在設(shè)計分辨率預(yù)測器時只保留了很少的卷積層和全連接層。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

其中,X 是輸入的樣本,被送入分辨率預(yù)測器。P_r 是預(yù)測器的輸出,其代表了每個候選的概率。候選分辨率中對應(yīng)的最高概率的那個分辨率將被選為送入大分類器的圖片的分辨率。這里采用了 Gumbel-Softmax 來實現(xiàn)這種選擇過程,將其轉(zhuǎn)變成是可微分的:

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

分辨率感知的批正則化(BN)

BN 常用于使得深度模型收斂得更快更穩(wěn)定。然而不同分辨率下的激活統(tǒng)計值 (activation statistics) 包含了均值和方差,這使得它們不兼容。實驗表明,使用不同的分辨率下的共享的 BN 會導(dǎo)致更低的準確率??紤]到 BN 層只包含了可忽略不計的參數(shù),研究者提出分辨率感知的批正則化,即對于不同的分辨率,使用他們對應(yīng)的 BN 層。

訓(xùn)練優(yōu)化

分類網(wǎng)絡(luò)與分辨率預(yù)測器同時進行訓(xùn)練優(yōu)化。損失函數(shù)包含了交叉熵損失函數(shù)和研究者提出的 FLOPs 損失函數(shù)。FLOPs 損失函數(shù)用于限制計算量。

給定一個預(yù)訓(xùn)練好的分類網(wǎng)絡(luò)

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

。輸入 X 并輸出概率

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

以用于圖像分類。對于輸入 X,研究者首先將其 resize 成 m 個候選分辨率 X_r1, X_r2,... , X_rm,然后使用分辨率預(yù)測器對每張圖片產(chǎn)生分辨率概率矢量 P_rR^m。然后軟分辨率概率 P_r 被轉(zhuǎn)變成硬的獨熱選擇 h ϵ{0,1}^m,使用 Gumbel-Softmax。h 代表了每個樣本的分辨率選擇。在實踐中,他們首先獲得了對于每個分辨率的最終的預(yù)測 y_rj=F(X_rj),然后將其通過 h 加起來:

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

交叉熵損失函數(shù)

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

將在預(yù)測 ^y 和標簽 y 之間執(zhí)行:

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

梯度被反向傳播到分類網(wǎng)絡(luò)和分辨率預(yù)測器以同時優(yōu)化。

如果只使用交叉熵損失函數(shù),分辨率預(yù)測器將會收斂到一個次優(yōu)點,并傾向于選擇最大的分辨率,因為最大的分辨率往往對應(yīng)著更低的分類損失。為了減少計算量,研究者提出了一個 FLOPs constraint regularization 去指導(dǎo)分類預(yù)測器的學習:

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021
不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

是實際 FLOPs,C_j 是預(yù)先計算好的第 j 個分辨率的 FLOPs,

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

是在樣本層面的期望值,

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

是目標 FLOPs。經(jīng)過這個正則,如果平均 FLOPs 值過大,將會有一個懲罰,促使提出的分辨率預(yù)測器高效且準確。最終,整個損失函數(shù)是兩者加權(quán)和:

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021
不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

是超參數(shù)以用于平衡

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

的幅度。

Gumbel Softmax 可以使得離散的 decision 在反向傳播中可微。對于前述概率值 P_r = [p_r1, p_r2, , p_rm],離散的候選分辨率選擇可以由此得到:

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

g_j 是 gumbel noise,由下式得到:

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

在訓(xùn)練過程中,獨熱操作的求導(dǎo)可以由 gumbel softmax 近似,其中

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

是溫度系數(shù):

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

實驗

研究者在 ImageNet-1K 和 ImageNet-100 數(shù)據(jù)集上訓(xùn)練和驗證 DRNet 模型,其中 ImageNet-100 是 ImageNet-1K 的子集。

ImageNet-100 實驗

從下表 1 可以看出,在 ImageNet-100 數(shù)據(jù)集上,DRNet 相比于 ResNet-50,減少了 17% 的 FLOPs,同時獲得了 4.0% 的準確率提升。當調(diào)整超參數(shù)和時,可以減少 32% 的 FLOPs 并提升 1.8% 準確率。另外,采用分辨率感知的 BN 獲得了性能提升而 FLOPs 相似。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

表 1 :ResNet-50 骨干網(wǎng)絡(luò)在 ImageNet-100 上的結(jié)果

下表 2 中,研究者進一步減少,可以獲得 44% 的 FLOPs 減少而準確率還是增加。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

表 2 :FLOPs Loss 的影響

ImageNet-1K 實驗

研究者在 ImageNet-1K 上進行大規(guī)模實驗,發(fā)現(xiàn) DR-ResNet-50 減少了 10% 的 FLOPs,性能提升 1.4%,如下表 3 所示。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

表 3 :ResNet-50 和 ResNet-101 在 ImageNet-1K 上的結(jié)果

與其他方法的結(jié)果比較見下表 4。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

表 4:和其他模型壓縮方法的比較

為了驗證所提出的動態(tài)分辨率機制的作用,研究者對比了 DR-ResNet-50 和隨機選擇機制的性能,見下表 5。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

表 5:動態(tài)分辨率與隨機分辨率對比 

下圖 3 展示了實際情況下測速,表明該方法比 ResNet-50 優(yōu)越。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

圖 3:準確率和 Latency 對比

下表 6 則將骨干模型從 ResNet 擴展到了 MobileNet,并展示了其有效性。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

表 6:MoblieNet V2 結(jié)果

下圖 4 展示了 DRNet 的預(yù)測結(jié)果可視化,可以看到,視覺上更難識別的圖像往往被預(yù)測為使用更高的分辨率,反之則是更低的分辨率。

不是每張圖都要高清,華為諾亞動態(tài)分辨率網(wǎng)絡(luò)入選NeurIPS 2021

圖 4:圖片可視化結(jié)果

 

 

責任編輯:張燕妮 來源: 機器之心Pro
相關(guān)推薦

2013-05-28 09:32:38

Windows 8.1分辨率

2014-08-07 15:06:45

Android設(shè)備分辨率

2014-10-15 14:58:50

iPhone6iOS 8分辨率

2017-04-10 09:17:08

神經(jīng)網(wǎng)絡(luò)分辨率像素遞歸

2017-05-04 21:15:30

Android分辨率

2017-06-13 12:57:42

Windows 10Windows分辨率

2011-08-16 17:57:51

linux修改分辨率

2025-03-06 00:00:05

DPIHD開發(fā)

2020-09-21 16:11:04

Adobe 軟件平臺

2011-05-30 08:42:56

Android

2012-01-05 16:08:57

佳能激光打印機

2024-07-05 10:41:30

目標檢測算法

2021-01-20 11:14:47

人工智能算法技術(shù)

2009-11-27 13:03:42

SUSE FAQ修改X

2013-05-21 14:15:23

Android游戲開發(fā)屏幕分辨率

2024-01-15 16:34:13

模型訓(xùn)練

2012-06-01 11:29:03

明基投影機

2023-10-27 08:30:52

傳輸接口刷新率

2023-02-16 07:30:55

圖形編輯器屏幕開發(fā)

2009-11-29 17:08:18

vmlinux聲音分辨率
點贊
收藏

51CTO技術(shù)棧公眾號