偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

讓神經(jīng)網(wǎng)絡(luò)更快更小更高效的模型優(yōu)化技術(shù)MorphNet

新聞 深度學(xué)習(xí)
Google AI放出了MorphNet。他們用流行的圖像分類(lèi)神經(jīng)網(wǎng)絡(luò)Inception V2對(duì)其進(jìn)行測(cè)試之后發(fā)現(xiàn),在不犧牲精度的情況下,神經(jīng)網(wǎng)絡(luò)變得更快更小,算力消耗還減少了!

 想要調(diào)整你的神經(jīng)網(wǎng)絡(luò)來(lái)完成特定任務(wù)?這件事并沒(méi)有想象中那么簡(jiǎn)單。

深度神經(jīng)網(wǎng)絡(luò)(DNN)是塊好磚,不過(guò)想要搬動(dòng)它,需要耗費(fèi)的計(jì)算資源和時(shí)間成本可能非常昂貴。

現(xiàn)在,Google AI放出了MorphNet。他們用流行的圖像分類(lèi)神經(jīng)網(wǎng)絡(luò)Inception V2對(duì)其進(jìn)行測(cè)試之后發(fā)現(xiàn),在不犧牲精度的情況下,神經(jīng)網(wǎng)絡(luò)變得更快更小,算力消耗還減少了!

MorphNet是什么

MorphNet是一種神經(jīng)網(wǎng)絡(luò)模型優(yōu)化( refinement)技術(shù),走的是利用現(xiàn)有架構(gòu),針對(duì)特定任務(wù)優(yōu)化的路線(xiàn)。

也就是說(shuō)這是一個(gè)遷移學(xué)習(xí)問(wèn)題。遷移學(xué)習(xí)的難點(diǎn)在于找出不變量,模型需要處理許多與此前訓(xùn)練的任務(wù)目標(biāo)相近,但又不完全一樣的任務(wù),這會(huì)使模型性能大打折扣甚至崩潰。

而MorphNet的成功之處在于,只要將針對(duì)類(lèi)似問(wèn)題構(gòu)建的神經(jīng)網(wǎng)絡(luò)作為輸入,就能為新任務(wù)創(chuàng)造更小、更快、更合身的新架構(gòu)。

MorphNet通過(guò)循環(huán)收縮和擴(kuò)展兩個(gè)階段來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)。

收縮階段

在收縮階段,MorphNet會(huì)識(shí)別出低效神經(jīng)元,并運(yùn)用稀疏正則化器來(lái)修剪它們。

需要說(shuō)明的是MorphNet會(huì)在考慮目標(biāo)資源的情況下來(lái)計(jì)算一個(gè)神經(jīng)元的損失,因此在訓(xùn)練過(guò)程之中,優(yōu)化器能夠意識(shí)到資源損失,從而認(rèn)識(shí)到哪些神經(jīng)元是高效的,哪些又是可以被移除的。

有些不明白?那么來(lái)看看下面這個(gè)例子,看MorphNet是如何計(jì)算神經(jīng)網(wǎng)絡(luò)的計(jì)算成本(如FLOPs,即每秒浮點(diǎn)運(yùn)算次數(shù))的:

假設(shè)一個(gè)表示為矩陣乘法的神經(jīng)網(wǎng)絡(luò)層,該層具有 2 個(gè)輸入(Xn),6 個(gè)權(quán)重(a, b, …, f)以及 3 個(gè)輸出(Yn;神經(jīng)元)。也就是說(shuō)評(píng)估這一層需要 6 次乘法。

MorphNet將乘法數(shù)視作輸入數(shù)和輸出數(shù)的乘積。在左側(cè)的示例當(dāng)中,雖然有兩個(gè)權(quán)重為0,進(jìn)行評(píng)估時(shí)仍然需要執(zhí)行所有的乘法。但中間的示例顯示了結(jié)構(gòu)的稀疏性,MorphNet能夠識(shí)別它的輸出數(shù)為 2,并且該層的乘法數(shù)從 6 減少到了4。按照這個(gè)想法,MorphNet可以確定網(wǎng)絡(luò)中每一個(gè)神經(jīng)元的增量成本,以產(chǎn)生右側(cè)這樣更為有效的模型。

擴(kuò)展階段

在擴(kuò)展階段,MorphNet使用寬度乘數(shù)來(lái)均勻地?cái)U(kuò)展所有層的大小。

舉個(gè)例子,如果擴(kuò)展50%,那么對(duì)于低效層來(lái)說(shuō),神經(jīng)元從 100 個(gè)收縮到 10 個(gè)之后,只會(huì)重新擴(kuò)展到15個(gè);而對(duì)于重要層來(lái)說(shuō),神經(jīng)元只會(huì)從 100 個(gè)收縮到 80 個(gè),重新擴(kuò)展后則可能達(dá)到 120 個(gè),并且獲得更多可支配的資源。

也就是說(shuō),MorphNet的最終效果是將計(jì)算資源從網(wǎng)絡(luò)中效率低的部分重新分配到效率高的部分。

Google AI出品:讓神經(jīng)網(wǎng)絡(luò)更快更小更高效的模型優(yōu)化技術(shù)MorphNet

 MorphNet優(yōu)化AI模型

效果怎么樣

Google AI團(tuán)隊(duì)用MorphNet對(duì)Inception V2網(wǎng)絡(luò)模型進(jìn)行了訓(xùn)練。

Google AI出品:讓神經(jīng)網(wǎng)絡(luò)更快更小更高效的模型優(yōu)化技術(shù)MorphNet

 圖片截自論文MorphNet論文

基線(xiàn)方法是使用寬度乘數(shù),通過(guò)均勻縮小每個(gè)卷積的輸出數(shù)量來(lái)權(quán)衡精度和算力消耗(紅色)。

MorphNet方法則直接以算力消耗為目標(biāo),在收縮模型時(shí)生成更好的權(quán)衡曲線(xiàn)(藍(lán)色)。

在同等精度之下,MorphNet方法將算力消耗降低了11%到15%。

在對(duì)Inception V2的優(yōu)化上MorphNet表現(xiàn)出色,對(duì)于其他的網(wǎng)絡(luò)模型,MorphNet也同樣好用。

Google AI出品:讓神經(jīng)網(wǎng)絡(luò)更快更小更高效的模型優(yōu)化技術(shù)MorphNet

 圖片截自論文MorphNet論文

既成功壓縮了模型尺寸/ FLOPs,在質(zhì)量上又幾乎沒(méi)有損失,果然Google出品,必屬精品。

這么好用的東西,Google已經(jīng)自己用起來(lái)了。Google AI團(tuán)隊(duì)表示,MorphNet已應(yīng)用于Google多個(gè)生產(chǎn)規(guī)模的圖像處理模型。

傳送門(mén)

MorphNet現(xiàn)已開(kāi)源。

GitHub地址:

https://github.com/google-research/morph-net

論文地址:

https://arxiv.org/pdf/1711.06798.pdf

責(zé)任編輯:張燕妮 來(lái)源: 量子位
相關(guān)推薦

2010-10-12 13:57:43

GoogleWebP

2021-12-10 11:46:33

無(wú)線(xiàn)網(wǎng)絡(luò)

2010-12-23 15:55:00

上網(wǎng)行為管理

2010-01-06 13:57:03

解析JSON

2011-07-21 13:52:43

組策略網(wǎng)絡(luò)打印機(jī)

2024-06-06 11:54:35

2022-04-07 09:01:52

神經(jīng)網(wǎng)絡(luò)人工智能

2018-05-08 14:58:07

戴爾

2010-01-14 16:35:31

C++優(yōu)化

2024-10-15 10:47:12

2024-01-01 18:57:01

Code技巧符號(hào)

2019-01-05 08:40:17

VGG神經(jīng)網(wǎng)絡(luò)

2019-04-19 08:47:00

前端監(jiān)控數(shù)據(jù)

2023-11-24 11:20:04

functoolsPython

2016-06-30 16:54:49

UCloud愛(ài)數(shù)云計(jì)算

2011-07-06 10:48:12

ADSL

2011-07-06 10:27:32

ADSL

2011-07-06 10:48:42

ADSL

2009-02-19 17:24:18

2018-11-26 07:04:59

神經(jīng)網(wǎng)絡(luò)優(yōu)化函數(shù)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)