偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

中科大統(tǒng)一輸入過濾框架:首次理論分析可過濾性,支持全數(shù)據(jù)模態(tài)

人工智能 新聞
針對模型推理過程中的輸入冗余,中科大新研究首次從理論角度進(jìn)行了可過濾性分析,并提出統(tǒng)一的輸入過濾框架,讓模型推理的資源效率大幅提升。

隨著移動設(shè)備算力的提高和對感知數(shù)據(jù)進(jìn)行實時分析需求的增長,以移動為中心的人工智能應(yīng)用愈發(fā)普遍。據(jù)估計,2022 年將有超過 80% 的商用 IoT 項目將包含 AI 應(yīng)用。然而多數(shù)精度最優(yōu)的 AI 模型的計算量過大,以至于難以在移動設(shè)備上進(jìn)行高吞吐的推理,甚至當(dāng)推理任務(wù)被卸載到邊緣或云端服務(wù)器時其推理效率也難以滿足應(yīng)用的需求。

冗余的輸入廣泛存在于移動為中心的人工智能應(yīng)用中,將其過濾是一種有效的提高推理效率的方法?,F(xiàn)有工作分別探索過兩類輸入過濾機制:推理跳過和推理重用。其中推理跳過方法旨在跳過那些不會產(chǎn)生有意義輸出的推理計算,例如相冊分類應(yīng)用可能會在沒有人臉的圖片上運行人臉檢測模型:

智能音箱應(yīng)用可能將不包含指令的語音上傳至云端進(jìn)行語音識別:

而推理重用方法希望重用已進(jìn)行過得推理計算結(jié)果,從而在新的數(shù)據(jù)到來時能夠從緩存中更快速地返回結(jié)果,例如智能手環(huán)上的動作分類模型可能會處理產(chǎn)生相同動作標(biāo)簽的運動信號:

以及基于無人機和邊緣服務(wù)器的交通監(jiān)控可能會在連續(xù)兩個畫面幀中得到不變的車輛計數(shù)結(jié)果:

現(xiàn)有工作已針對很多應(yīng)用設(shè)計了有效的輸入過濾方法,然而兩個重要的問題仍未得到解答,并且嚴(yán)重影響著輸入過濾方法的應(yīng)用:

  1. 推理任務(wù)的可過濾性。盡管輸入過濾技術(shù)已在很多具體應(yīng)用中顯示出優(yōu)化效果,但往往是由主觀的對冗余輸入的觀察而啟發(fā)的。如果不能從理論上回答 “哪些推理任務(wù)存在輸入過濾的優(yōu)化機會” 這一問題,則輸入過濾技術(shù)的應(yīng)用難以避免高成本的試錯過程;
  2. 魯棒的特征可區(qū)分性。輸入數(shù)據(jù)的特征表達(dá)直接關(guān)系到進(jìn)行推理跳過和找到可重用推理結(jié)果的精度,因此對于輸入過濾的表現(xiàn)有著關(guān)鍵影響?,F(xiàn)有方法多數(shù)依賴手工特征或預(yù)訓(xùn)練深度特征,這些特征在應(yīng)用過程中沒有魯棒的可區(qū)分性,可能完全失去過濾效果。

在 MobiCom 2022 上,中國科學(xué)技術(shù)大學(xué) LINKE 實驗室針對移動為中心的模型推理場景,提出端到端可學(xué)的輸入過濾框架 InFi (INput FIlter)。該工作首次對輸入過濾問題進(jìn)行了形式化建模,并基于推理模型和輸入過濾器的函數(shù)族復(fù)雜性對比,在理論層面上對推理任務(wù)的可過濾性進(jìn)行了分析。InFi 框架涵蓋了現(xiàn)有的 SOTA 方法所使用的推理跳過和推理重用機制?;?InFi 框架,該工作設(shè)計并實現(xiàn)了支持六種輸入模態(tài)和三種推理任務(wù)部署方式的輸入過濾器,在以移動為中心的推理場景中有著廣泛的適用性。在 12 個以移動為中心的人工智能應(yīng)用上進(jìn)行的實驗驗證了理論分析結(jié)果,并表明 InFi 在適用性、準(zhǔn)確性和資源效率方面均優(yōu)于 SOTA 方法。其中,在一個移動平臺上的視頻分析應(yīng)用中,相較于原始推理任務(wù),InFi 實現(xiàn)了 8.5 倍的推理吞吐率并節(jié)省了 95% 的通信帶寬,同時保持超過 90% 的推理精度。

論文地址:https://yuanmu97.github.io/preprint/InFi_MobiCom22.pdf

項目地址:https://github.com/yuanmu97/infi

可過濾性分析

直觀來說,推理任務(wù)的可過濾性指:相較于原始推理任務(wù),能否得到一個低成本、高精度的輸入數(shù)據(jù)冗余性的預(yù)測器。原始的推理任務(wù)定義為屬于函數(shù)族 H 的模型 h,其將輸入數(shù)據(jù)映射至推理輸出,例如人臉檢測模型以圖片為輸入,輸出檢測結(jié)果(人臉位置的檢測框)。根據(jù)推理模型的輸出結(jié)果,定義冗余性判斷函數(shù) f_h,其輸出冗余性標(biāo)簽,例如當(dāng)人臉位置檢測框輸出為空時,將該次推理計算視為冗余。屬于函數(shù)族 G 的輸入過濾器 g 定義為從輸入數(shù)據(jù)到冗余標(biāo)簽的映射函數(shù)。

假設(shè)原始推理模型的目標(biāo)函數(shù)(即提供真實標(biāo)簽的函數(shù))為 c ,其過濾器的目標(biāo)函數(shù)為

,則可見訓(xùn)練原始的推理模型和訓(xùn)練輸入過濾器的區(qū)別在于監(jiān)督標(biāo)簽的不同:推理預(yù)測由原始任務(wù)標(biāo)簽域 Y 監(jiān)督,而過濾預(yù)測由冗余標(biāo)簽域 Z 監(jiān)督。那么對于推理任務(wù)的可過濾性一個直觀的想法是,如果學(xué)習(xí)輸入過濾器比學(xué)習(xí)原始推理模型更簡單,則有潛力得到有效的輸入過濾器。

基于此思路,該工作分析了三類常見推理任務(wù)的可過濾性:

分析過程的關(guān)鍵在于將輸入過濾器的目標(biāo)函數(shù)與原始推理模型相關(guān)聯(lián),從而在兩個學(xué)習(xí)任務(wù)間建立復(fù)雜度可比較的橋梁。以分類任務(wù)基于置信度進(jìn)行冗余判別為例,輸入過濾器的目標(biāo)函數(shù)族形式為

,依此可證明輸入過濾器的函數(shù)族的 Rademarcher 復(fù)雜度小于等于原始推理模型,進(jìn)而得到該任務(wù)可過濾性的分析結(jié)果。

框架設(shè)計和實現(xiàn)

以上的可過濾性分析基于將輸入過濾視為一個學(xué)習(xí)任務(wù)得到,因此框架設(shè)計需要具有端到端可學(xué)性,而不依賴手工特征或預(yù)訓(xùn)練深度特征。同時,框架設(shè)計應(yīng)該統(tǒng)一地支持推理跳過(SKIP)和推理重用(REUSE)機制。該工作基于一個簡潔的思路,即 SKIP 等價于對全零輸入的推理結(jié)果的 REUSE,將兩種機制統(tǒng)一到一個框架之中。

框架包含訓(xùn)練和推理兩個階段。訓(xùn)練階段通過孿生特征網(wǎng)絡(luò)為一對輸入數(shù)據(jù)抽取特征,計算特征距離后由一個分類網(wǎng)絡(luò)得到冗余標(biāo)簽預(yù)測結(jié)果。

在推理階段,若采用 SKIP 機制,則將另一個輸入的特征固定為零,退化為基本的分類器,根據(jù)預(yù)測的冗余性標(biāo)簽決策是否跳過當(dāng)前輸入數(shù)據(jù);若采用 REUSE 機制,則需要維護(hù)一個 “輸入特征 - 推理輸出” 表作為緩存,通過計算當(dāng)前輸入特征與緩存的輸入特征之間的距離,采用 K - 近鄰方法決策是否重用緩存的推理結(jié)果。

該工作提出了 “模態(tài)相關(guān)的特征網(wǎng)絡(luò) + 任務(wù)無關(guān)的分類網(wǎng)絡(luò)” 的設(shè)計,為文本、圖像、視頻、音頻、感知信號、中間層特征設(shè)計了特征抽取網(wǎng)絡(luò),并能夠很容易地擴(kuò)展至更多數(shù)據(jù)模態(tài),分類器網(wǎng)絡(luò)則設(shè)計為多層感知機模型。對輸入模態(tài)的靈活支持為 InFi 在不同的任務(wù)部署方式上的適用性提供了基礎(chǔ),包括三種典型的以移動為中心的推理任務(wù)部署方式:端上推理、卸載至邊緣推理、端 - 邊模型切分推理。

InFi 使用 Python 實現(xiàn),深度學(xué)習(xí)模塊基于 TensorFlow 2.4,目前代碼已開源。

驗證實驗

InFi 在 5 個數(shù)據(jù)集上的 12 種人工智能推理任務(wù)上進(jìn)行了驗證實驗,涵蓋圖片、視頻、文本、音頻、運動信號、中間層特征六種輸入模態(tài)。與三個基線方法的對比實驗表明,InFi 具有更廣泛的適用性,并且在準(zhǔn)確性和效率上都更優(yōu)。

以在城市道路監(jiān)控視頻中進(jìn)行車輛計數(shù)的任務(wù)為例,在端上推理時,相較于原始的工作流,采用 SKIP 和 REUSE 機制的 InFi 方法分別能夠?qū)⑼评硗掏绿嵘?1.9 和 7.5 倍,同時皆保持超過 90% 的推理精度;在進(jìn)行端 - 邊模型切分推理時,兩種機制下的 InFi 分別能夠節(jié)省 70.7% 和 95.0% 的通信帶寬。

InFi 的訓(xùn)練成本也很低。在一個基于運動信號的動作識別應(yīng)用中,僅使用 10% 的訓(xùn)練數(shù)據(jù)集即可得到過濾表現(xiàn)接近最優(yōu)的 SKIP 和 REUSE 結(jié)果。InFi 可在保持超過 95% 推理精度的情況下,節(jié)省 80% 的推理運算。

結(jié)論與未來展望

該工作首次給出了可過濾性的理論分析,提出了統(tǒng)一的端到端可學(xué)的輸入過濾框架,并在廣泛的人工智能推理任務(wù)中驗證了其設(shè)計和實現(xiàn)的優(yōu)越性,對于實現(xiàn)以移動為中心的資源高效的推理有著重要的意義。InFi 框架的一大優(yōu)點在于無需人工標(biāo)注,未來可能會形成新的人工智能模型部署的最佳實踐,即在每個模型的推理服務(wù)期間,自監(jiān)督地訓(xùn)練輸入過濾器,實現(xiàn)精度 - 資源權(quán)衡的模型推理。

責(zé)任編輯:張燕妮 來源: ??機器之心Pro?
相關(guān)推薦

2021-05-07 09:34:20

量子芯片計算機

2024-11-04 13:30:00

模型AI

2022-10-31 14:06:32

量子研究

2022-02-25 23:49:31

量子研究

2023-12-04 13:23:00

數(shù)據(jù)訓(xùn)練

2013-06-19 11:32:32

計算性能ISCHPC

2024-08-12 14:00:00

2024-09-18 11:00:00

AI工具數(shù)據(jù)

2025-06-10 09:07:00

2024-06-17 07:10:00

2025-04-15 09:22:00

AI訓(xùn)練模型

2023-10-30 15:06:00

模型數(shù)據(jù)

2012-11-23 10:15:55

SCC12全球超級計算大會

2025-04-01 09:20:00

模型預(yù)測AI

2024-11-06 13:03:49

2021-11-17 16:13:45

IBM 處理器量子

2023-08-21 13:49:00

圖像技術(shù)

2021-12-06 09:53:09

自然語言神經(jīng)網(wǎng)絡(luò)人工智能

2017-03-23 17:09:45

2022-03-28 10:32:28

AI功能手勢
點贊
收藏

51CTO技術(shù)棧公眾號