6月23日消息，阿里巴巴達(dá)摩院自動駕駛實驗室創(chuàng)新知識蒸餾方法，在多個計算機(jī)視覺基準(zhǔn)測試中，顯著提升算法性能，超越業(yè)界最優(yōu)方法。相關(guān)論文已被頂會CVPR 2022收錄為口頭報告（Oral）。該技術(shù)集成于達(dá)摩院自動駕駛算法庫，未來有望應(yīng)用于末端物流無人車“小蠻驢”和自動駕駛卡車“大蠻驢”。

知識蒸餾是一種模型壓縮/模型訓(xùn)練方法，指將訓(xùn)練好的大模型（教師模型）的知識“蒸餾”提取到有待訓(xùn)練的小模型（學(xué)生模型）中，讓小模型獲得與大模型相當(dāng)?shù)姆夯芰Α４竽Ｐ屯w積較大、部署成本高，小模型靈活小巧，能夠最大限度降低對計算資源的消耗。

CVPR 2022官網(wǎng)的論文分享

知識蒸餾是業(yè)界和學(xué)界的熱門研究課題。達(dá)摩院論文Knowledge Distillation via the Target-aware Transformer指出，以往的知識蒸餾方法，大多以一對一的空間匹配方式，將教師模型的特征提取到學(xué)生模型。但由于結(jié)構(gòu)差異，大小模型在同一空間位置上的語義信息通常是不同的，這極大削弱了一對一蒸餾方法的基本假設(shè)。

論文提出一種新的基于transformer的一對多空間匹配方法，將教師模型特征的每個像素提取到學(xué)生模型特征的所有空間位置，通過參數(shù)相關(guān)性來衡量以學(xué)生特征和教師特征的表征成分為條件的語義距離，并對這種相關(guān)性進(jìn)行建模。

在ImageNet、Pascal VOC和COCOS-tuff10k等基準(zhǔn)測試中，新方法表現(xiàn)出色。如，針對ImageNet數(shù)據(jù)集的圖像分類任務(wù)，基于同一個學(xué)生模型（tiny ResNet18），新方法將模型的top-1準(zhǔn)確率從70.04%提高到72.41%，顯著高于之前最優(yōu)蒸餾方法的71.61%。；針對COCO-Stuff10k上的語義分割任務(wù)，新方法將mobilenetv2結(jié)構(gòu)的mIoU提高1.75%。

達(dá)摩院研發(fā)的物流無人車小蠻驢現(xiàn)已配送訂單超過1000萬

知識蒸餾方法廣泛應(yīng)用于知識遷移、半監(jiān)督學(xué)習(xí)、計算機(jī)視覺等下游算法。自動駕駛技術(shù)團(tuán)隊更關(guān)注其對線上模型性能的提升，讓小模型也能起大作用，論文作者于開丞介紹，“自動駕駛是個超級AI系統(tǒng)，每天都要處理海量的圖像、點云信息，算法性能關(guān)系到終端產(chǎn)品的智能性、安全性、可靠性，可以說，是工業(yè)實踐推動著技術(shù)創(chuàng)新?！?br>

據(jù)悉，達(dá)摩院研發(fā)的L4級自動駕駛產(chǎn)品小蠻驢現(xiàn)已落地超過500輛，在學(xué)校、社區(qū)等末端場景配送訂單超過1000萬。達(dá)摩院已啟動面向干線物流的無人卡車“大蠻驢”的研發(fā)。