AIIA 公布首輪AI芯片基準評測結(jié)果
3月6日,由國際電信聯(lián)盟、中國信息通信研究院聯(lián)合主辦,人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟(AIIA)和中興通訊承辦的國際論壇“AI in 5G——引領(lǐng)新時代論壇”在深圳召開。來自全球電信運營商、標準組織、互聯(lián)網(wǎng)企業(yè)、設(shè)備廠商、高校等業(yè)界各方的專家和嘉賓共聚一堂,探討AI賦能5G網(wǎng)絡智能化以及行業(yè)應用創(chuàng)新。會上,AIIA正式發(fā)布“AIIA DNN benchmark V0.5”首輪評估結(jié)果,評估基于AIIA權(quán)威測試平臺,在四大典型應用場景下,客觀反映具有深度學習處理能力的處理器或加速器的性能水平。參與首輪評估的產(chǎn)品分別是:海思麒麟980和瑞芯微RK3399開發(fā)板。
國內(nèi)權(quán)威AI芯片基準測試
AIIA副秘書長王愛華在論壇上介紹了評估的背景情況。為了切實反映當前AI芯片的能力,聚合更多AI芯片企業(yè)參與,推動市場的健康發(fā)展,在科技部、工信部、網(wǎng)信辦的指導下,2018年10月AIIA聯(lián)合國內(nèi)眾多具有代表性的應用企業(yè)、主流芯片企業(yè)及芯片工具企業(yè),正式發(fā)布《人工智能端側(cè)芯片基準測試評估方案Version 0.5》,并于2018年12月啟動首輪評估工作。
圖1:AIIA副秘書長王愛華介紹評估背景
首輪評估結(jié)果發(fā)布
AIIA DNN benchmark V0.5測試評估主要面向端側(cè),旨在客觀反映具有深度神經(jīng)網(wǎng)絡加速能力的處理器在完成推斷任務時的性能。AIIA總體組組長孫明俊向業(yè)界正式發(fā)布首輪評估結(jié)果。
圖2:AIIA總體組組長孫明俊發(fā)布首輪評估結(jié)果
孫明俊表示,首輪評估包含四大典型場景(見圖3)和兩大類評測指標,指標包含速度(fps)和算法性能,如top1 、top5、mAP、mIoU、PSNR等。值得一提的是,這是深度學習處理器領(lǐng)域首次區(qū)分整型和浮點對比的Benchmark。
圖3:評測指標及應用場景
AIIA DNN benchmark V0.5首輪測試對麒麟980和瑞芯微RK3399開發(fā)板兩款產(chǎn)品進行了評估。
海思麒麟980——適用于手機終端Mate20系列,采用7nm工藝。具體評測結(jié)果如圖4和圖5所示。
圖4:場景1下海思麒麟980評測結(jié)果
圖5:場景2/3/4下海思麒麟980評測結(jié)果
瑞芯微 RK3399開發(fā)板——該芯片在安防等領(lǐng)域有廣泛應用,采用28nm工藝。結(jié)果顯示,在浮點模型不需要定點化重新訓練的情況下,int8計算以精度損失最大為1%的代價,達到了相對于浮點計算兩倍的性能(見圖6)。
圖6:瑞芯微RK3399開發(fā)板評測結(jié)果
評估工具開源
AIIA DNN benchmark V0.5測試評估工具采用開源方式,支持安卓系統(tǒng),易于推廣到所有 POSIX 兼容系統(tǒng)中,且用戶可以根據(jù)項目文檔,自行添加一個框架或者一個新模型。面向未來的市場需求,AIIA DNN benchmark項目將持續(xù)更新。
孫明俊介紹,v0.5版本的Benchmark工具可以對基于CPU/GPU/DSP/NPU的終端推斷任務進行評測,支持評測的機器學習框架包括TensorFlow/Caffe。目前已經(jīng)完成的移動端適配環(huán)境包括HiAI /SNPE/Tengine /TensorFlow Lite/ MACE/ NCNN 等。
項目代碼已經(jīng)開源到Github,鏈接為: https://github.com/AIIABenchmark/AIIABenchmark
v1.0 版評估方案即將發(fā)布
會上,西安交通大學任鵬舉教授對AIIA DNN benchmark V0.5首輪評測的結(jié)果進行了解讀,并向業(yè)界公布了評估方案的后續(xù)推進計劃,AIIA DNN benchmark項目v1.0 正式版預計將于今年上半年正式發(fā)布。
圖7:西安交通大學任鵬舉教授解讀v0.5版本評估結(jié)果
圖8:v0.5版本評測結(jié)果分析
圖9:v0.5版本評測結(jié)果分析
最后,ARM中國AI技術(shù)市場經(jīng)理分享了題為《ARM中國周易開放AIoT應用平臺》的演講。他表示,ARM人工智能周易平臺已順利對接AIIA DNN Benchmark項目,旨在助力芯片公司為ARM芯片取得客觀公正的AI性能評估報告,同時也方便應用算法公司的芯片選型。
圖10:ARM中國AI技術(shù)市場經(jīng)理發(fā)表演講
未來,AIIA將順應行業(yè)發(fā)展需要,持續(xù)迭代評估規(guī)范。AIIA DNN benchmark項目v1.0 正式版的評測對象將進一步豐富,覆蓋語音、自動駕駛、安防等應用場景下的AI芯片??梢灶A見,基于開放、共贏的產(chǎn)業(yè)生態(tài),AIIA DNN benchmark項目將吸引更多企業(yè)與開發(fā)者加入。