最新全球權威AI基準測試榜單:浪潮和NVIDIA霸榜了
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯(lián)系出處。
今天,全球權威AI基準測試MLPerf最新推理榜單v1.0版正式公布。
在總計42個競賽項目中,浪潮獲得18項性能第一,英偉達獲得10項性能第一,兩家廠商占據(jù)了70%的冠軍榜單,分別成為成績最好的系統(tǒng)廠商及芯片廠商,成績遙遙領先。
△ 注:42個賽道,共決出41項冠軍(其中一賽道無廠商提交成績)
最新一期MLPerf共有17家廠商參與, 英偉達、英特爾、高通、阿里巴巴、浪潮、戴爾、HPE等全球AI領先公司悉數(shù)在列,競爭極為激烈。
測試內容
MLPerf推理性能榜單從v0.5開始,至今已發(fā)布3次。這次的重大升級是版本進化到v1.0,因此測試內容更加規(guī)范,對測試硬件提出了更為細致的要求。
本次MLPerf推理性能測試總共包含6項,具體內容和參數(shù)如下:

AI服務器廠商比比看
MLPerf推理性能測試硬件分為“數(shù)據(jù)中心”和“邊緣”兩個場景。每類場景都包含固定任務(Closed)和開放優(yōu)化(Open)兩類性能競賽。
其中,固定任務(Closed)強調AI計算系統(tǒng)的公平比較,參賽各方基于同一參考實現(xiàn),沒有針對硬件做特殊軟件優(yōu)化。
固定任務競賽衡量的是同一深度學習模型在不同硬件上的性能,重點考察參測廠商硬件系統(tǒng)和軟件優(yōu)化的能力,廣受廠商和客戶看重。
△ 固定任務6大賽道(精度99%)排名第一服務器
數(shù)據(jù)中心分別在兩種條件下進行測試。第一種是“離線”情況,其中所有數(shù)據(jù)都在單個數(shù)據(jù)庫中可用。
第二個是模擬了數(shù)據(jù)中心服務器的真實情況,在該環(huán)境中,數(shù)據(jù)以突發(fā)方式到達服務器,要求系統(tǒng)必須能夠足夠快速、準確地完成其工作,才能處理下一個突發(fā)。
在數(shù)據(jù)中心固定任務“主賽道”中,共有13家廠商提交了584項競賽成績,是競爭最激烈的賽道。
在數(shù)據(jù)中心固定任務場景的16項競賽中,浪潮獲得11項第一,戴爾獲得3項第一,Supermicro獲得2項第一;而NVIDIA、浪潮包攬了邊緣固定任務場景的17項冠軍,NVIDIA獲得10項第一,浪潮獲得7項第一。
在邊緣固定任務重要賽道中,共有11家廠商提交了326項競賽成績,顯示出廠商對邊緣與AI融合的關注度日益提升。
關于MLPerf
MLPerf由圖靈獎得主大衛(wèi)·帕特森(David Patterson)聯(lián)合谷歌、斯坦福、哈佛大學等頂尖學術機構發(fā)起成立,是權威性最大、影響力最廣的國際AI性能基準測試,地位相當于全球AI領域的“奧運會”。
MLPerf榜單每年定期發(fā)布基準測試數(shù)據(jù),其結果被國際社會廣泛認可。
2020年,MLPerf發(fā)布了第二個AI推理跑分榜單v0.7,當時浪潮AI服務器NF5488A5創(chuàng)造18項性能記錄。
完整榜單地址:
https://mlcommons.org/en/news/mlperf-inference-v10/