【51CTO.com快譯】英特爾公司于上周發(fā)布了BigDL項(xiàng)目，一套用于分布式深度學(xué)習(xí)的開(kāi)源Spark驅(qū)動(dòng)型框架?？紤]到如今各大IT廠商紛紛公布機(jī)器學(xué)習(xí)框架，CPU巨頭當(dāng)然也沒(méi)有理由落后。

但最值得關(guān)注的并非英特爾公司這一項(xiàng)目將幫助人們?cè)赟park集群中構(gòu)建起怎樣的機(jī)器學(xué)習(xí)方案，而是芯片巨頭就此表達(dá)出的與GPU抗?fàn)幍降椎男坌摹?/p>

[[182276]]

巨大野心

BigDL主要面向那些希望利用機(jī)器學(xué)習(xí)處理Spark或Hadoop集群中數(shù)據(jù)的受眾，特別是那些已經(jīng)開(kāi)始采用Caffe或者Torch庫(kù)的用戶。BigDL的深度學(xué)習(xí)方案與Torch非常類似。利用BigDL，二者創(chuàng)建的模型皆可面向Spark程序進(jìn)行導(dǎo)入及運(yùn)行。另外，Spark還允許此類負(fù)載實(shí)現(xiàn)跨集群向外擴(kuò)展。

然而與其它機(jī)器學(xué)習(xí)框架使用GPU加速實(shí)現(xiàn)流程推動(dòng)的思路不同，BigDL采用的是英特爾的數(shù)學(xué)內(nèi)核庫(kù)(Math Kernel)。其中囊括的數(shù)學(xué)函數(shù)針對(duì)多線程執(zhí)行與英特爾特定處理器擴(kuò)展進(jìn)行了優(yōu)化，且芯片巨頭在其Python發(fā)行版等多個(gè)項(xiàng)目中對(duì)此加以提及。

英特爾公司宣稱，BigDL中的處理流程“相較于立足單節(jié)點(diǎn)至強(qiáng)(即相較于主流GPU方案)上的現(xiàn)成開(kāi)源Caffe、Torch或者TensorFlow擁有幾個(gè)數(shù)量級(jí)的速度優(yōu)勢(shì)。”不過(guò)，BigDL庫(kù)本身并不具備任何具體的基準(zhǔn)測(cè)試結(jié)果來(lái)支持這一說(shuō)法。

如果GPU加速成為機(jī)器學(xué)習(xí)庫(kù)中的標(biāo)準(zhǔn)提速選項(xiàng)，為什么英特爾公司沒(méi)有默認(rèn)加入GPU支持能力?乍一看來(lái)，這似乎是因?yàn)镾park在傳統(tǒng)角度講并不屬于GPU加速型產(chǎn)品。但這樣的理由其實(shí)說(shuō)不通，因?yàn)镮BM已經(jīng)建立起對(duì)應(yīng)項(xiàng)目，且商用Spark供應(yīng)商Databricks公司已經(jīng)于去年年底在其服務(wù)中添加了對(duì)GPU加速型Spark的支持。從理論上講，BigDL完全能夠與GPU加速型Spark進(jìn)行配合，但英特爾的整體規(guī)劃顯然有所不同。

硬件之爭(zhēng)

英特爾公司一直在憑借著其至強(qiáng)Phi處理器產(chǎn)品線在高端計(jì)算市場(chǎng)上與GPU廝殺。英特爾方面以GPU的形式對(duì)其至強(qiáng)Phi處理器進(jìn)行封裝——即采用PCIe附加卡的形式——同時(shí)納入了OpoenMP與OpenCL等軟件工具以實(shí)現(xiàn)其硬件的并發(fā)與高速處理效果。(英特爾公司還收購(gòu)了一家名為Nervana的機(jī)器學(xué)習(xí)硬件廠商，且很可能將其產(chǎn)品以PCIe附加卡的形式推出。)

這一切意味著開(kāi)發(fā)者將擁有更多選擇：在理論上，將現(xiàn)有軟件運(yùn)行在至強(qiáng)Phi上可實(shí)現(xiàn)遠(yuǎn)低于將其移植至GPU架構(gòu)中的代碼修改量。這也意味著運(yùn)營(yíng)工作更易于進(jìn)行，因?yàn)橛芍翉?qiáng)Phi附加卡構(gòu)建的系統(tǒng)可通過(guò)簡(jiǎn)單進(jìn)行卡板插入實(shí)現(xiàn)升級(jí)或者擴(kuò)展，而不必對(duì)整體機(jī)架進(jìn)行更換。

在這方面，BigDL可被視為支持英特爾未來(lái)發(fā)展規(guī)劃的重要概念驗(yàn)證性應(yīng)用之一。不過(guò)行業(yè)的整體勢(shì)頭明顯更偏向GPU——雖然大多數(shù)用于GPU加速的軟件必須遵循由另一家硬件供應(yīng)商制定的客觀標(biāo)準(zhǔn)(英偉達(dá)與CUDA)。另外，考慮到Spark及其它庫(kù)已經(jīng)開(kāi)始全面引入GPU加速機(jī)制，因此開(kāi)發(fā)者并不需要付出太多精力就能享受到由此帶來(lái)的收益。

英特爾公司雖然能夠利用BigDL這類庫(kù)獲得一定競(jìng)爭(zhēng)優(yōu)勢(shì)，但從長(zhǎng)遠(yuǎn)角度來(lái)看，機(jī)器學(xué)習(xí)的歷史車(chē)輪仍在朝著以GPU支持為主的方向滾動(dòng)。

原文標(biāo)題：Intel's BigDL deep learning framework snubs GPUs for CPUs，原文作者：Serdar Yegulalp

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】