PaddlePaddle 與 Kubernetes強強聯(lián)合助力深度學習模型高效運轉(zhuǎn)
美國時間2月8日,Kubernetes社區(qū)宣布由百度原創(chuàng)開發(fā)的開源深度學習框架PaddlePaddle將兼容集群管理系統(tǒng)Kubernetes,使PaddlePaddle成為迄今為止唯一正式支持 Kubernetes的深度學習框架。
此次兼容將使開發(fā)者能夠便捷地在全球主要云服務以及私有集群 (on-premise clusters) 上做大規(guī)模深度學習訓練。該項目由百度和CoreOS聯(lián)合開發(fā),同時CoreOS也是Kubernetes的主要貢獻者之一。
開發(fā)者通常會將AI項目與Web服務、日志收集、和數(shù)據(jù)處理等多種作業(yè)部署在同一個通用集群(general-purpose cluster)之上,從而實現(xiàn)高效數(shù)據(jù)通道。為管理通用集群,需要使用Kubernetes等成熟的通用集群管理系統(tǒng)。使PaddlePaddle兼容Kubernetes,開發(fā)者便可以開發(fā)搭載高效深度學習的應用。
百度科學家及PaddlePaddle研發(fā)項目帶頭人王益表示:“Kubernetes可以有效簡化分布式作業(yè),包括分布式機器學習作業(yè)的部署和運維工作,提升研究員和開發(fā)者的工作效率。“Kubernetes將需要GPU的PaddlePaddle任務與需要大內(nèi)存或大磁盤I/O吞吐量(disk I/O throughput)等其他不同資源的任務部署在同一個物理計算機之上,從而發(fā)揮集群硬件的***效用。同時Kubernetes還能在活躍用戶較多的白天自動啟動更多的Web服務進程,而在夜間釋放Web服務使用的部分資源來啟動更多的PaddlePaddle進程。
PaddlePaddle為百度原創(chuàng)的一款易于使用的深度學習框架。最近四年里應用于百度旗下的多款互聯(lián)網(wǎng)產(chǎn)品中。該框架尤其適合訓練循環(huán)神經(jīng)網(wǎng)絡(recurrent neural networks),從而能高效執(zhí)行自然語言理解、語音識別、和計算視覺等應用。自2016年百度世界大會上,宣布開放百度深度學習平臺以來,PaddlePaddle已成為發(fā)展最快的深度學習平臺之一。















 
 
 





 
 
 
 