Cloudera助力上汽大眾車輛數(shù)據(jù)實時監(jiān)測,實現(xiàn)存算性能升級
可信企業(yè)AI數(shù)據(jù)公司Cloudera宣布,成功助力上汽大眾搭建車輛數(shù)據(jù)監(jiān)控平臺,通過其車聯(lián)網(wǎng)業(yè)務滿足收集和監(jiān)控智能車輛數(shù)據(jù)的監(jiān)管要求。上汽大眾通過部署Cloudera Data Platform(CDP)進行車輛數(shù)據(jù)監(jiān)控作業(yè),在核心跑批作業(yè)性能上實現(xiàn)了顯著提升。同時上汽大眾也實現(xiàn)了數(shù)據(jù)運營效率的優(yōu)化,節(jié)省了高達 67% 的存儲空間,提升了車輛監(jiān)控效率并優(yōu)化了車輛數(shù)據(jù)管理,進而推動數(shù)據(jù)運存的降本增效。
近年來,隨著新能源汽車的迅猛增長,車輛監(jiān)控信息數(shù)據(jù)量呈現(xiàn)出指數(shù)級的增加;同時,國家對于新能源汽車監(jiān)控信息共享也提出了進一步號召,這就需要車企對相關數(shù)據(jù)監(jiān)測有更好的計算能力、存儲、傳輸和應用。
在這樣的背景下,上汽大眾大數(shù)據(jù)平臺團隊于2017年開始基于大數(shù)據(jù)技術構建全新用于車輛數(shù)據(jù)監(jiān)控的平臺,以賦能新能源車輛關鍵業(yè)務發(fā)展。2022年,上汽大眾將數(shù)據(jù)平臺升級,數(shù)據(jù)存儲及作業(yè)性能實現(xiàn)了進一步優(yōu)化。首先,HBase存儲空間減少了約73TB,節(jié)約了67%的空間使用,這得以大大提升其車輛數(shù)據(jù)監(jiān)控的作業(yè)效率;其次,總集群文件數(shù)減少約8千萬,約優(yōu)化原有文件數(shù)的75%。此外,在核心報表及跑批業(yè)務上也實現(xiàn)了明顯的性能提升,批量作業(yè)性能平均提升2.5倍,最高可達6.6倍。這些性能升級,均保證了上汽大眾對車輛監(jiān)測數(shù)據(jù)鏈可以實現(xiàn)完整的存儲和詳細的分析,并且充分滿足國家車輛數(shù)據(jù)管理相關法律法規(guī)的要求。除此以外,上汽大眾還基于此數(shù)據(jù)平臺搭建了面向車主的上汽大眾APP,為廣大車主帶來更智能的汽車服務,包括遠程查看車輛實時狀態(tài)、智能導航服務等。該平臺上線不到兩年?戶已達600萬。
上汽大眾數(shù)據(jù)庫大數(shù)據(jù)平臺負責人謝聰表示:“上汽大眾從2017年起開始引入Cloudera的CDH,并在2018年構建了數(shù)據(jù)湖。在2022年,僅用了六個月的時間,上汽大眾成功將數(shù)據(jù)平臺升級至CDP,成為國內(nèi)汽車行業(yè)中首批升級的企業(yè)。我們所搭建的車輛數(shù)據(jù)監(jiān)測平臺能輕松實現(xiàn)海量數(shù)據(jù)存儲,完善車輛數(shù)據(jù)監(jiān)測及分析;而這些數(shù)據(jù)也將進一步助力我們更好地服務車主,并推動上汽大眾車聯(lián)網(wǎng)業(yè)務的持續(xù)發(fā)展。CDP作為成熟的大數(shù)據(jù)平臺,有效幫助我們解決了日益增長的實時數(shù)據(jù)存儲、管理、計算等難題。未來,我們也將進一步解決存算分離問題以及計算和存儲增速不一致問題,以實現(xiàn)基于工作負載的變化達到最佳的性能資源平衡?!?/span>
Cloudera大中華區(qū)副總裁王剛表示:“在車聯(lián)網(wǎng)市場大力發(fā)展的當下,從國家到行業(yè)對智能汽車的數(shù)據(jù)監(jiān)測管理都頗為關注。如何存儲、管理海量數(shù)據(jù)并從中獲得洞察,是汽車企業(yè)發(fā)展的重要課題。實踐證明,Cloudera為上汽大眾構建的數(shù)據(jù)平臺助其實現(xiàn)了數(shù)據(jù)存儲以及批量作業(yè)性能的全面優(yōu)化,為加速構建車聯(lián)網(wǎng)生態(tài)奠定了堅實基礎。未來,我們將持續(xù)支持上汽大眾,為新能源汽車及車聯(lián)網(wǎng)發(fā)展提供數(shù)據(jù)驅動力?!?/span>
展望未來,上汽大眾還將繼續(xù)擴展采用CDP的更多功能,持續(xù)利用湖倉一體優(yōu)勢升級監(jiān)測數(shù)據(jù)平臺,為智能網(wǎng)聯(lián)汽車服務創(chuàng)新打下堅實的數(shù)據(jù)基礎。