中冶賽迪:基于鯤鵬DevKit開(kāi)發(fā)智慧城市基礎(chǔ)設(shè)施管理平臺(tái),性能提升47%?
?
如何真正實(shí)現(xiàn)城市大數(shù)據(jù)互聯(lián)互通??
市政管理、突發(fā)事件怎樣做到及時(shí)預(yù)警??
公共交通擁堵不堪,交通線路到底應(yīng)該如何優(yōu)化??
發(fā)生火情時(shí),消防部門(mén)如何快速協(xié)調(diào)資源并進(jìn)行指揮調(diào)度??
……?
解決這些問(wèn)題需要一個(gè)“城市大腦”。中冶賽迪Q-TOUCH云端城市管理平臺(tái)就是這樣一個(gè)超級(jí)大腦,以城市基礎(chǔ)設(shè)施的全生命周期管控為中心,提供數(shù)據(jù)采集、存儲(chǔ)和處理能力,數(shù)據(jù)建模能力,事件接受處理和分撥能力,利用“物聯(lián)網(wǎng)+大數(shù)據(jù)+智能化”等技術(shù)手段,廣泛面向能源、水務(wù)、交通、環(huán)衛(wèi)、城市防災(zāi)和社會(huì)文體等多領(lǐng)域和單元,建立自感知、智處置的基礎(chǔ)設(shè)施管控體系,優(yōu)化城市基礎(chǔ)設(shè)施的管理、運(yùn)營(yíng)和體驗(yàn),激活數(shù)字要素新動(dòng)能,開(kāi)啟數(shù)字城市新征程。?
比如在智慧城市應(yīng)用中,Q-TOUCH能夠結(jié)合物聯(lián)設(shè)備、智能識(shí)別技術(shù)、和自流程管理機(jī)制,面向城市市政設(shè)施、城市公用、城市節(jié)水和停車(chē)管理打造智慧城市綜合管理和服務(wù)平臺(tái),實(shí)現(xiàn)城市資源智能調(diào)度、城市問(wèn)題快速發(fā)現(xiàn)、快速調(diào)整、快速解決。
【中冶賽迪Q-TOUCH云端城市管理平臺(tái)-智慧城管應(yīng)用】?
隨著城市的不斷的發(fā)展,對(duì)設(shè)備接入、數(shù)據(jù)處理、算法分析的要求更高,智慧城市基礎(chǔ)設(shè)施的管理和運(yùn)營(yíng)越來(lái)越復(fù)雜,為了給人們提供更高效的社會(huì)服務(wù),對(duì)Q-TOUCH的服務(wù)能力提出更高要求:?
1、海量數(shù)據(jù)處理:在智慧城市數(shù)字化場(chǎng)景下,需要每天完成大批量的城市數(shù)據(jù)的處理和分析,來(lái)滿足城市運(yùn)營(yíng)管理要求:比如監(jiān)管某城市共享單車(chē)是否在指定區(qū)域內(nèi)停放、某區(qū)域內(nèi)共享單車(chē)是否給城管數(shù)據(jù)平臺(tái)及時(shí)備案、通過(guò)視頻監(jiān)控查看違規(guī)出攤、檢測(cè)垃圾桶是否填滿等應(yīng)用場(chǎng)景;以國(guó)內(nèi)某城市為例,高峰期產(chǎn)生的數(shù)據(jù)量為8000+條/秒,TCP連接并發(fā)每秒超過(guò)2萬(wàn)次。?
2、實(shí)時(shí)響應(yīng):在城市智慧管廊綜合監(jiān)控場(chǎng)景下,為了能夠?qū)崿F(xiàn)對(duì)溫度、濕度、結(jié)構(gòu)監(jiān)測(cè)、人員入廊這些數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè),Q-TOUCH要求能夠在100ms內(nèi)實(shí)時(shí)響應(yīng)。?
3、可靠穩(wěn)定:設(shè)備檢測(cè)數(shù)據(jù)可靠性要求非常高,尤其是接入側(cè)的危險(xiǎn)源檢測(cè)、管廊結(jié)構(gòu)檢測(cè)數(shù)據(jù),涉及信息安全管理,不允許有任何丟失和中斷;而數(shù)據(jù)的接收和上傳也至關(guān)重要,服務(wù)一旦宕機(jī),就會(huì)造成數(shù)據(jù)丟失、影響重大。?
4、綠色節(jié)能:大規(guī)模的計(jì)算量帶來(lái)了能耗提升,為響應(yīng)國(guó)家環(huán)保號(hào)召,需要低功耗硬件實(shí)現(xiàn)節(jié)能減排。?
鯤鵬天然的多核多并發(fā)、高可靠、低功耗等優(yōu)勢(shì),能夠很好的滿足Q-TOUCH海量數(shù)據(jù)處理、并行計(jì)算、低時(shí)延、綠色計(jì)算等要求;同時(shí)提供完善的鯤鵬DevKit開(kāi)發(fā)套件以及專(zhuān)業(yè)服務(wù),能夠幫助用戶快速完成應(yīng)用的遷移、開(kāi)發(fā)、編譯和調(diào)優(yōu),支撐Q-TOUCH高效創(chuàng)新?;谝陨峡紤],中冶賽迪選擇鯤鵬作為Q-TOUCH城市設(shè)施智慧管控平臺(tái)的數(shù)字底座,以滿足城市級(jí)別的數(shù)據(jù)融合和管理,為用戶提供更加靈活的一體化的方案。?
【中冶賽迪Q-TOUCH云端城市管理平臺(tái)架構(gòu)圖】?
鯤鵬DevKit 1人天/應(yīng)用快速遷移Q-TOUCH云端城市管理平臺(tái)?
在項(xiàng)目實(shí)施初期,開(kāi)發(fā)人員需要將Q-TOUCH平臺(tái)快速遷移到鯤鵬。由于整個(gè)系統(tǒng)的模塊眾多給遷移工作帶來(lái)不少挑戰(zhàn):?
語(yǔ)言多:包含java、c、TypeScript等多種語(yǔ)言;?
代碼量大:6個(gè)子模塊,8個(gè)微服務(wù),共計(jì)14萬(wàn)行左右代碼;?
第三方軟件多:包含redis、rabbitmq、nacos、srs、elasticsearch、iotdb等,手工查找兼容版本非常耗時(shí);?
經(jīng)分析,采用手動(dòng)遷移的話整個(gè)系統(tǒng)8個(gè)微服務(wù)需要45人天才能完成。而鯤鵬DevKit代碼遷移工具可以實(shí)現(xiàn)依賴(lài)文件自動(dòng)識(shí)別、兼容JAR包一鍵下載、代碼修改建議一鍵替換,無(wú)須耗時(shí)耗力檢查跟進(jìn)。在鯤鵬DevKit的幫助下整個(gè)系統(tǒng)只用了10人天,平均每個(gè)服務(wù)1人天左右即可完成自動(dòng)遷移。?
基于鯤鵬DevKit 高效開(kāi)發(fā)Q-TOUCH云端城市管理平臺(tái)物聯(lián)網(wǎng)數(shù)據(jù)庫(kù),性能提升47%?
遷移完成之后,中冶賽迪需要針對(duì)Q-TOUCH城市設(shè)施智慧管控平臺(tái)的工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)分析場(chǎng)景,在鯤鵬服務(wù)器上開(kāi)發(fā)Apache IoTDB(物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)),以滿足工業(yè)物聯(lián)網(wǎng)領(lǐng)域的海量數(shù)據(jù)存儲(chǔ)、高速數(shù)據(jù)讀取和復(fù)雜數(shù)據(jù)分析需求。該功能通過(guò)數(shù)百萬(wàn)個(gè)低功耗和智能聯(lián)網(wǎng)設(shè)備的高速寫(xiě)訪問(wèn),以及數(shù)據(jù)快速讀取訪問(wèn)和查詢(xún),實(shí)現(xiàn)對(duì)擁有復(fù)雜組織關(guān)系的物聯(lián)網(wǎng)設(shè)備進(jìn)行樹(shù)形結(jié)構(gòu)管理,并使用通配符對(duì)這些元數(shù)據(jù)進(jìn)行模糊匹配。?
在開(kāi)發(fā)過(guò)程中,為提升業(yè)務(wù)性能和穩(wěn)定性,開(kāi)發(fā)人員將平臺(tái)之前使用的編譯工具OpenJDK換成畢NJDK,畢NJDK在鯤鵬架構(gòu)中提供了更好的穩(wěn)定性、GC(Gabarage Collector)性能、類(lèi)信息共享等,其編譯性能相較于openJDK8最高可提升25%。?
此外,針對(duì)系統(tǒng)出現(xiàn)的性能瓶頸,技術(shù)人員使用了鯤鵬性能分析工具的JAVA性能分析功能進(jìn)行了調(diào)優(yōu),對(duì)操作系統(tǒng)、JVM的運(yùn)行狀態(tài)進(jìn)行監(jiān)控和優(yōu)化:?
1、通過(guò)DevKit性能分析工具的系統(tǒng)性能分析功能分析出IoTDB通用型數(shù)據(jù)庫(kù)udf_memory_budget_in_mb和MAX_HEAP_SIZE等參數(shù)的配置值為256、20G。這兩個(gè)值的過(guò)低,會(huì)導(dǎo)致數(shù)據(jù)并發(fā)性能下降,在工具的建議下將上述兩個(gè)參數(shù)值調(diào)整為512和120G,從而優(yōu)化數(shù)據(jù)并發(fā)特性。?
2、通過(guò)DevKit性能分析工具訪問(wèn)分析功能,發(fā)現(xiàn)cachemiss性能瓶頸,通過(guò)增加二級(jí)緩存,吞吐量提升1倍。具體如下,設(shè)備數(shù)據(jù)上傳時(shí)會(huì)對(duì)設(shè)備數(shù)據(jù)的格式類(lèi)型做校驗(yàn),因?yàn)閿?shù)據(jù)格式是動(dòng)態(tài)配置的,所以將所有類(lèi)型的設(shè)備屬性配置存儲(chǔ)在redis中,在實(shí)際壓測(cè)的時(shí)候性能瓶頸在從redis讀取緩存數(shù)據(jù)的網(wǎng)絡(luò)上。我們對(duì)該數(shù)據(jù)添加了二級(jí)緩存,將數(shù)據(jù)存放到了caffine本地緩存上,大大的減少了從redis讀取數(shù)據(jù)的網(wǎng)絡(luò)通訊耗時(shí),提升了設(shè)備數(shù)據(jù)的處理速度。
【設(shè)備數(shù)據(jù)接入能力和數(shù)據(jù)查詢(xún)性能前后對(duì)比】?
通過(guò)鯤鵬DevKit進(jìn)行編譯優(yōu)化及性能調(diào)優(yōu)之后,Q-TOUCH云端城市管理平臺(tái)物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)在鯤鵬上運(yùn)行性能得到有效提升:數(shù)據(jù)庫(kù)設(shè)備數(shù)據(jù)處理業(yè)務(wù)場(chǎng)景的綜合處理吞吐量最高提升了47%、業(yè)務(wù)數(shù)據(jù)采集上傳吞吐量提升了24%、設(shè)備數(shù)據(jù)查詢(xún)的吞吐量提升了35%;設(shè)備接入、數(shù)據(jù)存儲(chǔ)、設(shè)備數(shù)據(jù)查詢(xún)等業(yè)務(wù)的綜合性能均得到明顯提升。?
中冶賽迪在進(jìn)行Q-TOUCH云端城市管理平臺(tái)鯤鵬原生開(kāi)發(fā)過(guò)程中,通過(guò)鯤鵬DevKit優(yōu)化了物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理能力,有效提升了各種物聯(lián)設(shè)備的時(shí)序數(shù)據(jù)的查詢(xún)效率,同時(shí)也讓平臺(tái)在智慧管廊、智慧城管等領(lǐng)域在三維建模時(shí)的數(shù)據(jù)渲染模型數(shù)據(jù)查詢(xún)更加便捷和高效違章建筑檢測(cè)的查詢(xún)速度,同時(shí)也讓GIS領(lǐng)域的科研工作更加便捷和高效。?
目前,Q-TOUCH云端城市管理平臺(tái)已成功運(yùn)用到智慧政務(wù)、市政管理、城市建設(shè)、工業(yè)園區(qū)管理等相關(guān)領(lǐng)域,預(yù)計(jì)到2023年將覆蓋整個(gè)重慶范圍,并不斷加強(qiáng)與氣象、市政、交巡警等部門(mén)的聯(lián)動(dòng),助力城市智慧管理。該方案已通過(guò)鯤鵬Validate兼容性認(rèn)證,也標(biāo)志著中冶賽迪產(chǎn)品在鯤鵬計(jì)算應(yīng)用創(chuàng)新、產(chǎn)業(yè)融合、市場(chǎng)應(yīng)用方面達(dá)到領(lǐng)先水平。?
作為鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)重要伙伴,中冶賽迪已與鯤鵬生態(tài)產(chǎn)業(yè)中心重慶公司建立長(zhǎng)期合作關(guān)系。未來(lái),鯤鵬將繼續(xù)堅(jiān)持“硬件開(kāi)放、軟件開(kāi)源、使能伙伴,發(fā)展人才”的生態(tài)策略,通過(guò)最新的技術(shù)使能伙伴聯(lián)合創(chuàng)新,打造更具競(jìng)爭(zhēng)力的行業(yè)解決方案,促進(jìn)千行百業(yè)數(shù)字化轉(zhuǎn)型。?