達夢公司馮玉才:大數(shù)據(jù)下的五大挑戰(zhàn)與對策
日前,在河北省計算機學會舉辦的“自主可控的網絡與信息安全研討會”上,國內知名數(shù)據(jù)庫廠商達夢數(shù)據(jù)庫有限公受邀參會,達夢公司董事長馮玉才在會上提出了達夢數(shù)據(jù)庫在大數(shù)據(jù)時代下的五大挑戰(zhàn)與對策。馮玉才表示,目前大數(shù)據(jù)面臨數(shù)據(jù)量巨大,傳統(tǒng)的IT架構已無法適應、數(shù)據(jù)類型復雜、信息安全等多項挑戰(zhàn),如何解決大數(shù)據(jù)存儲、性能瓶頸等問題,已成為擺在數(shù)據(jù)庫廠商面前一道嚴峻的考驗,而達夢數(shù)據(jù)庫率先提出的大數(shù)據(jù)完整解決方案則可對上述問題進行有效智能的架構分析。
挑戰(zhàn)一:數(shù)據(jù)量巨大,傳統(tǒng)的IT架構已經無法適應
據(jù)悉,目前互聯(lián)網企業(yè)數(shù)據(jù)量達到了1000PB;在能源行業(yè),僅中國國家電網智能電表數(shù)據(jù)就達數(shù)十PB;在醫(yī)療行業(yè),一個大型城市的居民健康檔案一年可達5PB;氣象領域,氣象衛(wèi)星及天氣雷達,每日可形成TB級觀測數(shù)據(jù)。據(jù)統(tǒng)計,2013年中國產生的數(shù)據(jù)總量超過了0.8ZB,是2012年的兩倍。我們已經進入了信息爆炸的時代,數(shù)據(jù)量呈幾何級增長,各行業(yè)已經進入大數(shù)據(jù)時代。
數(shù)據(jù)量的巨大,直接導致了傳統(tǒng)的存儲設備難以適應,需要購置新的存儲設備,成本居高不下;由于數(shù)據(jù)量巨大也帶來了檢索、裝載、備份等性能上的問題,傳統(tǒng)的IT架構已經無法滿足時代需求。
挑戰(zhàn)二:數(shù)據(jù)類型復雜,如何實現(xiàn)數(shù)據(jù)價值***化成難題
GPS數(shù)據(jù)、WEB文本、交易數(shù)據(jù)、呼叫數(shù)據(jù)、傳感器數(shù)據(jù)、海量音頻視頻……當前結構化數(shù)據(jù)只占5%,半結構化數(shù)據(jù)占10%,非結構化數(shù)據(jù)占85%,這些紛繁復雜的數(shù)據(jù)類型使得數(shù)據(jù)整合、管理、分析,實現(xiàn)數(shù)據(jù)價值***化成為一大難題。
挑戰(zhàn)三:信息孤島,異構系統(tǒng)數(shù)據(jù)難以共享
數(shù)據(jù)共享的過程中,由于數(shù)據(jù)庫系統(tǒng)之間存在硬件平臺、操作系統(tǒng)、網絡協(xié)議、數(shù)據(jù)庫類型、語義表示等多方面的差異,形成了一個個的“信息孤島”,嚴重阻礙了數(shù)據(jù)的共享和流通。如何實現(xiàn)異構數(shù)據(jù)庫間的數(shù)據(jù)整合與共享成為亟待解決的問題。
挑戰(zhàn)四:傳統(tǒng)也許模式受到挑戰(zhàn)
隨著傳統(tǒng)行業(yè)逐步進入大數(shù)據(jù)時代,電商化、社交化、智能化,數(shù)據(jù)挖掘需求日益突出,OLTP與OLAP業(yè)務交互發(fā)生,如何應對OLTP與OLAP混合型負載?
挑戰(zhàn)五:信息安全問題
馮玉才認為,信息安全是云計算資源共享的***挑戰(zhàn)。云計算數(shù)據(jù)的處理和存儲都在云平臺上進行,計算資源的擁有者與使用者相分離已成為云計算模式的固有特點,由此而產生的用戶對自己數(shù)據(jù)的安全存儲和隱私性的擔憂是不可避免的。
達夢大數(shù)據(jù)解決對策
馮玉才強調在大數(shù)據(jù)和云計算時代更應堅持自主創(chuàng)新,只有這樣才能抓住大數(shù)據(jù)和云計算帶來的機遇,打造能夠與國際數(shù)據(jù)庫巨頭相匹敵的,滿足時代需求和用戶需要的可用、好用、可信、可靠的新一代數(shù)據(jù)庫產品。達夢公司針對分析領域TB/PB級海量數(shù)據(jù)、多核、高并發(fā)等特征需求,專門推出了達夢大數(shù)據(jù)高性能分析組件(DMHPA)。DMHPA的設計融入了列存儲、智能索引、數(shù)據(jù)壓縮、MPP分布式存儲、MPP并行查詢、并行裝載等專為海量數(shù)據(jù)分析的***技術。這些技術分別從IO效率、CPU 緩存效率、表達式計算及高性能并行計算等方面提升系統(tǒng)性能,為用戶在通用硬件上構建海量數(shù)據(jù)分析平臺提供了一個高性能、低成本的解決方案。用戶可以根據(jù)需求,在達夢數(shù)據(jù)庫管理系統(tǒng)DM7上面安裝該組件,使DM7成為穩(wěn)定、高效的大數(shù)據(jù)高性能分析數(shù)據(jù)庫。
DM7是達夢公司原始創(chuàng)新、自主研發(fā)的具有完全自主知識產權的高安全數(shù)據(jù)庫管理系統(tǒng),已經通過公安部安全四級評測,是國內唯一獲得“信息技術產品自主原創(chuàng)測評證書”的數(shù)據(jù)庫安全產品,也是目前國內安全等級***的商業(yè)數(shù)據(jù)庫之一。
目前,達夢公司的產品已成功應用于公安、電力、鐵路、航空、審計、通信、金融、海關、國土資源等20多個行業(yè)領域,并連續(xù)5年國產數(shù)據(jù)庫市場占有率***。達夢公司市場觸角已經延伸到國際市場,2013年基于DM7的事務型和分析型海外項目陸續(xù)在泰國和印尼成功上線并穩(wěn)定運行,達夢數(shù)據(jù)庫也成為中國數(shù)據(jù)庫自主品牌挺進國際市場的標桿。