2021年中國數(shù)據(jù)庫行業(yè)研究報告
核心摘要:
中國數(shù)據(jù)庫市場規(guī)模: 據(jù)艾瑞統(tǒng)計, 2020 年中國數(shù)據(jù)庫市場總規(guī)模達(dá) 247.1 億元,同比增長 16.2% 。 未來三年預(yù)計將保持高增長,多方面積極因素促成: 1 )政策扶持、國產(chǎn)化和數(shù)字化轉(zhuǎn)型帶動需求增長; 3 )各種類型廠商厚積薄發(fā),產(chǎn)品和技術(shù)走向成熟; 4 )企業(yè)對基礎(chǔ)軟件的付費意愿逐年提升。
中國數(shù)據(jù)庫市場格局: 1 ) 多類型數(shù)據(jù)庫百花齊放,關(guān)系型占據(jù)絕對主流, 2020 年中國關(guān)系型數(shù)據(jù)庫的市場份額達(dá) 90% 左右; 2 )借助政策東風(fēng),國產(chǎn)廠商市場版圖快速擴(kuò)張, 2020 年達(dá)夢等傳統(tǒng)國產(chǎn)廠商的市場份額上升至 7.1% ,國外廠商下降至 52.6% ; 3 ) 2020 年中國公有云部署模式的數(shù)據(jù)庫市場份額占比達(dá) 32.7% ,近年來增速有所放緩,預(yù)計 2025 年將達(dá)到 47.2% ,云廠商將成為中國數(shù)據(jù)庫市場市占率最大的陣營; 4 )初創(chuàng)廠商不斷涌現(xiàn),預(yù)計未來五年有 10 倍以上的成長空間。
中國數(shù)據(jù)庫市場挑戰(zhàn)與趨勢: 約 2010 年起, 中國數(shù)據(jù)庫 市場進(jìn)入了充分釋放活力的十年,但在分布式改造、國產(chǎn)化、數(shù)據(jù)遷移、跨庫管理、軟硬結(jié)合等多方面仍面臨挑戰(zhàn)。 據(jù)艾瑞研究,“多場景、融合、云、湖倉一體、開源、人工智能”將成為中國數(shù)據(jù)庫市場未來發(fā)展的必然趨勢。
01 供給端
全球數(shù)據(jù)庫發(fā)展歷程
數(shù)據(jù)庫與互聯(lián)網(wǎng)發(fā)展相互促進(jìn),技術(shù)和產(chǎn)品趨于成熟和完善
受益于市場需求和技術(shù)沉淀,進(jìn)入百花齊放的快速發(fā)展期
從20世紀(jì)80年代起,我國數(shù)據(jù)庫市場開始逐步發(fā)展起來。經(jīng)歷了初始的技術(shù)萌芽期和國外廠商壟斷期,21世紀(jì)初,基于863計劃、核高基計劃等國家政策支持,一批擁有高校背景的國產(chǎn)廠商成立,打破了Oracle和IBM一統(tǒng)天下的格局。2010s,隨著市場需求的增長、技術(shù)的沉淀,一批云廠商和新興獨立廠商開始提供數(shù)據(jù)庫產(chǎn)品。近年來, 借助國產(chǎn)化熱潮,許多軟件廠商、集成商、運營商等也開始入局,發(fā)展自己的數(shù)據(jù)庫能力。
中國數(shù)據(jù)庫產(chǎn)業(yè)圖譜
中國數(shù)據(jù)庫市場規(guī)模
政策和數(shù)字化釋放需求,2020年市場規(guī)模達(dá)247.1億
據(jù)艾瑞統(tǒng)計, 2020年中國數(shù)據(jù)庫市場總規(guī)模達(dá)247.1億,較2019年增長16.2%,CAGR(2020-2025e)達(dá)15.6%。 2020-2022中國數(shù)據(jù)庫市場將呈高速增長,由多方面因素促成:1)政策利好,國家大力鼓勵國產(chǎn)數(shù)據(jù)庫廠商的發(fā)展;2)需求拉動,國產(chǎn)化和數(shù)字化建設(shè)帶動需求的爆發(fā)增長;3)供給端多元廠商發(fā)力,傳統(tǒng)、初創(chuàng)和跨界廠商厚積薄發(fā),產(chǎn)品和技術(shù)經(jīng)歷了工程實踐的打磨走向成熟;4)國內(nèi)企業(yè)對基礎(chǔ)軟件的付費意愿和IT支出逐年提升,有利于市場的長期發(fā)展。
中國數(shù)據(jù)庫市場發(fā)展特點
多類型數(shù)據(jù)庫百花齊放,關(guān)系型占據(jù)絕對主流
隨著互聯(lián)網(wǎng)的發(fā)展,多種類型數(shù)據(jù)爆發(fā)式地增長,各種創(chuàng)新業(yè)務(wù)場景層出不窮,進(jìn)而促進(jìn)了供給端廠商技術(shù)和產(chǎn)品架構(gòu)的創(chuàng)新。從2010s左右,多種類型和技術(shù)路線的數(shù)據(jù)庫廠商紛紛成立,中國數(shù)據(jù)庫市場進(jìn)入了百花齊放的階段。但從商業(yè)價值來看,中國數(shù)據(jù)庫市場的營收仍主要來自關(guān)系型數(shù)據(jù)庫,NoSQL數(shù)據(jù)庫更多地是開源模式,產(chǎn)生二開和服務(wù)的費用。
借助政策東風(fēng),國產(chǎn)廠商厚積薄發(fā),市場版圖快速擴(kuò)張
借助政策紅利,國產(chǎn)廠商經(jīng)過多年的技術(shù)研發(fā)和經(jīng)驗積累,市場份額在逐年提升。在國產(chǎn)陣營中,一批以“達(dá)夢、人大金倉、南大通用、神舟通用”為代表的,2000年左右成立的傳統(tǒng)國產(chǎn)數(shù)據(jù)庫廠商近年來開始發(fā)力,他們從購買源碼、借助開源走向自主研發(fā),實力不斷增強(qiáng),在黨政軍市場有著較好的表現(xiàn),同時也開始向能源電力、運營商、交通等其他行業(yè)快速拓展。此外,初創(chuàng)廠商、云廠商、ICT廠商等近年來也開始發(fā)力數(shù)據(jù)庫市場,國產(chǎn)陣營日益強(qiáng)大。相比之下,國外數(shù)據(jù)庫廠商如Oracle、Microsoft、IBM等,雖然在OLTP的核心場景還擁有較高的市占率,但整體市場份額在被逐漸侵蝕。
公有云數(shù)據(jù)庫增速放緩,未來仍有一定滲透空間
中國公有云部署模式的數(shù)據(jù)庫在過去三年快速增長,于2020年達(dá)到了32.7%的市場份額,未來雖然增速會有所放緩,但仍有一定的滲透空間。從應(yīng)用邏輯來看,數(shù)據(jù)庫服務(wù)于數(shù)據(jù),數(shù)據(jù)應(yīng)用于業(yè)務(wù)最終產(chǎn)生價值;反之,業(yè)務(wù)端的創(chuàng)新和數(shù)據(jù)的變化也會反饋與數(shù)據(jù)庫市場。從最終業(yè)務(wù)端來看,現(xiàn)階段云數(shù)據(jù)庫更多的還是應(yīng)用于互聯(lián)網(wǎng)行業(yè),以及傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)場景,未來隨著產(chǎn)業(yè)端更多的業(yè)務(wù)創(chuàng)新,有望進(jìn)一步拉動云數(shù)據(jù)庫的需求。
憑借HTAP、NoSQL等新技術(shù),初創(chuàng)廠商不斷涌現(xiàn)
一批2015年前后成立的初創(chuàng)型廠商借助NewSQL、SQL on Hadoop、NoSQL等新技術(shù)架構(gòu),以開源或垂直領(lǐng)域商業(yè)化的思路,逐步增強(qiáng)自己的市場影響力,在互聯(lián)網(wǎng)、金融、物聯(lián)網(wǎng)等行業(yè)有著較好的表現(xiàn)。從現(xiàn)階段來看,其營收的市占份額較小,但增速較快,是中國數(shù)據(jù)庫市場增速最快的一個賽道,預(yù)計到2025年可以實現(xiàn)高于十倍的擴(kuò)張。隨著市場的大浪淘沙,未來的初創(chuàng)數(shù)據(jù)庫廠商賽道會趨于收斂,市場份額向一小批具有核心技術(shù)優(yōu)勢、抓住高價值應(yīng)用場景的優(yōu)秀廠商集中。
02 需求端
采購流程
不同企業(yè)組織架構(gòu)和選型要求不同,采購流程也有一定區(qū)別
選型指標(biāo)
綜合考慮外圍因素、產(chǎn)品技術(shù)相關(guān)因素和服務(wù)價格因素
參考企的業(yè)采購流程,一般數(shù)據(jù)庫選型從前期到后期,會綜合考慮外圍因素(自身技術(shù)路線、資質(zhì)、品牌聲譽(yù)與行業(yè)案例、生態(tài)構(gòu)建等),產(chǎn)品技術(shù)相關(guān)因素(一致性、兼容性、擴(kuò)展性、性能、功能豐富性、安全性等),以及后期的價格服務(wù)因素(解決方案、性價比、服務(wù)響應(yīng)速度、培訓(xùn)體系等)。
示例場景——金融
對“高可用/強(qiáng)一致/低時延”要求高,分布式改造是下一步重點
對于以銀行為例的金融企業(yè)而言,其業(yè)務(wù)數(shù)據(jù)的價值較高,因而對數(shù)據(jù)庫“高可用、強(qiáng)一致、低時延”的要求較為極致。在TP場景下,銀行下一步選型的重點為分布式改造。初步來看,解決思路主要是“中間件+分庫分表”or“原生分布式架構(gòu)”。中間件路線方案成熟且性能表現(xiàn)較好,是現(xiàn)階段大多數(shù)客戶的選擇;但原生分布式架構(gòu)在擴(kuò)展性方面存在天然的優(yōu)勢,在未來具有更廣闊的發(fā)展空間。
示例場景——互聯(lián)網(wǎng)教育
業(yè)務(wù)擴(kuò)張速度快,看重可擴(kuò)展性、成本控制和成熟度
受利互聯(lián)網(wǎng)和疫情,教育行業(yè)近年來呈“營收高增長,業(yè)務(wù)快迭代”發(fā)展特點。因此,企業(yè)在進(jìn)行選型時較看重數(shù)據(jù)庫的可擴(kuò)展性,希望產(chǎn)品可以及時響應(yīng)公司版圖的擴(kuò)張和業(yè)務(wù)的變更。同時,教育行業(yè)屬于非強(qiáng)技術(shù)導(dǎo)向型,企業(yè)對數(shù)據(jù)庫強(qiáng)一致、高性能和高可靠的要求并不極致,更多會考慮產(chǎn)品的成本控制和成熟度。企業(yè)在選型時表現(xiàn)較保守,雖然看好一些新產(chǎn)品(e.g. HTAP數(shù)據(jù)庫、云原生數(shù)據(jù)庫),但更希望數(shù)據(jù)庫產(chǎn)品工程實踐豐富,可以拿來即用,且專業(yè)人才招聘容易。因此MySQL數(shù)據(jù)庫成為許多(互聯(lián)網(wǎng))教育企業(yè)的最佳選擇,同時考慮成本和便捷性,云托管形式在業(yè)界也比較流行。
03 挑戰(zhàn)與趨勢
挑戰(zhàn)一
分布式實踐仍存在許多問題
橫向擴(kuò)展 (scale out) 的設(shè)計思想并非創(chuàng)新,但在歷史上一直未被廣泛應(yīng)用。一方面是由于分布式環(huán)境使事務(wù)ACID特性難以實現(xiàn),另一方面是由于單機(jī)性能升級即可滿足企業(yè)的數(shù)據(jù)需求。但隨著摩爾定律在某種程度上的失效和互聯(lián)網(wǎng)的發(fā)展,硬件性能升級無法匹配海量數(shù)據(jù)的增長,分布式在近年來廣受關(guān)注,許多廠商都推出了相應(yīng)的分布式數(shù)據(jù)庫產(chǎn)品。然而,在分布式的前提下,還有許多待探索的問題,例如分布式事務(wù)的解決、架構(gòu)的創(chuàng)新、數(shù)據(jù)分片的智能化、企業(yè)級能力的提升等。
挑戰(zhàn)二
信創(chuàng)為國產(chǎn)廠商提供成長沃土,未來發(fā)展仍待市場磨煉
信創(chuàng)即信息技術(shù)應(yīng)用創(chuàng)新,是在復(fù)雜國際政治背景下,國家政策引導(dǎo)的新一輪信息產(chǎn)業(yè)創(chuàng)新。“信創(chuàng)”無論是對產(chǎn)業(yè)端還是需求端企業(yè)都是一個重要的契機(jī)。國產(chǎn)數(shù)據(jù)庫廠商借助政策東風(fēng),有利于其拓展市場,將產(chǎn)品放到實際場景中打磨,不斷更新迭代,實現(xiàn)自己技術(shù)實力正真的彎道超車;傳統(tǒng)行業(yè)企業(yè)、政府等也可以借此契機(jī),實現(xiàn)數(shù)字化轉(zhuǎn)型和業(yè)務(wù)的創(chuàng)新發(fā)展。但信創(chuàng)并非一日之功,從產(chǎn)業(yè)發(fā)展規(guī)律來看,新一輪的技術(shù)變革往往需要長達(dá)6年左右的實踐和積累,需要上下游廠商和企業(yè)共同的長期努力。
挑戰(zhàn)三
數(shù)據(jù)遷移、多庫管理提出新的挑戰(zhàn)
面對業(yè)務(wù)形態(tài)多樣、商業(yè)模式多變、需求變化頻繁的當(dāng)代市場,數(shù)據(jù)庫和應(yīng)用系統(tǒng)存在的形式也愈發(fā)的豐富。一個企業(yè)往往擁有多個系統(tǒng),從本地到云端,從關(guān)系型到非關(guān)系型,從OLTP到OLAP,從國外品牌到國產(chǎn)品牌,數(shù)據(jù)庫之間的跨庫查詢、數(shù)據(jù)導(dǎo)出遷移、結(jié)構(gòu)變更等操作已成為常態(tài)。數(shù)據(jù)遷移頻繁、多庫并存的現(xiàn)狀,使得企業(yè)后期的使用成本(運維成本、人力成本、多技術(shù)棧學(xué)習(xí)成本、遷移成本、二開成本等)大幅提高,也為數(shù)據(jù)庫廠商提出了“統(tǒng)一管理”的新挑戰(zhàn)。
挑戰(zhàn)四
CPU、內(nèi)存等硬件變化為數(shù)據(jù)庫設(shè)計提供更多的想象空間
數(shù)據(jù)庫系統(tǒng)遵循“木桶理論”,硬件和軟件作為系統(tǒng)的核心組件,互相制約,互相促進(jìn)。而新型硬件的發(fā)展為數(shù)據(jù)庫軟件的發(fā)展帶來了新的挑戰(zhàn)。例如多核CPU技術(shù)走向成熟,但實際應(yīng)用中并發(fā)控制出現(xiàn)沖突,使得核數(shù)增加帶來的性能增益出現(xiàn)限制,如何進(jìn)行多核CPU調(diào)度優(yōu)化為廠商提出了新的難題。同時,大容量內(nèi)存和高速硬盤走向普及,NVM非易失內(nèi)存也逐漸成熟,內(nèi)存的潛力釋放,如何搭配新存儲介質(zhì)設(shè)計新的數(shù)據(jù)庫架構(gòu)也有待探索。因此,一些數(shù)據(jù)庫領(lǐng)先企業(yè)如Oracle、阿里等都開始探索數(shù)據(jù)庫軟硬一體機(jī)的設(shè)計與實踐。
趨勢一:多場景|融合
結(jié)合細(xì)分場景的多樣發(fā)展是必然選擇,用戶簡單化需求驅(qū)動的一體化融合也不容忽視
從產(chǎn)品視角來看, 不同場景具有不同的特性,對數(shù)據(jù)庫讀寫性能、吞吐量、一致性等方面的要求各有不同。為支持不同場景下的不同要求,數(shù)據(jù)庫多樣化是必然的選擇。例如,物聯(lián)網(wǎng)場景下寫入的數(shù)據(jù)量特別大,對實時性的要求特別高,但數(shù)據(jù)天然是時間有序的且具有靜態(tài)特征,因此時序數(shù)據(jù)庫會較傳統(tǒng)的事務(wù)型數(shù)據(jù)庫更有優(yōu)勢。
從用戶視角來看, 除部分頭部互聯(lián)網(wǎng)公司外,其他大中小型企業(yè)的IT人員比例都并不高,對口數(shù)據(jù)庫團(tuán)隊的人數(shù)會更少。對于他們而言,各種日新月異的技術(shù)棧、多種類型的數(shù)據(jù)庫產(chǎn)生了極大的學(xué)習(xí)成本和維護(hù)成本,因此希望能夠有一體化的產(chǎn)品/平臺直接使用或者統(tǒng)一管理。對于該種類型的企業(yè)而言,會更傾向采購能滿足其70%全部需求的一體化產(chǎn)品,而非能100%滿足其部分需求的多個產(chǎn)品。當(dāng)今市場上的HTAP/NewSQL數(shù)據(jù)庫、多模數(shù)據(jù)庫、統(tǒng)一管理平臺等即滿足了企業(yè)簡單化一體化的需求,因此在多場景大背景下的“融合”也是不容忽視的趨勢。
趨勢二:DBaaS
解決彈性伸縮問題,為供應(yīng)商和企業(yè)提供更多的想象空間
隨著企業(yè)業(yè)務(wù)規(guī)模的擴(kuò)張,數(shù)字化轉(zhuǎn)型的推進(jìn),其對數(shù)據(jù)庫系統(tǒng)也提出了新的要求:傳統(tǒng)建設(shè)模式項目周期長,不能匹配業(yè)務(wù)上新的速度;企業(yè)部署多套數(shù)據(jù)庫系統(tǒng),系統(tǒng)間割裂,缺少統(tǒng)一的管理平臺;資源采購和體系規(guī)劃按現(xiàn)有規(guī)模建設(shè),難以隨業(yè)務(wù)的變化而彈性伸縮等。DBaaS(Database as a Service) 即將IT基礎(chǔ)資源以服務(wù)化的方式提供給數(shù)據(jù)庫,以及多租戶和動態(tài)調(diào)整來解決成本和響應(yīng)問題。部分對數(shù)據(jù)自主性和安全性要求較高的大型企業(yè),可以選擇以私有云或者專有云的方式進(jìn)行數(shù)據(jù)庫的云化改造。
趨勢三:湖倉一體
架構(gòu)創(chuàng)新,同時實現(xiàn)海量大數(shù)據(jù)的聯(lián)機(jī)交易和聯(lián)機(jī)分析
1980s以來,數(shù)據(jù)倉庫技術(shù)不斷發(fā)展,尤其MPP架構(gòu)使得DBMS能夠處理大量數(shù)據(jù),滿足企業(yè)通過數(shù)據(jù)分析來支持商業(yè)決策的需求。但隨著互聯(lián)網(wǎng)的發(fā)展,許多企業(yè)需要同時處理非結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化數(shù)據(jù)以及海量結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)湖隨之誕生,它可以直接存儲各種格式的原始數(shù)據(jù),根據(jù)用戶需求進(jìn)行計算,具有靈活彈性的優(yōu)點。但是,數(shù)據(jù)湖雖然適用于存儲多元化數(shù)據(jù),卻缺少一些企業(yè)級功能,在實際執(zhí)行時也存在許多挑戰(zhàn):數(shù)據(jù)缺少加工,難以實現(xiàn)實時分析,數(shù)據(jù)查詢性能差;不支持ACID事務(wù)等。
面對企業(yè)海量大數(shù)據(jù)場景下的聯(lián)機(jī)交易、非結(jié)構(gòu)化數(shù)據(jù)治理的需求,以及數(shù)據(jù)倉庫/數(shù)據(jù)湖架構(gòu)的局限,以Snowflake、Databricks、阿里云、巨杉數(shù)據(jù)庫為代表的新一代“湖倉一體”數(shù)據(jù)庫廠商快速崛起。湖倉一體架構(gòu)下打通了數(shù)倉和數(shù)據(jù)湖,并融合了兩種架構(gòu)的優(yōu)勢,底層多套存儲系統(tǒng)并存且互相數(shù)據(jù)共享,形成了資源池,上層各引擎可以通過一體的封裝接口訪問,實現(xiàn)了聯(lián)機(jī)交易和聯(lián)機(jī)分析的同時支持。
趨勢四:開源
開源模式成為產(chǎn)業(yè)互聯(lián)網(wǎng)時代數(shù)據(jù)庫廠商的破局之刃
從產(chǎn)業(yè)發(fā)展角度來,開源模式一方面提高了數(shù)據(jù)庫產(chǎn)品開發(fā)的“效率”,它將源代碼開放,避免了研發(fā)人員對基礎(chǔ)程序的重復(fù)開發(fā);另一方面它也有助于產(chǎn)品的技術(shù)“創(chuàng)新”,開源社區(qū)最大程度上匯聚了全球的資源力量,為開發(fā)者提供了交流切磋的空間,從而加速創(chuàng)新靈感的誕生。對于廠商而言,盡管從表面上看,企業(yè)部署開源并不能獲得直接的利益,但在這個過程中,它們卻可以布局產(chǎn)品的生態(tài)建設(shè)(包括人才培養(yǎng)、市場教育、實踐反饋、企業(yè)文化、產(chǎn)品影響力、配套周邊產(chǎn)品等),從而為自己獲得有利的戰(zhàn)略地位。在當(dāng)今移動互聯(lián)網(wǎng)向產(chǎn)業(yè)互聯(lián)網(wǎng)發(fā)展的轉(zhuǎn)折點,開源模式未嘗不是各云廠商、傳統(tǒng)廠商、新興廠商擴(kuò)展市場的破局之刃。
趨勢五:智能化
人工智能延伸DBA的能力半徑,優(yōu)化數(shù)據(jù)庫性能
隨著移動互聯(lián)網(wǎng)到產(chǎn)業(yè)互聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)每日呈指數(shù)級的增長,且呈現(xiàn)多模態(tài)特性。面對復(fù)雜海量的數(shù)據(jù),越來越多種類的數(shù)據(jù)庫出現(xiàn),需要調(diào)試的范圍越來越廣。但大多優(yōu)化任務(wù)仍落在DBA身上,需要其進(jìn)行手動調(diào)優(yōu),致使人工能力逐漸跟不上數(shù)據(jù)庫的發(fā)展。而人工智能可以彌補(bǔ)人能力的不足,解決許多存在多年的數(shù)據(jù)庫問題,例如資源的調(diào)度、索引的設(shè)計和優(yōu)化、查詢的優(yōu)化、負(fù)載均衡設(shè)計、緩存失效等。AI 通過優(yōu)化算法,對任務(wù)進(jìn)行有效地預(yù)測、分析和自動化,從而減少了人工成本并大大提高數(shù)據(jù)庫的性能。尤其是未來隨著云上數(shù)據(jù)庫更大范圍內(nèi)的普及,智能資源調(diào)度將成為各供應(yīng)商需要面對的下一個課題。