8月5日，深信服首席算法技術(shù)專家章博在信服云《云集技術(shù)學(xué)社》系列直播課上進(jìn)行了《數(shù)據(jù)庫(kù)概念、分類和未來(lái)》的分享，對(duì)數(shù)據(jù)庫(kù)基礎(chǔ)概念、常見(jiàn)數(shù)據(jù)庫(kù)種類和使用場(chǎng)景進(jìn)行介紹，詳細(xì)解釋不同數(shù)據(jù)架構(gòu)的優(yōu)劣，破除常見(jiàn)誤區(qū)。

看點(diǎn)一：數(shù)據(jù)庫(kù)是什么？

數(shù)據(jù)庫(kù)定義

大家可能對(duì)數(shù)據(jù)庫(kù)這個(gè)詞都不陌生，我們最常說(shuō)的數(shù)據(jù)庫(kù)，也就是Database這個(gè)詞，原則上它指的是按照一定格式存儲(chǔ)數(shù)據(jù)的文件的組合，也就是說(shuō)硬盤上的數(shù)據(jù)庫(kù)的文件和數(shù)據(jù)，要按照某種特定的格式去組織，這個(gè)就是所謂的數(shù)據(jù)庫(kù)。

為了去使用數(shù)據(jù)庫(kù)，我們一般需要一整套的數(shù)據(jù)庫(kù)管理系統(tǒng)，也就是Database Management System （DBMS），即科學(xué)的對(duì)數(shù)據(jù)庫(kù)文件進(jìn)行組織、索引、查詢、修改的一套管理軟件，常見(jiàn)的數(shù)據(jù)庫(kù)管理系統(tǒng)有MySQL、Oracle、SQL Server、DB2等。

但是僅僅DBMS本身并不能提供各種各樣的能力，我們還需要圍繞DBMS去構(gòu)造由硬件操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)，乃至包括數(shù)據(jù)庫(kù)管理員以及相關(guān)的機(jī)制配套組成的一整套數(shù)據(jù)庫(kù)系統(tǒng)，才能順利的執(zhí)行工作。這一套系統(tǒng)一般稱之為Database System。

與常見(jiàn)的數(shù)據(jù)管理軟件Excel相比，數(shù)據(jù)庫(kù)會(huì)管理一些更大量的數(shù)據(jù)，比如說(shuō)千萬(wàn)行以上的甚至億萬(wàn)行以上的數(shù)據(jù)。一般Excel是單人使用的，數(shù)據(jù)庫(kù)是很多的用戶同時(shí)使用，而且可以進(jìn)行高并發(fā)的訪問(wèn)。此外，數(shù)據(jù)庫(kù)也有更豐富更復(fù)雜的數(shù)據(jù)處理能力，在安全機(jī)制的保障上，Excel作為一個(gè)辦公軟件只能提供密碼的基礎(chǔ)管理能力，而數(shù)據(jù)庫(kù)能夠提供完整的安全機(jī)制，比如說(shuō)像是權(quán)限的校驗(yàn)（表級(jí)別的、行級(jí)別的、列級(jí)別的權(quán)限控制），以及我們可以做一些數(shù)據(jù)備份來(lái)更好的保證數(shù)據(jù)的安全，這就是數(shù)據(jù)庫(kù)管理系統(tǒng)一個(gè)主要的好處。

數(shù)據(jù)庫(kù)的四個(gè)重要概念

（1）索引

數(shù)據(jù)庫(kù)經(jīng)常有上百/千萬(wàn)條記錄，單條查詢會(huì)很慢，而索引的功能就像新華字典的前幾頁(yè)“索引”目錄靠拼音或偏旁排序來(lái)查詢字詞，能大幅度提高查詢速度。

（2）事務(wù)

數(shù)據(jù)庫(kù)提供了一種機(jī)制，就是一件事，必須做完，如果中間出了差錯(cuò)，他會(huì)清理掉一切痕跡，回到最初狀態(tài)，這對(duì)于保持?jǐn)?shù)據(jù)的一致性和完整性有功不可沒(méi)的作用。

（3）聯(lián)合查詢

一份數(shù)據(jù)通常解決不了實(shí)際問(wèn)題。比如有兩份數(shù)據(jù)，一份是《員工基本信息》，另一份是《工資表》，這個(gè)時(shí)候，要查詢某某員工的工資，就要結(jié)合起來(lái)做“聯(lián)合查詢”。

（4）SQL

SQL就是用來(lái)操作數(shù)據(jù)庫(kù)里數(shù)據(jù)的工具，類似吃飯時(shí)使用“筷子”獲取食物。

看點(diǎn)二：數(shù)據(jù)庫(kù)的分類

數(shù)據(jù)庫(kù)可以分為三個(gè)維度來(lái)分類：第一個(gè)維度是按照模型分類，可以分為關(guān)系型和非關(guān)系型的數(shù)據(jù)庫(kù)。第二個(gè)維度是根據(jù)數(shù)據(jù)庫(kù)的使用場(chǎng)景進(jìn)行分類，主要分為事務(wù)性O(shè)LTP和分析型OLAP兩類。第三種是從數(shù)據(jù)庫(kù)架構(gòu)進(jìn)行分類，可以分為單點(diǎn)數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)集群。

按模型分類

按照模型劃分，一般把數(shù)據(jù)庫(kù)分成關(guān)系型和非關(guān)系型兩個(gè)類型。關(guān)系型模型由于其優(yōu)秀的表達(dá)能力、嚴(yán)格的數(shù)學(xué)定義和良好的執(zhí)行效率被廣泛采用，而采用關(guān)系型模型組織數(shù)據(jù)的數(shù)據(jù)庫(kù)就被稱之為關(guān)系型數(shù)據(jù)庫(kù)，如 Oracle，MySQL 等。關(guān)系型數(shù)據(jù)庫(kù)也成為了現(xiàn)在最主流的數(shù)據(jù)庫(kù)模型。

而在一個(gè)關(guān)系型的數(shù)據(jù)模型上，提供的查詢語(yǔ)言就是結(jié)構(gòu)化查詢語(yǔ)言（Structured Query Language）。這樣的語(yǔ)言是整個(gè)數(shù)據(jù)庫(kù)現(xiàn)在能蓬勃發(fā)展的一個(gè)關(guān)鍵所在，因?yàn)樗歉呒?jí)的非過(guò)程化的編程語(yǔ)言，比如常見(jiàn)的C語(yǔ)言或者Python編程語(yǔ)言，它都是所謂的過(guò)程化編程語(yǔ)言，當(dāng)需要它做什么的時(shí)候，需要一步一步把過(guò)程的每一個(gè)階段全部編寫好，才能夠順利的進(jìn)行。但SQL是一個(gè)高級(jí)的非過(guò)程化語(yǔ)言，只需要用戶描述需要取得什么樣的數(shù)據(jù)，具體的執(zhí)行流程就由優(yōu)化器由甚至系統(tǒng)自動(dòng)去完成了。所以整個(gè)SQL語(yǔ)言的學(xué)習(xí)和使用非常簡(jiǎn)單，用戶不需要了解具體的數(shù)據(jù)組織和處理的細(xì)節(jié)，也不需要去了解如何能讓它高效的執(zhí)行，所有的事情全部都是自動(dòng)的。

非關(guān)系型數(shù)據(jù)庫(kù)是通過(guò)關(guān)系型以外的數(shù)據(jù)模型對(duì)數(shù)據(jù)進(jìn)行組織的數(shù)據(jù)庫(kù)，通常在特定場(chǎng)景下具有較高的性能和可擴(kuò)展性。典型 NoSQL 數(shù)據(jù)庫(kù)有：（1）鍵指數(shù)據(jù)庫(kù)：Redis、Memcache ——常用于緩存；（2）列族數(shù)據(jù)庫(kù)：HBase，Cassandra——常用于 Schema 頻繁變更的大寬表數(shù)據(jù)；（3）文檔數(shù)據(jù)庫(kù)：MongoDB —— 常用于存儲(chǔ)JSON文件；（4）圖數(shù)據(jù)庫(kù)：Neo4j——常用于知識(shí)圖譜等圖數(shù)據(jù)組織。

按場(chǎng)景分類

數(shù)據(jù)庫(kù)還可以按照不同場(chǎng)景進(jìn)行分類，主要的兩個(gè)場(chǎng)景是OLTP和OLAP。OLTP是比較常見(jiàn)的業(yè)務(wù)系統(tǒng)，比如銀行的交易系統(tǒng)、零售交易系統(tǒng)、企業(yè)中的ERP系統(tǒng)、醫(yī)療的CASE系統(tǒng)等。這些數(shù)據(jù)庫(kù)系統(tǒng)里面的數(shù)據(jù)基本上都是OLTP類型的，支持實(shí)時(shí)交易數(shù)據(jù)的存儲(chǔ)、更新、共享。

這類系統(tǒng)下，數(shù)據(jù)不斷發(fā)生，不斷更新，可能有很多人在同時(shí)去訪問(wèn)，因此需要的并發(fā)也比較高，每次更新都希望反饋的延遲非常低，比如說(shuō)毫秒級(jí)的場(chǎng)景，就是OLTP的場(chǎng)景。

OLAP與我們主要做數(shù)據(jù)分析和現(xiàn)在的所謂的大數(shù)據(jù)，也有很多的相似之處，比如BI系統(tǒng)或者說(shuō)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)，會(huì)把很多的歷史數(shù)據(jù)匯聚過(guò)來(lái)，然后做一些綜合的分析，希望從中提取一些數(shù)據(jù)規(guī)律，或者做一些數(shù)據(jù)挖掘。這一類的需求基本上對(duì)數(shù)據(jù)沒(méi)有很大頻繁的修改，但是一次要訪問(wèn)的數(shù)據(jù)量非常的大，所以不太看重系統(tǒng)的延期，但很看重?cái)?shù)據(jù)庫(kù)的吞吐。這樣的場(chǎng)景其實(shí)就是OLAP場(chǎng)景下常見(jiàn)的數(shù)據(jù)庫(kù)。

按架構(gòu)分類

數(shù)據(jù)庫(kù)也可以按照不同架構(gòu)進(jìn)行分類。常見(jiàn)的數(shù)據(jù)庫(kù)是單節(jié)點(diǎn)的數(shù)據(jù)庫(kù)，因?yàn)閱喂?jié)點(diǎn)可能有一些單點(diǎn)故障的問(wèn)題。如果有更大的數(shù)據(jù)量的需求，單節(jié)點(diǎn)的數(shù)據(jù)庫(kù)沒(méi)有辦法承載，或者需要更大的并發(fā)，而此時(shí)單點(diǎn)數(shù)據(jù)庫(kù)也沒(méi)有辦法承載。這個(gè)時(shí)候在單節(jié)點(diǎn)基礎(chǔ)上就發(fā)展了一系列的數(shù)據(jù)庫(kù)集群架構(gòu)。

數(shù)據(jù)庫(kù)集群架構(gòu)主要分成三類模式，第一個(gè)需要更高的可用性，比如基于組成復(fù)制的數(shù)據(jù)庫(kù)集群架構(gòu)或者基于一致性協(xié)議的多活數(shù)據(jù)庫(kù)集群?；趶?fù)制的數(shù)據(jù)庫(kù)集群是最常用的多節(jié)點(diǎn)數(shù)據(jù)庫(kù)架構(gòu)，它能夠消除單點(diǎn)故障，同時(shí)通過(guò)讀寫分離提升性能?；谝恢滦詤f(xié)議的多活數(shù)據(jù)庫(kù)集群則是無(wú)需第三方仲裁，自維護(hù)的多活集群架構(gòu)，它可以在多數(shù)派存活條件下可提供服務(wù)。

第二個(gè)是很多時(shí)候在高可用的情況下，遇到面臨單節(jié)點(diǎn)的數(shù)據(jù)庫(kù)性能不夠、并發(fā)不夠的問(wèn)題，這個(gè)時(shí)候就需要橫向擴(kuò)展技術(shù)。最經(jīng)典的橫向擴(kuò)展技術(shù)就是基于 Shared Disk 的數(shù)據(jù)庫(kù)集群，它是基于Shared Disk的共享存儲(chǔ)，然后上面可能會(huì)有多個(gè)節(jié)點(diǎn)來(lái)共同執(zhí)行數(shù)據(jù)庫(kù)操作的Oracle RAC 的經(jīng)典架構(gòu)。它的特點(diǎn)是存儲(chǔ)計(jì)算分離，通過(guò)高速網(wǎng)絡(luò)和分布式存儲(chǔ)替換傳統(tǒng)陣列來(lái)提升性能。

但基于Shared Disk的數(shù)據(jù)庫(kù)集群的擴(kuò)展能力存在限制，難以擴(kuò)展到百節(jié)點(diǎn)以上的超大規(guī)模集群，因此就有了基于Share-Nothing的數(shù)據(jù)庫(kù)集群。它的每個(gè)節(jié)點(diǎn)獨(dú)立，具有最強(qiáng)的擴(kuò)展能力，可擴(kuò)展至數(shù)百甚至數(shù)千節(jié)點(diǎn)規(guī)模。能支持超大規(guī)模并發(fā)的基于Share-Nothing數(shù)據(jù)庫(kù)集群一般以更高和更不穩(wěn)定的時(shí)延為代價(jià)，但是由于和Shared Disk并非完全互斥關(guān)系，Share-Nothing集群的每一個(gè)節(jié)點(diǎn)本身可以是一個(gè)Shared Disk 多活集群，從而可以結(jié)合兩種架構(gòu)的優(yōu)勢(shì)。

OLTP 場(chǎng)景下的 Share-Nothing 分布式數(shù)據(jù)庫(kù)雖然數(shù)據(jù)是分布式存儲(chǔ)和管理的但是單一 SQL 語(yǔ)句的執(zhí)行大多還是由單一節(jié)點(diǎn)執(zhí)行。相對(duì)的，第三類架構(gòu)就是在OLAP場(chǎng)景下我們需要更大的吞吐時(shí)，計(jì)算也需要多個(gè)節(jié)點(diǎn)進(jìn)行分布式處理，這一架構(gòu)被稱之為 MPP (Massively Parallel Processing)。

看點(diǎn)三：數(shù)據(jù)庫(kù)發(fā)展趨勢(shì)

李國(guó)良教授的《數(shù)據(jù)庫(kù)發(fā)展趨勢(shì)》中介紹，新一代的數(shù)據(jù)庫(kù)其實(shí)有4個(gè)主要的發(fā)展方向，一是隨著硬件的發(fā)展有更多的新的硬件技術(shù)被利用下來(lái)；二是隨著數(shù)據(jù)模型的發(fā)展，會(huì)支撐更多的數(shù)據(jù)模型；三是Scalability進(jìn)一步提升，最后還有Deployment的種類會(huì)變得更加的豐富。

針對(duì)種類更加豐富的發(fā)展趨勢(shì)，章博在此介紹了幾個(gè)比較廣泛認(rèn)知的數(shù)據(jù)庫(kù)。一個(gè)是現(xiàn)在常見(jiàn)的一個(gè)詞叫做HTAP，就是既要有TP的特性，又要有AP的特性。在傳統(tǒng)的架構(gòu)下，一般通過(guò)ETL把TP的數(shù)據(jù)按照天或者周的周期去導(dǎo)入到一個(gè)AP的系統(tǒng)，用兩個(gè)不同的系統(tǒng)去承載它，但是傳統(tǒng)架構(gòu)的時(shí)效性不足。當(dāng)需要實(shí)時(shí)分析時(shí)，HTAP就派上用場(chǎng)了，HTAP通過(guò)復(fù)制或者在同一個(gè)引擎里同時(shí)做行列混合存儲(chǔ)，既能支持實(shí)時(shí)的數(shù)據(jù)更新，又可以支持比較高的數(shù)據(jù)吞吐。但是HTAP系統(tǒng)不會(huì)用來(lái)去直接替代TP系統(tǒng)，一般來(lái)說(shuō)它還是更偏向用于實(shí)時(shí)分析的補(bǔ)充。

AI也是非常火熱的一個(gè)詞，在數(shù)據(jù)庫(kù)領(lǐng)域的話就有兩大的分支，一個(gè)是AI4DB，就是如何使用AI技術(shù)讓數(shù)據(jù)庫(kù)的可維護(hù)性變得更強(qiáng)。另外一個(gè)是DB4AI，DB4AI就是如何對(duì)AI的數(shù)據(jù)進(jìn)行管理，通過(guò)一個(gè)很完善的數(shù)據(jù)庫(kù)管理系統(tǒng)管理AI的數(shù)據(jù)，讓 AI的開(kāi)發(fā)和迭代更有效。

最后，這幾年新的硬件技術(shù)發(fā)展得也非常的快，對(duì)整個(gè)數(shù)據(jù)庫(kù)系統(tǒng)的優(yōu)化起著非常大的效果。一個(gè)是利用Intel SPDK將NVME SSD性能發(fā)揮到極限，另一個(gè)是支持RDMA高速網(wǎng)絡(luò)。

本期回放鏈接：http://sangfor.bizconf.cn/live/watch/?id=oygey64o