關(guān)系數(shù)據(jù)庫(kù)邁入新時(shí)代,這個(gè)標(biāo)題是認(rèn)真的!
DB-Engines數(shù)據(jù)庫(kù)排行榜
以下取自2017年11月的數(shù)據(jù),具體信息可以參考http://db-engines.com/en/ranking/,數(shù)據(jù)僅供參考。
DB-Engines排名的數(shù)據(jù)依據(jù)5個(gè)不同的因素:
- Google以及Bing搜索引擎的關(guān)鍵字搜索數(shù)量
- Google Trends的搜索數(shù)量
- Indeed網(wǎng)站中的職位搜索量
- LinkedIn中提到關(guān)鍵字的個(gè)人資料數(shù)
- Stackoverflow上相關(guān)的問(wèn)題和關(guān)注者數(shù)
本期參與newsletter的數(shù)據(jù)庫(kù)如下:
一、RDBMS家族
Oracle 18c即將推出自治數(shù)據(jù)庫(kù)
Oracle發(fā)布全球首款100%“無(wú)人駕駛”的數(shù)據(jù)庫(kù)——Oracle自治式數(shù)據(jù)庫(kù)云(Oracle Autonomous Database Cloud),這一款自我優(yōu)化數(shù)據(jù)庫(kù),可以做到自動(dòng)管理、自動(dòng)調(diào)節(jié)和安全修復(fù)等,而且大殺器還在優(yōu)化,能夠自主優(yōu)化。
Oracle在今年發(fā)布了12cR2版本,也就是12.2.0.1,MOS文檔(ID 742060.1),Release Schedule of Current Database Releases (文檔 ID 742060.1)所說(shuō)的12.2.0.2其實(shí)就是版本18,之前規(guī)劃的12.2.0.3是版本19。
關(guān)于OOW的細(xì)節(jié),可參考楊建榮老師在舊金山現(xiàn)場(chǎng)發(fā)布的文章《DBA 3.0時(shí)代來(lái)了!》
MySQL發(fā)布 5.7.20版本
MySQL 5.7.20(2017-10-16日發(fā)布)版本是目前的穩(wěn)定版本,在此版本中針對(duì)審計(jì)、Docker、安全、插件、復(fù)制、參數(shù)配置和管理等方面做了更新和調(diào)整,并且修復(fù)了很多bug,可見(jiàn)Oracle對(duì)MySQL的研發(fā)投入和重視。主要的變化有:
- 增強(qiáng)了日志審計(jì)功能:
- 棄用和去除了一些配置參數(shù),比如tx_isolation和tx_read_only對(duì)應(yīng)新的參數(shù)transaction-isolation 和transaction-read-only,8.0版本后會(huì)舍棄tx_isolation和tx_read_only這兩個(gè)參數(shù)
- 增加了數(shù)據(jù)目錄初始化參數(shù):NO_INIT=true
- 修復(fù)了Docker中MySQL鏡像丟失bug
- 安全功能增強(qiáng)
- X Plugin更新
- Replication復(fù)制功能增強(qiáng)與更新
- 修復(fù)了眾多bug
詳情請(qǐng)參照:
https://dev.mysql.com/doc/relnotes/mysql/5.7/en/news-5-7-20.html
關(guān)于MySQL 8.0的特性說(shuō)明可以參考楊建榮和楊奇龍兩位老師的文章:
MariaDB發(fā)布10.2.9版本
MariaDB 10.2是目前穩(wěn)定的版本。它是MariaDB 10.1的演進(jìn),具有幾個(gè)亮點(diǎn)的全新功能,并具有MySQL 5.6和5.7的后端和重新實(shí)現(xiàn)的功能。這里簡(jiǎn)要列舉了10.2中部分的新特性:
- 增加了MyRocks存儲(chǔ)引擎alpha版本
- 引入了窗口函數(shù)
- 遞歸公用表表達(dá)式,在10.2.2版本中發(fā)布
- 更新InnoDB 至5.7.18
- 更新ToukuDB至5.6.37-82.2
具體信息可以參見(jiàn):https://mariadb.com/kb/en/mariadb/mariadb-1026-release-notes/
SQL Server發(fā)布2017 正式版本
微軟去年宣布將發(fā)布SQL Server on Linux版本,到今年5月份發(fā)布的SQL Server2017 CTP2.1版本,終于在10月份發(fā)布正式版。這是 SQL Server 歷史上***同時(shí)發(fā)布 Windows 和 Linux 版,值得肯定的是,同時(shí)還支持Docker部署的容器版本。
SQL Server 2017 目前支持的 Linux 發(fā)行版包括:Red Hat Enterprise Linux(RHEL),SUSE Linux Enterprise Server 和 Ubuntu。
SQL Server 2017 支持 Docker 企業(yè)版,Kubernetes 和 OpenShift 這三大容器平臺(tái)。
SQL Server 2017不是簡(jiǎn)單地將SQL Server 2016移植到非Windows平臺(tái),它還增加了一些SQL Server 2016 SP1不具備的新特性。例如:
- 高可用方面引入了Read-scale可用性組;
- R、python等機(jī)器學(xué)習(xí)方面功能;
- 支持Linux下Docker引擎。
DB2發(fā)布V11.1.1.2版本
DB2 V11.1 Mod Pack 2 and Fix Pack 2 發(fā)布,主要新特性如下:
1、crash recovery增強(qiáng)
- 通過(guò)算法優(yōu)化,降低了pureScale節(jié)點(diǎn)(單節(jié)點(diǎn)數(shù)據(jù)庫(kù)也包含在內(nèi))崩潰恢復(fù)的時(shí)間
- 在崩潰恢復(fù)期間,可以通過(guò)參數(shù)配置允許應(yīng)用對(duì)數(shù)據(jù)庫(kù)建立連接
- 提高事務(wù)回滾的性能
2、增強(qiáng)SQL直接對(duì)JSON格式的數(shù)據(jù)進(jìn)行操作的能力,包含了更多函數(shù)的支持
PostgreSQL發(fā)布10 版本
PostgreSQL 2017 全國(guó)用戶會(huì)于10月20日-21日在深圳成功召開(kāi),來(lái)自PostgreSQL核心開(kāi)發(fā)組的Bruce momjian先生為大會(huì)致辭,分享了PostgreSQL 10的重磅特性(并行計(jì)算、邏輯訂閱、FDW pushdown、sharding等),把PostgreSQL定位為一個(gè)中心數(shù)據(jù)庫(kù),具備HTAP的能力。
新版本將支持邏輯訂閱、分區(qū)表、quorum based多副本同步復(fù)制、表分區(qū)、協(xié)議級(jí)多機(jī)failover、多列統(tǒng)計(jì)信息、sharding增強(qiáng)(聚合下推)、多核并行增強(qiáng)(索引掃描、位圖掃描、merge JOIN等)、安全增強(qiáng)(SCRAM認(rèn)證模塊)等。非常值得期待。
Greenplum發(fā)布5.1 版本
Pivotal的Greenplum是基于MPP架構(gòu)的數(shù)據(jù)庫(kù)產(chǎn)品,它可以滿足下一代數(shù)據(jù)倉(cāng)庫(kù)對(duì)大規(guī)模的分析任務(wù)的需求。5.1支持的新特性有:
- 增強(qiáng)了GPORCA對(duì)短查詢的性能優(yōu)化
- 提升了GPORCA優(yōu)化器性能
- GPORCA可以支持分區(qū)表子節(jié)點(diǎn)的索引
- 支持表與外部程序之間的COPY操作
- gptransfer支持了SHA-256數(shù)據(jù)校驗(yàn)
- 提升了gprecoverseg的性能
- 增加了新的外部數(shù)據(jù)引擎PXF
二、NoSQL家族
MongoDB 10年修一劍
或許是巧合,或許是有意,穩(wěn)坐非關(guān)系型數(shù)據(jù)庫(kù)***把交椅的MongoDB于最近成功在納斯達(dá)克上市。從MongoDB位于紐約時(shí)代廣場(chǎng)的總部走到納斯達(dá)克只需幾百步。MongoDB的敲鐘日是10月19日,距離提交***行代碼的日期2007年10月20日,不多不少整整花了10年。
另外,MongoDB 3.6 將在12月發(fā)布。3.6將提供以下幾個(gè)主要的功能:
- Change Stream:通過(guò)Oplog監(jiān)聽(tīng)一個(gè)集合的DML事件,用來(lái)實(shí)現(xiàn)pubsub類型的場(chǎng)景;
- Retryable writes:當(dāng)集群出現(xiàn)換主現(xiàn)象時(shí),寫(xiě)入操作會(huì)被自動(dòng)重試從而保證應(yīng)用端的透明;
- JSON Schema:是的,MongoDB將正式支持?jǐn)?shù)據(jù)庫(kù)模式,比起Document Validation更加完善;
- Fully expressive array updates:可以操作嵌套數(shù)組了!
- $lookup: 支持更多的JOIN語(yǔ)法。
Redis 集群技術(shù)發(fā)展
此部分詳情可閱讀Redis中國(guó)用戶組發(fā)起人張冬洪對(duì)云棲大會(huì)Redis專場(chǎng)的總結(jié)《在Redis集群技術(shù)上,你不可錯(cuò)過(guò)的四大集成者》。
ArangoDB發(fā)布3.3里程碑版
ArangoDB是一個(gè)開(kāi)源的分布式原生多模型數(shù)據(jù)庫(kù)(Apache 2 license),具有用于文檔、圖形和鍵值的靈活數(shù)據(jù)模型。其類似于SQL 的查詢語(yǔ)言或JavaScript 擴(kuò)展支持輕松靈活地構(gòu)建高性能應(yīng)用程序。此外,還支持ACID 交易,并可以輕松實(shí)現(xiàn)水平擴(kuò)展。
近期發(fā)布了程碑版 ArangoDB 3.3,這個(gè)里程碑版本包含ArangoDB 新的和改進(jìn)的數(shù)據(jù)復(fù)制引擎Beta階段,GA 計(jì)劃于2017年11月發(fā)布。以下為主要更新:
- 重新設(shè)計(jì)復(fù)制協(xié)議使其更加可靠;
- 重構(gòu)和現(xiàn)代化內(nèi)部基礎(chǔ)架構(gòu),以更好地支持連續(xù)異步復(fù)制;
- 添加了對(duì)主服務(wù)器到其他副本從站之間的自動(dòng)故障切換的支持;
- 添加了一個(gè)新的全局異步復(fù)制API,其允許您自動(dòng)連續(xù)地將整個(gè)ArangoDB 單實(shí)例(主)映射到另外一個(gè)(或更多)。
Github:https://github.com/arangodb/arangodb
三、NewSQL家族
TiDB 1.0版本發(fā)布
10 月 16 日,TiDB 發(fā)布 GA 版(TiDB 1.0)。該版本對(duì) MySQL 兼容性、SQL 優(yōu)化器、系統(tǒng)穩(wěn)定性、性能做了大量的工作。同期,TiDB 先后完成了與騰訊云和 Ucloud 的深度產(chǎn)品合作,目前已開(kāi)放內(nèi)測(cè)。此舉標(biāo)志著 PingCAP 進(jìn)一步布局云計(jì)算產(chǎn)業(yè),TiDB 與***陣營(yíng)云廠商的深度整合,為更多上云客戶提供真正的 NewSQL 云數(shù)據(jù)庫(kù)服務(wù)。
源碼地址:https://github.com/pingcap/tidb
目前 HTAP 數(shù)據(jù)庫(kù) TiDB (https://cloud.tencent.com/product/tidb)已正式上線騰訊云開(kāi)放內(nèi)測(cè)。
CockroachDB發(fā)布1.1版本
CockroachDB 是2014年中在Github發(fā)起的開(kāi)源項(xiàng)目,旨在打造一個(gè)開(kāi)源的、可伸縮的、跨地域復(fù)制且兼容ACID的數(shù)據(jù)庫(kù)。CockroachDB的三位創(chuàng)始人均來(lái)自Google,并于15年成立Cockroach Labs,目前累積融資5256萬(wàn)美元。
CockroachDB 在10月12號(hào)剛剛發(fā)布了1.1版本。該版本引入了快速導(dǎo)數(shù)據(jù)的功能,可以支持并發(fā)的數(shù)據(jù)導(dǎo)入,目前僅支持CSV格式的數(shù)據(jù)導(dǎo)入。
新版本支持整個(gè)集群的SHOW QUERIES以及CANCEL QUERIES,,可以方便運(yùn)維人員更好地管理集群。
四、時(shí)間序列
InfluxDB發(fā)布V1.3.6版本
InfluxDB是用Go語(yǔ)言寫(xiě)的,專為時(shí)間序列數(shù)據(jù)持久化所開(kāi)發(fā)。由于使用Go語(yǔ)言,所以各平臺(tái)基本都支持,無(wú)需外部依賴。其設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)分布式和水平伸縮擴(kuò)展。它有三大特性:
- Time Series(時(shí)間序列):你可以使用與時(shí)間有關(guān)的相關(guān)函數(shù)(如***,最小,求和等);
- Metrics(度量):你可以實(shí)時(shí)對(duì)大量數(shù)據(jù)進(jìn)行計(jì)算;
- Eevents(事件):它支持任意的事件數(shù)據(jù)。
項(xiàng)目地址:
https://portal.influxdata.com/downloads
五、大數(shù)據(jù)生態(tài)圈
Hadoop發(fā)布3.0 beta版本
2017年10月3號(hào),Apache基金會(huì)發(fā)布了Hadoop 3.0版本的***個(gè)beta版本,這是3.0版本線的***個(gè)beta版本,總共修復(fù)了576個(gè)bug,并針對(duì)3.0的Alpha4版本做出了性能上的改進(jìn)。這會(huì)是3.0的***一個(gè)測(cè)試版本,讓我們期待3.0 GA正式發(fā)布版的到來(lái)。
不過(guò)需要注意的是,由于有些嚴(yán)重的問(wèn)題還在修復(fù),測(cè)試的過(guò)程中,2.8.0版本不建議在立即投入到生產(chǎn)環(huán)境中使用,生產(chǎn)用戶應(yīng)該等待2.8.1/2.8.2等后續(xù)版本。
版本更新的主要內(nèi)容如下:
http://hadoop.apache.org/docs/r2.8.0/index.html
全部更新列表:
http://hadoop.apache.org/docs/r3.0.0-beta1/hadoop-project-dist/hadoop-common/release/3.0.0-beta1/CHANGES.3.0.0-beta1.html
Druid發(fā)布0.10.1版本
Druid 0.10.1包含了來(lái)自超過(guò)40位貢獻(xiàn)者的上百項(xiàng)性能提升、穩(wěn)定性提升以及Bug修復(fù)。主要的新特性如下:
- TopN查詢的大幅性能提升以及添加其相應(yīng)的查詢metrics;
- Group By查詢支持Push Down Limit(Limit從Broker下推到Hitorical);
- 更加精準(zhǔn)的查詢超時(shí)處理;
- Hadoop Indexing支持Amazon S3A文件系統(tǒng);
- 支持Protobuf3.0數(shù)據(jù)格式的數(shù)據(jù)攝入及其它改進(jìn);
- 通過(guò)Http讀取數(shù)據(jù)的Firehose;
- 從云存儲(chǔ)進(jìn)行實(shí)時(shí)索引的磁盤(pán)空間管理改進(jìn);
- 改進(jìn)Coordinator lookups管理;
- 新的Kafka metric emitter;
- 新增列字段比較的filter;
- Druid SQL的大量改進(jìn)。
SnappyData 1.0.0正式版發(fā)布
隨著SnappyData 1.0.0正式發(fā)布,SnappyData 100%兼容 Spark2.1~2.2,支持 Spark ML和 Spark MLLib 算法庫(kù),全面轉(zhuǎn)向機(jī)器學(xué)習(xí)領(lǐng)域:
- 支持 Spark 所有機(jī)器學(xué)習(xí)算法
- SnappyData和Spark的Dataset自動(dòng)轉(zhuǎn)換
- 提供Stream Table流式表結(jié)構(gòu)
六、國(guó)產(chǎn)數(shù)據(jù)庫(kù)概覽
達(dá)夢(mèng)數(shù)據(jù)庫(kù)發(fā)布***版本V7.1.6.3
達(dá)夢(mèng)數(shù)據(jù)庫(kù)管理系統(tǒng)是達(dá)夢(mèng)公司推出的具有完全自主知識(shí)產(chǎn)權(quán)的高性能數(shù)據(jù)庫(kù)管理系統(tǒng),簡(jiǎn)稱DM。目前產(chǎn)品的***版本是達(dá)夢(mèng)數(shù)據(jù)庫(kù)管理系統(tǒng)7.0版本,簡(jiǎn)稱DM7。
DM7是達(dá)夢(mèng)公司在總結(jié)DM系列產(chǎn)品研發(fā)與應(yīng)用經(jīng)驗(yàn)的基礎(chǔ)之上,吸收主流數(shù)據(jù)庫(kù)產(chǎn)品的優(yōu)點(diǎn),采用類Java的虛擬機(jī)技術(shù)設(shè)計(jì)的新一代數(shù)據(jù)庫(kù)產(chǎn)品。DM7基于成熟的關(guān)系數(shù)據(jù)模型和標(biāo)準(zhǔn)的接口,是一個(gè)跨越多種軟硬件平臺(tái)、具有大數(shù)據(jù)管理與分析能力、高效穩(wěn)定的數(shù)據(jù)庫(kù)管理系統(tǒng)。
目前官網(wǎng)***的可下載版本是V7.1.6.3,近期主要改動(dòng)表現(xiàn)在Oracle兼容性、性能、功能和修復(fù)已有bug。
OceanBase發(fā)布1.4.51版本
近期,OceanBase數(shù)據(jù)庫(kù)在外部業(yè)務(wù)、產(chǎn)品開(kāi)發(fā)上都有突破性的進(jìn)展,達(dá)到了新高度:
浙商銀行、南京銀行相繼在互聯(lián)網(wǎng)金融核心系統(tǒng)中采用OceanBase數(shù)據(jù)庫(kù),其中浙商銀行系統(tǒng)已成功上線運(yùn)行,南京銀行系統(tǒng)正在進(jìn)行上線前的生產(chǎn)演練。這是國(guó)產(chǎn)數(shù)據(jù)庫(kù)系統(tǒng)在商業(yè)銀行在線交易型業(yè)務(wù)中的***使用!
7月,OceanBase高可用部署有了一個(gè)新的里程碑:支付寶的會(huì)員ID系統(tǒng)采用OceanBase“三地五中心”部署方式,建立了城市級(jí)故障自動(dòng)容災(zāi)能力。這是***個(gè)完全依賴數(shù)據(jù)庫(kù)內(nèi)部機(jī)制建立的城市級(jí)故障自動(dòng)容災(zāi)系統(tǒng),并且應(yīng)用在金融領(lǐng)域的核心業(yè)務(wù)上,具有重要的標(biāo)志性的意義。
OceanBase數(shù)據(jù)庫(kù)產(chǎn)品持續(xù)改進(jìn):只讀副本功能,可以方便地構(gòu)建低成本的讀寫(xiě)分離集群;前后端協(xié)議checksum機(jī)制,有效地應(yīng)對(duì)網(wǎng)絡(luò)故障引起的數(shù)據(jù)包錯(cuò)誤;同義詞功能和回收站功能,有效應(yīng)對(duì)DBA誤刪除索引和truncate table引起的系統(tǒng)故障。
SequoiaDB 發(fā)布v2.8.3企業(yè)版
SequoiaDB巨杉數(shù)據(jù)庫(kù)作為一款金融級(jí)分布式數(shù)據(jù)庫(kù),包括分布式OLTP、新一代NoSQL以及分布式對(duì)象存儲(chǔ)這幾個(gè)主要領(lǐng)域,實(shí)現(xiàn)包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的全類型數(shù)據(jù)統(tǒng)一管理。
作為一款企業(yè)級(jí)的分布式數(shù)據(jù)庫(kù)平臺(tái),巨杉數(shù)據(jù)庫(kù)也在加快發(fā)展自己的技術(shù)生態(tài),通過(guò)與BI的集成,打通數(shù)據(jù)存儲(chǔ)管理--數(shù)據(jù)分析--數(shù)據(jù)展現(xiàn),形成端到端的數(shù)據(jù)管理能力。
SequoiaDB巨杉數(shù)據(jù)庫(kù)是Spark全球14家認(rèn)證發(fā)行商之一,長(zhǎng)期以來(lái)與Spark緊密合作。通過(guò)引入Spark內(nèi)存計(jì)算框架,構(gòu)建了分析型數(shù)據(jù)處理基礎(chǔ)架構(gòu)。同時(shí)將數(shù)據(jù)管理與數(shù)據(jù)呈現(xiàn)分層,可以根據(jù)用戶實(shí)際的需求對(duì)接相應(yīng)的BI產(chǎn)品。完善了分析型數(shù)據(jù)的管理流程。