數(shù)據(jù)，是互聯(lián)網(wǎng)公司的核心資產(chǎn)之一。那么，這些核心資產(chǎn)背后，是哪些人在收集數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)、處理數(shù)據(jù)、管理數(shù)據(jù)、使用數(shù)據(jù)、保證數(shù)據(jù)安全的呢？——是“數(shù)據(jù)工匠”們！

2020年7月28日~8月6日，云+社區(qū)（騰訊云官方開(kāi)發(fā)者社區(qū)）主辦的線上技術(shù)沙龍——數(shù)據(jù)工匠，已圓滿落幕。10位技術(shù)大咖現(xiàn)身分享，與開(kāi)發(fā)者互動(dòng)交流，深度講解了有贊技術(shù)中臺(tái)、騰訊云Elasticsearch、數(shù)據(jù)安全中臺(tái)、ClickHouse、騰訊云數(shù)據(jù)庫(kù)MySQL 8.0、云原生消息隊(duì)列、數(shù)據(jù)庫(kù)自治服務(wù)等多個(gè)專(zhuān)題。另有三位嘉賓同臺(tái)，就“如何成為優(yōu)秀架構(gòu)師”這一開(kāi)放命題，展開(kāi)多維探討。

有贊數(shù)據(jù)中臺(tái)成本治理實(shí)踐

隨著直播電商行業(yè)的興盛，有贊業(yè)務(wù)高速發(fā)展。但同時(shí)數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)資源和計(jì)算資源消耗也非常高，甚至一度超過(guò)了整個(gè)平臺(tái)業(yè)務(wù)的增速，這顯然不是一個(gè)可持續(xù)發(fā)展的態(tài)勢(shì)。

有贊技術(shù)副總裁沈淦首先帶我們一起回顧了去年有贊業(yè)務(wù)高速發(fā)展時(shí)遇到的困境，并向大家分享了他們?cè)跀?shù)據(jù)中臺(tái)成本治理上的實(shí)踐。

針對(duì)原數(shù)據(jù)中臺(tái)資源水位低、擴(kuò)縮容成本高、存儲(chǔ)瓶頸、離線計(jì)算浪費(fèi)、成員缺少成本意識(shí)等問(wèn)題，有贊從五個(gè)方面出發(fā)進(jìn)行了成本的綜合治理：

1. 提升資源利用率

首先是制定利用率標(biāo)準(zhǔn)，確認(rèn)利用率在什么水位是合理的，根據(jù)不同的集群和環(huán)境來(lái)設(shè)定不同的水位。其次根據(jù)水位來(lái)決定縮容或者降配，充分利用機(jī)器資源。接著對(duì)機(jī)型進(jìn)行優(yōu)化，統(tǒng)一集群機(jī)型。最后是延時(shí)啟動(dòng)，削峰填谷，任務(wù)分級(jí)，避免在高峰期爭(zhēng)搶資源，在空閑時(shí)間做數(shù)據(jù)重刷。

2. 容器化改造

容器化在很多方面會(huì)提供非常好的支撐，首先在擴(kuò)縮容方面。有贊和騰訊云合作，把采購(gòu)的 API 打通，這樣就可以通過(guò)調(diào)度策略來(lái)進(jìn)行擴(kuò)縮容，比以前按月的采購(gòu)方式效率更高、成本更低。另外通過(guò)容器化，也可以很方便的實(shí)現(xiàn)存儲(chǔ)與計(jì)算分離。

3. 存儲(chǔ)優(yōu)化

冷備數(shù)據(jù)分離，存儲(chǔ)到騰訊云COS上，比起獨(dú)立集群存儲(chǔ)，節(jié)省80%的成本。啟用Hive數(shù)據(jù)生命周期管理，90%以上的分區(qū)表，可以做歷史分區(qū)清理，節(jié)省20%以上的存儲(chǔ)空間。同時(shí)優(yōu)化存儲(chǔ)壓縮倍率，依據(jù) hadoop3.x 版本 EC編碼特征，3備份僅需要 1.5倍的空間。

4. 離線任務(wù)優(yōu)化

從數(shù)據(jù)下線、任務(wù)調(diào)優(yōu)、高轉(zhuǎn)低頻、數(shù)據(jù)替換、小文件合并、延遲啟動(dòng)這六個(gè)方面對(duì)離線任務(wù)進(jìn)行優(yōu)化，有贊團(tuán)隊(duì)形象稱(chēng)之為“六脈神劍”。

5. 成本運(yùn)營(yíng)機(jī)制

針對(duì)團(tuán)隊(duì)成員資源使用大手大腳、缺乏成本意識(shí)等問(wèn)題，有贊技術(shù)團(tuán)隊(duì)創(chuàng)新了成本運(yùn)營(yíng)機(jī)制。建立成本量化模型，對(duì)于不同資源設(shè)立不同的成本單價(jià)，通過(guò)Spark

采集計(jì)算資源和運(yùn)營(yíng)宣導(dǎo)等方式，讓團(tuán)隊(duì)每個(gè)成員切實(shí)感受到資源的損耗，下意識(shí)開(kāi)始加強(qiáng)成本意識(shí)。

經(jīng)過(guò)此番成本治理實(shí)踐，有贊數(shù)據(jù)中臺(tái)不管是在整體資源的利用率還是計(jì)算性能上都有很大的提升，同時(shí)極大降低了存儲(chǔ)成本，幫助團(tuán)隊(duì)成員提升了成本意識(shí)，自主降本比例超過(guò)了25%，取得了積極的進(jìn)展。

海量挑戰(zhàn)：騰訊云Elasticsearch可用性及性能優(yōu)化實(shí)踐

為了幫助騰訊會(huì)議質(zhì)量團(tuán)隊(duì)快速精準(zhǔn)地定位分析問(wèn)題，需要大量運(yùn)行時(shí)的會(huì)議質(zhì)量數(shù)據(jù)支撐，如網(wǎng)絡(luò)相關(guān)的入網(wǎng)類(lèi)型、碼率、丟包率等。另一方面，借助多維分析，可以在實(shí)時(shí)數(shù)據(jù)中挖掘出異常情況，通過(guò)dashboard或數(shù)據(jù)報(bào)表的形式，幫助會(huì)議質(zhì)量團(tuán)隊(duì)及時(shí)掌控全局情況，快速發(fā)現(xiàn)潛在問(wèn)題。

但是隨著騰訊會(huì)議用戶(hù)激增，在高壓力、高吞吐的環(huán)境下，基于ES的會(huì)議服務(wù)質(zhì)量分析系統(tǒng)承受了極大的壓力，并且寫(xiě)入性能出現(xiàn)了不足......騰訊云Elasticsearch技術(shù)專(zhuān)家張彬面向廣大在線聽(tīng)眾，分享了他們?cè)隍v訊會(huì)議服務(wù)質(zhì)量分析系統(tǒng)上的優(yōu)化實(shí)踐。

針對(duì)高并發(fā)場(chǎng)景的優(yōu)化方案是服務(wù)限流。除了要能控制并發(fā)請(qǐng)求數(shù)量，還要能精準(zhǔn)地控制內(nèi)存資源，因?yàn)閮?nèi)存資源不足是主要的矛盾。另外通用性要強(qiáng)，能作用于各個(gè)層級(jí)實(shí)現(xiàn)全鏈限流。

具體是基于內(nèi)存資源的漏桶策略，將節(jié)點(diǎn) JVM 內(nèi)存作為漏桶的資源，當(dāng)內(nèi)存資源足夠的時(shí)候，請(qǐng)求可以正常處理；當(dāng)內(nèi)存使用量到達(dá)一定閾值的時(shí)候分區(qū)間階梯式平滑限流。如下圖中淺黃色的區(qū)間限制寫(xiě)入，深黃色的區(qū)間限制查詢(xún)，底部紅色部分作為預(yù)留 buffer，預(yù)留給處理中的請(qǐng)求、merge 等操作，以保證節(jié)點(diǎn)內(nèi)存的安全性。

除此之外，騰訊云ES還在大聚合查詢(xún)、多可用區(qū)部署、數(shù)據(jù)合并策略以及大吞吐寫(xiě)入方面，結(jié)合原生方案和社區(qū)調(diào)研，做出了獨(dú)具一格的優(yōu)化。除了在高可用和性能方面的調(diào)優(yōu)，騰訊云ES在低成本解決方案上也給出了自己的答卷。

騰訊云自身的監(jiān)控系統(tǒng)也是ES 做的，對(duì)于一些特別大的地域集群，寫(xiě)入速度高達(dá)千萬(wàn)級(jí)每秒，需要承擔(dān)1500臺(tái)物理機(jī)的成本預(yù)算。通過(guò)冷熱分離、生命周期管理、多盤(pán)策略、COS冷備等方式，極大降低了存儲(chǔ)成本，原本需要1500臺(tái)機(jī)器才能完成的工作優(yōu)化后僅需要兩三百臺(tái)。

原生加密：騰訊云數(shù)據(jù)安全中臺(tái)解決方案

隨著企業(yè)上云和數(shù)字化轉(zhuǎn)型升級(jí)的深化，數(shù)據(jù)正在成為企業(yè)的核心資產(chǎn)之一，在生產(chǎn)過(guò)程中發(fā)揮的價(jià)值越來(lái)越大。騰訊安全云鼎實(shí)驗(yàn)室專(zhuān)家姬生利在直播間為大家細(xì)數(shù)了企業(yè)數(shù)據(jù)安全風(fēng)險(xiǎn)以及國(guó)內(nèi)密碼應(yīng)用現(xiàn)狀，除了業(yè)務(wù)上的安全挑戰(zhàn)，還有安全合規(guī)方面的要求。

企業(yè)數(shù)據(jù)安全面臨著諸多難題：

從數(shù)據(jù)安全生命周期來(lái)看，有著分類(lèi)、治理和策略方面的難點(diǎn)；從開(kāi)發(fā)運(yùn)營(yíng)過(guò)程中來(lái)看，數(shù)據(jù)有容易泄露的風(fēng)險(xiǎn)，比如開(kāi)發(fā)意識(shí)疏忽，泄露源代碼中包含的敏感憑據(jù)和密鑰、測(cè)試暴露高風(fēng)險(xiǎn)的測(cè)試數(shù)據(jù)庫(kù)訪問(wèn)端口和弱賬號(hào)等。測(cè)試：暴露高風(fēng)險(xiǎn)的測(cè)試數(shù)據(jù)庫(kù)訪問(wèn)端口和弱賬號(hào)等。

從應(yīng)用服務(wù)的構(gòu)成來(lái)看，數(shù)據(jù)從產(chǎn)生、傳輸、存儲(chǔ)、處理，到共享展示，每一個(gè)環(huán)節(jié)都存在數(shù)據(jù)泄露的風(fēng)險(xiǎn)，涉及數(shù)據(jù)安全保障：

本地敏感數(shù)據(jù)存儲(chǔ)安全、網(wǎng)絡(luò)通道的安全、配置文件和硬編碼敏感信息的安全、密鑰的安全管理、云上數(shù)據(jù)的存儲(chǔ)安全、金融支付等敏感應(yīng)用的安全合規(guī)問(wèn)題、數(shù)據(jù)的共享、展示脫敏的問(wèn)題等。此外，云架構(gòu)下數(shù)據(jù)加密及密鑰管理也面臨多種挑戰(zhàn)。

騰訊云數(shù)據(jù)安全中臺(tái)具備三大能力，全數(shù)據(jù)生命周期支持、完整的云產(chǎn)品生態(tài)集成、國(guó)密與 FIPS 標(biāo)準(zhǔn)的支持。騰訊云數(shù)據(jù)安全中臺(tái)還能提供極簡(jiǎn)的加密 API 和 SDK 服務(wù)，讓用戶(hù)得以使用最小的工作量，極簡(jiǎn)地實(shí)現(xiàn)對(duì)云上數(shù)據(jù)的加密保護(hù)。

對(duì)于云上數(shù)據(jù)安全應(yīng)用方案，需要保管的核心內(nèi)容就是密鑰，密鑰存放在硬編碼配置文件里面，是寫(xiě)在代碼里面的，這種情況下配置文件泄漏或者代碼泄漏，密鑰也會(huì)隨之泄漏，密鑰的丟失導(dǎo)致數(shù)據(jù)的密文不再安全，因此使用加密算法需要使用密鑰管理系統(tǒng)（KMS）來(lái)對(duì)密鑰進(jìn)行統(tǒng)一管理。

KMS是云平臺(tái)和產(chǎn)品合規(guī)的基礎(chǔ)安全組件，海外用戶(hù)需要滿足FIPS-140-2標(biāo)準(zhǔn)，國(guó)內(nèi)用戶(hù)需要支持國(guó)密。KMS能為用戶(hù)提供安全合規(guī)的密鑰保障、敏感數(shù)據(jù)加密、高性能本地?cái)?shù)據(jù)加密等能力，支持BYOK、白盒密鑰管理，還能無(wú)縫集成云產(chǎn)品，實(shí)現(xiàn)云上數(shù)據(jù)透明加密。

除了KMS之外，騰訊云數(shù)據(jù)安全中臺(tái)還集成了憑據(jù)管理系統(tǒng)、云加密機(jī)、數(shù)據(jù)庫(kù)加密等能力，為用戶(hù)的數(shù)據(jù)安全保駕護(hù)航。

彪悍性能：騰訊云ClickHouse性能調(diào)優(yōu)及實(shí)踐

ClickHouse是俄羅斯開(kāi)源的OLAP數(shù)據(jù)庫(kù)，以彪悍的性能著稱(chēng)。開(kāi)源5年以來(lái)，以性能優(yōu)異、簡(jiǎn)單易用的特點(diǎn)，吸引了大量的用戶(hù)群體。騰訊云ClickHouse研發(fā)負(fù)責(zé)人彭健為大家?guī)?lái)騰訊云ClickHouse在QQ音樂(lè)上的應(yīng)用與調(diào)優(yōu)實(shí)踐。

QQ音樂(lè)用的就是ClickHouse集群，集群的現(xiàn)狀是近萬(wàn)核的規(guī)模、PB 級(jí)的存儲(chǔ)，十萬(wàn)億級(jí)別的記錄量，每天過(guò)千億級(jí)的數(shù)據(jù)入庫(kù)，包括實(shí)時(shí)流水、中間表的計(jì)算等等。

通過(guò)使用ClickHouse，一方面帶來(lái)了實(shí)時(shí)性上的價(jià)值，絕大部分查詢(xún)請(qǐng)求是數(shù)秒內(nèi)完成、部分查詢(xún)請(qǐng)求在十秒內(nèi)完成。另一方面是易用性，利用 Superset 可以自主制作各種報(bào)表，降低了產(chǎn)品、運(yùn)營(yíng)、市場(chǎng)等非數(shù)據(jù)人員分析使用的門(mén)檻。

那么，是如何做到的呢？

1. 合理規(guī)劃ZooKeeper的集群配置

ClickHouse 集群數(shù)據(jù)量的增長(zhǎng)，在并發(fā)寫(xiě)入量較大的情況下，ZooKeeper 的處理能力跟不上，集群的性能也會(huì)急劇下降。所以在整個(gè)運(yùn)維過(guò)程中，如果集群數(shù)據(jù)規(guī)模超過(guò) TB 級(jí)別，建議采用具有 SSD 盤(pán)的設(shè)備。

2. 數(shù)據(jù)冪等寫(xiě)入

ClickHouse 的集群是按 Shard 分布的，在向 ClickHouse 導(dǎo)入數(shù)據(jù)的過(guò)程中有時(shí)會(huì)失敗或者超時(shí)，就需要重試寫(xiě)入動(dòng)作。為了防止多個(gè) Shard 出現(xiàn)重復(fù)寫(xiě)入，導(dǎo)致數(shù)據(jù)不一致的情況，在重試的時(shí)候需要在相同的 Shard 上進(jìn)行寫(xiě)入。

3. 合理規(guī)劃表分區(qū)數(shù)

通常可以將數(shù)據(jù)按天、按月做分區(qū)，根據(jù)具體情況來(lái)操作。官方建議分區(qū)數(shù)量不要超過(guò)一千，通常這個(gè)分區(qū)數(shù)對(duì)大部分業(yè)務(wù)場(chǎng)景都?jí)蛴?，過(guò)多分區(qū)數(shù)量會(huì)導(dǎo)致查詢(xún)性能的降低。

4. 讀寫(xiě)分離

借助臨時(shí)集群，預(yù)先將準(zhǔn)備好的數(shù)據(jù)在臨時(shí)集群中構(gòu)建、寫(xiě)入，等待 Merge 完成后 AB 切換，或者通過(guò)數(shù)據(jù)拷貝的方式將數(shù)據(jù)復(fù)制到在線集群的服務(wù)器上，做到讀寫(xiě)分離。從而讓數(shù)據(jù)的寫(xiě)入不會(huì)影響線上的查詢(xún)，或者是把影響降到最低。

5. 跨表查詢(xún)的本地化

ClickHouse 集群分布式查詢(xún)通常采用 GLOBAL IN/GLOBAL JOINS 類(lèi)似的詞語(yǔ)，這些詞句的性能相對(duì)比較低，使用后再查詢(xún)時(shí)會(huì)生成臨時(shí)表，并跨節(jié)點(diǎn)讀取數(shù)據(jù)，從而降低查詢(xún)速度，也會(huì)占用更多的內(nèi)存，甚至導(dǎo)致查詢(xún)失敗。

通過(guò)合理組織數(shù)據(jù)，使用本地化的 IN/JOINS 代替，比如根據(jù)數(shù)據(jù)的 UN、VID 將相同 ID 的數(shù)據(jù)寫(xiě)入到相同的 Shard 中，結(jié)果是等效的，但可以極大的提升性能，將復(fù)雜的操作編程定型化的操作。

除此以外，彭健還對(duì)ClickHouse常見(jiàn)的實(shí)時(shí)分析場(chǎng)景進(jìn)行了分析，為大家細(xì)致剖析了ClickHouse的原理，以及騰訊云ClickHouse是如何在原生的基礎(chǔ)上做出優(yōu)化的。不久的未來(lái)，更加完善、性能也更高的騰訊云ClickHouse服務(wù)也將會(huì)上線提供服務(wù)，敬請(qǐng)大家期待。

極致性能：騰訊云數(shù)據(jù)庫(kù)MySQL 8.0

“騰訊云數(shù)據(jù)庫(kù) MySQL 8.0版本于2020年7月正式發(fā)布，QPS達(dá)到70w+。騰訊云基于官方8.0版本新增什么特性和功能，這些新能力能為大家?guī)?lái)哪些實(shí)際的價(jià)值和幫助？”，直播間里，騰訊云數(shù)據(jù)庫(kù)產(chǎn)品專(zhuān)家黃稚禹為大家做出了細(xì)致的解析。

騰訊MySQL 8.0 新推出了八大特性：數(shù)據(jù)加密、SQL審計(jì)、線程池、強(qiáng)一致性、新硬件支持、輕量級(jí)AP、熱點(diǎn)更新、SQL限流。

MySQL 開(kāi)源社區(qū)版是不支持企業(yè)級(jí)審計(jì)功能的，只有商業(yè)版里才提供。而騰訊云 MySQL 8.0實(shí)現(xiàn)了內(nèi)核級(jí)別的審計(jì)功能，并且結(jié)合了云產(chǎn)品進(jìn)一步提升了 SQL 審計(jì)功能，讓用戶(hù)擁有更好的體驗(yàn)。

用戶(hù)連接 session 產(chǎn)生的審計(jì)記錄，由專(zhuān)門(mén)的寫(xiě)盤(pán)線程( Flush thread )將內(nèi)存中的審計(jì)記錄寫(xiě)入審計(jì)文件中( Audit File )，直接落盤(pán)。而審計(jì)代理( Audit Agent )則會(huì)讀取審計(jì)文件，將審計(jì)記錄發(fā)送到審計(jì)日志中心。

同時(shí)采用 JSON 格式對(duì)審計(jì)日志進(jìn)行存儲(chǔ)。記錄的審計(jì)內(nèi)容有時(shí)間戳、影響行數(shù)、執(zhí)行時(shí)間、主機(jī)、來(lái)源IP、實(shí)例名、用戶(hù)名、數(shù)據(jù)庫(kù)名，包括具體的 SQL 語(yǔ)句和類(lèi)型等。在產(chǎn)品層面上也提供了審計(jì)規(guī)則的過(guò)濾。

針對(duì)互聯(lián)網(wǎng)高并發(fā)業(yè)務(wù)場(chǎng)景，騰訊云 MySQL 8.0 進(jìn)行了線程模式的改進(jìn)。當(dāng)客戶(hù)端發(fā)起連接后，由空閑的線程先對(duì)請(qǐng)求進(jìn)行處理，減少上下文切換的消耗和創(chuàng)建銷(xiāo)毀的消耗。同時(shí)引入了多隊(duì)列的機(jī)制，可以按照業(yè)務(wù)的訪問(wèn)走不同的隊(duì)列。

在數(shù)據(jù)加密方面，通過(guò) KMS和 TDE 的深度集成，實(shí)現(xiàn)了二者的結(jié)合，為騰訊云 MySQL 用戶(hù)提供了一整套安全解決方案。

KMS 采用的是兩層密鑰體系，海量的業(yè)務(wù)數(shù)據(jù)在存儲(chǔ)或通信過(guò)程中使用數(shù)據(jù)密鑰以對(duì)稱(chēng)加密的方式加密，而數(shù)據(jù)密鑰又通過(guò)用戶(hù)主密鑰采用非對(duì)稱(chēng)加密方式加密保護(hù)。通過(guò)兩層密鑰體系，確保數(shù)據(jù)在在內(nèi)存和文件中都進(jìn)行加密。

在直播的最后，黃稚禹為大家分享了騰訊MySQL 8.0 在電商、游戲、金融、新零售這四大行業(yè)里的應(yīng)用，也和大家暢想一番他對(duì)數(shù)據(jù)庫(kù)未來(lái)的發(fā)展趨勢(shì)看法。

金融級(jí)別：新一代消息隊(duì)列在騰訊計(jì)費(fèi)的實(shí)踐

云原生場(chǎng)景，多語(yǔ)言、多種協(xié)議兼容，任意多的消息 Topic、任意多的消費(fèi)者，性能的按需快速擴(kuò)展成為消息隊(duì)列基本的要求。而在金融場(chǎng)景下，對(duì)交易數(shù)據(jù)的強(qiáng)一致性、跨地域數(shù)據(jù)高可用性、系統(tǒng)的性能方面都有著極高的要求。

騰訊TEG技術(shù)委員會(huì)專(zhuān)家工程師劉德志為大家分享了基于 Apache Pulsar 的新一代存儲(chǔ)計(jì)算分離設(shè)計(jì)的消息隊(duì)列 TDMQ在騰訊計(jì)費(fèi)上的技術(shù)實(shí)踐。

騰訊計(jì)費(fèi)是孵化于支撐騰訊內(nèi)部業(yè)務(wù)千億級(jí)營(yíng)收的互聯(lián)網(wǎng)計(jì)費(fèi)平臺(tái)，其核心是幫助用戶(hù)與產(chǎn)品，安全、便捷的完成支付和收款。平臺(tái)承載了騰訊公司每天數(shù)億收入的大盤(pán)，為 180+ 個(gè)國(guó)家（地區(qū)）、100W+ 計(jì)算商戶(hù)提供服務(wù)，托管賬戶(hù)總量 300 多億，是一個(gè)全方位一站式計(jì)費(fèi)平臺(tái)。

1. 存儲(chǔ)分離架構(gòu)

TDMQ 是基于 Pulsar 內(nèi)核，同樣采用了計(jì)算和存儲(chǔ)分離的 2 層架構(gòu)：

Broker 提供消息的生產(chǎn)、發(fā)送和管理服務(wù)，本身并不存儲(chǔ)任何狀態(tài)信息和消息內(nèi)容。Bookie 提供存儲(chǔ)層服務(wù)，采用邏輯分片存儲(chǔ)模式，也就是 Ledger，一個(gè) Topic 實(shí)際上是一個(gè)Ledgers 流，Ledger里面存儲(chǔ)了具體的消息也就是 entry。

基于存儲(chǔ)分離的架構(gòu)，可以很友好的支持系統(tǒng)的擴(kuò)縮容。如果是計(jì)算層資源不足，可以非常方便的進(jìn)行 Broker 擴(kuò)容，同時(shí) Broker 也可以用相對(duì)比較廉價(jià)的機(jī)器來(lái)支撐。如果是存儲(chǔ)層資源不足，添加 bk 節(jié)點(diǎn)也是非常簡(jiǎn)單的，新加的機(jī)器會(huì)在后續(xù)的 Ledger 寫(xiě)入使用，基本不需要額外的數(shù)據(jù)遷移動(dòng)作。

2. 跨城容災(zāi)

隨著業(yè)務(wù)的發(fā)展，異地多活成為必然選擇。TDMQ 提供兩種跨城容災(zāi)模式：跨地域異步復(fù)制、跨地域同步復(fù)制。

對(duì)于跨地域異步復(fù)制，TDMQ 的 geo-repilcation可以實(shí)現(xiàn)跨地域復(fù)制的能力，通過(guò)一些配置化手段實(shí)現(xiàn)多中心的數(shù)據(jù)同步，減少了業(yè)務(wù)的負(fù)擔(dān)。

對(duì)于跨地域異步復(fù)制， 由于TDMQ 采用計(jì)算存儲(chǔ)分離的架構(gòu)，存儲(chǔ)是 bookie 集群組成，Broker 在寫(xiě)消息時(shí)，首先會(huì)從 bookie 中選出一組 bookie 節(jié)點(diǎn)，選取的策略可以根據(jù) bookie 部署的機(jī)架信息，由同城和跨城節(jié)點(diǎn)組成，其中機(jī)架信息可以通過(guò)配置進(jìn)行指定。這樣就可以保證副本是在多地存儲(chǔ)，在等待ack策略上，可以根據(jù)機(jī)架信息保證等待異地的 ack 應(yīng)答，可以實(shí)現(xiàn)真正意義上跨城容災(zāi)。

與此同時(shí)，在保障數(shù)據(jù)高一致方面，劉德志也為直播間的聽(tīng)眾詳細(xì)剖析了TDMQ 的一致性模型，在DB數(shù)據(jù)同步上也有很多創(chuàng)新的實(shí)踐。目前TDMQ還處在騰訊云的內(nèi)測(cè)階段，主要應(yīng)用于騰訊計(jì)費(fèi)等場(chǎng)景下，未來(lái)也將開(kāi)放到更多應(yīng)用場(chǎng)景下使用。

前沿探索：騰訊云數(shù)據(jù)庫(kù)自治服務(wù)最佳實(shí)踐

騰訊云數(shù)據(jù)庫(kù)高級(jí)產(chǎn)品經(jīng)理劉迪為大家分享了騰訊云在數(shù)據(jù)庫(kù)自治方面的最新實(shí)踐。他先從數(shù)據(jù)庫(kù)自治的演進(jìn)開(kāi)始講起，為大家娓娓道來(lái)數(shù)據(jù)庫(kù)運(yùn)維各個(gè)發(fā)展階段的面貌和特點(diǎn)。

從數(shù)據(jù)庫(kù)技術(shù)誕生伊始，數(shù)據(jù)庫(kù)運(yùn)維經(jīng)歷了從石器時(shí)代、工具時(shí)代、專(zhuān)家時(shí)代，再到如今智能時(shí)代這四個(gè)階段。從依靠純手工運(yùn)維到沉淀腳本和工具提升人工效率，再到出現(xiàn)統(tǒng)一的數(shù)據(jù)庫(kù)自動(dòng)化運(yùn)維管理平臺(tái)。

在云數(shù)據(jù)庫(kù)時(shí)代，雖然可以便利使用云上的各種托管能力，但是上云之后也相應(yīng)產(chǎn)生了黑盒現(xiàn)象。在資源評(píng)估、故障診斷恢復(fù)、數(shù)據(jù)庫(kù)性能優(yōu)化等方面對(duì)數(shù)據(jù)庫(kù)運(yùn)維同學(xué)提出了新的挑戰(zhàn)。

有沒(méi)有一種技術(shù)能夠?qū)?shù)據(jù)庫(kù)能力和專(zhuān)家經(jīng)驗(yàn)的共享，把之前已經(jīng)積累好、沉淀好的數(shù)據(jù)庫(kù)處理經(jīng)驗(yàn)自動(dòng)化，能夠讓數(shù)據(jù)庫(kù)自己處理一些簡(jiǎn)單的問(wèn)題，不需要人工干預(yù)。面對(duì)復(fù)雜問(wèn)題的時(shí)候能夠提供非常充足的建議，通過(guò)專(zhuān)家的干預(yù)進(jìn)行最后的處理呢？數(shù)據(jù)庫(kù)自治由此誕生。

經(jīng)過(guò)多年的技術(shù)打磨，去年騰訊對(duì)外發(fā)布的一款強(qiáng)大的數(shù)據(jù)庫(kù)自治產(chǎn)品 —— 數(shù)據(jù)庫(kù)智能管家DBbrain。DBbrain 提供的自治服務(wù)涵蓋三個(gè)方面：

1. 性能優(yōu)化

利用機(jī)器學(xué)習(xí)、大數(shù)據(jù)手段快速?gòu)?fù)制資深數(shù)據(jù)庫(kù)管理員的成熟經(jīng)驗(yàn)，將大 量數(shù)據(jù)庫(kù)問(wèn)題的診斷優(yōu)化工作自動(dòng)化，服務(wù)于云上和云下企業(yè)。

2. 安全防護(hù)

提供從用戶(hù)行為安全、SQL 安全到數(shù)據(jù)存儲(chǔ)加密安全等多項(xiàng)數(shù)據(jù)安全服務(wù)， 公安部認(rèn)證的等保合規(guī)性安全產(chǎn)品。

3. 數(shù)據(jù)庫(kù)管理

提供免安裝、免運(yùn)維、即開(kāi)即用、多種數(shù)據(jù)庫(kù)類(lèi)型與多種環(huán)境統(tǒng)一的 web 數(shù)據(jù)庫(kù)管理終端。

DBbrain 提供了宏觀用戶(hù)級(jí)別的監(jiān)控和告警，讓用戶(hù)第一時(shí)間內(nèi)能夠發(fā)現(xiàn)故障、發(fā)現(xiàn)異常。監(jiān)控頁(yè)面的易讀性非常高，用戶(hù)不需要從幾百個(gè)監(jiān)控指標(biāo)中找出哪個(gè)有問(wèn)題，DBbrain 會(huì)幫助用戶(hù)篩選、聚合出相同問(wèn)題觸發(fā)的監(jiān)控指標(biāo)。

DBbrain還提供了7*24小時(shí)異常診斷、異?？蚣茉\斷、SQL優(yōu)化、數(shù)據(jù)庫(kù)審計(jì)與分析、數(shù)據(jù)庫(kù)健康評(píng)估策略解讀、自動(dòng)性能優(yōu)化系統(tǒng) CDBTune等能力。同時(shí)提供基于 cost 的分析引擎，能夠在用戶(hù)沒(méi)有執(zhí)行優(yōu)化建議之前就把優(yōu)化的結(jié)果告訴大家，從而在優(yōu)化前就可以清楚的看到預(yù)期的優(yōu)化效果。

對(duì)于容易被運(yùn)維同學(xué)忽略的數(shù)據(jù)庫(kù)安全防護(hù)問(wèn)題，DBbrain 也提供了合規(guī)審計(jì)、安全治理、數(shù)據(jù)脫敏三大功能，為用戶(hù)提供更穩(wěn)定安全的數(shù)據(jù)庫(kù)服務(wù)。

劉迪還結(jié)合了行業(yè)客戶(hù)的案例為大家分享DBbrain在實(shí)際生產(chǎn)場(chǎng)景下的應(yīng)用。談到數(shù)據(jù)庫(kù)自治的未來(lái)展望，劉迪表示：“數(shù)據(jù)庫(kù)自治在未來(lái)應(yīng)該會(huì)朝著自愈、自?xún)?yōu)化的方向發(fā)展，不僅能自主調(diào)節(jié)索引建議，還可以自主創(chuàng)建索引，自動(dòng)進(jìn)行識(shí)別、添加和刪除，并且在未來(lái)還應(yīng)該可以自動(dòng)對(duì)執(zhí)行計(jì)劃進(jìn)行回歸修正，優(yōu)化策略下沉與引擎融合，讓用戶(hù)需要干預(yù)的越來(lái)越少，提供的優(yōu)化服務(wù)越來(lái)越多”。

如何成為一名優(yōu)秀數(shù)據(jù)工匠？

本期沙龍的壓軸專(zhuān)場(chǎng)請(qǐng)來(lái)了三位大咖，云和恩墨首席架構(gòu)師 & 騰訊云最具價(jià)值專(zhuān)家TVP蓋國(guó)強(qiáng)、Elastic中文社區(qū)深圳負(fù)責(zé)人 & 騰訊云最具價(jià)值專(zhuān)家TVP楊振濤、騰訊數(shù)據(jù)庫(kù)負(fù)責(zé)人丁奇，他們就「如何成為一名優(yōu)秀數(shù)據(jù)工匠」這一話題延伸出發(fā)，展開(kāi)了熱烈的探討。

三位大咖先從自身成長(zhǎng)經(jīng)歷出發(fā)，表達(dá)了他們自身對(duì)數(shù)據(jù)工匠的感受和理解，雖然在專(zhuān)長(zhǎng)領(lǐng)域和成長(zhǎng)經(jīng)歷上有所差別，但是源自相同的熱帶和堅(jiān)持，他們最后也都達(dá)到了各自領(lǐng)域內(nèi)的高點(diǎn)。

在談到當(dāng)前數(shù)據(jù)技術(shù)的發(fā)展現(xiàn)狀和趨勢(shì)這一話題時(shí)，蓋國(guó)強(qiáng)老師首先談了自己的看法。

他首先認(rèn)為國(guó)產(chǎn)數(shù)據(jù)庫(kù)必將崛起，因?yàn)榉植际綌?shù)據(jù)庫(kù)已然成為趨勢(shì)，加上中國(guó)擁有龐大的用戶(hù)市場(chǎng)，所以國(guó)產(chǎn)數(shù)據(jù)庫(kù)實(shí)現(xiàn)彎道超車(chē)獲得領(lǐng)先優(yōu)勢(shì)不是沒(méi)有可能；第二，云數(shù)據(jù)庫(kù)成為新的潮流；第三，數(shù)據(jù)庫(kù)自治也是大勢(shì)所趨，數(shù)據(jù)庫(kù)未來(lái)一定是會(huì)更加自動(dòng)化和智能化。最后不由感嘆道：“很不幸，未來(lái)可能不太需要傳統(tǒng)意義上的DBA了”。

對(duì)于延伸出來(lái)的這個(gè)話題，丁奇顯然來(lái)了興趣。他首先對(duì)國(guó)強(qiáng)老師的這一觀點(diǎn)表示了認(rèn)同，但同時(shí)也有新的理解。他認(rèn)為未來(lái)DBA仍然還會(huì)存在，但是形態(tài)會(huì)發(fā)生改變。在數(shù)據(jù)庫(kù)發(fā)展的早期階段，DBA其實(shí)對(duì)業(yè)務(wù)有很強(qiáng)的主導(dǎo)性，因?yàn)樗麄兞私鈹?shù)據(jù)庫(kù)的業(yè)務(wù)架構(gòu)。隨著云化和自治化的發(fā)展，將DBA從基礎(chǔ)的運(yùn)維中解放出來(lái)，重新回到原始的價(jià)值層面，也即了解和主導(dǎo)業(yè)務(wù)架構(gòu)。

對(duì)于數(shù)據(jù)庫(kù)發(fā)展趨勢(shì)的問(wèn)題，楊振濤保持著樸素的觀點(diǎn)，他認(rèn)為數(shù)據(jù)庫(kù)的發(fā)展暗含著合久必分，分久必合的態(tài)勢(shì)。從最早期一個(gè)數(shù)據(jù)庫(kù)搞定業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)的讀寫(xiě)需求，到現(xiàn)在基于不同業(yè)務(wù)對(duì)數(shù)據(jù)讀取的差異化要求，采用多種產(chǎn)品組合。同時(shí)，不同數(shù)據(jù)庫(kù)產(chǎn)品也在不斷演化，進(jìn)入了百家爭(zhēng)鳴的階段。包括國(guó)產(chǎn)數(shù)據(jù)庫(kù)的崛起，更加促進(jìn)了這個(gè)數(shù)據(jù)時(shí)代的多元化。從系統(tǒng)論來(lái)說(shuō)，多元化越強(qiáng)系統(tǒng)蘊(yùn)含的熵、進(jìn)化的能力也是越大的。 如果市場(chǎng)上永遠(yuǎn)是三巨頭，就可能不是一個(gè)很健康的發(fā)展趨勢(shì)。

對(duì)于如何成為一名數(shù)據(jù)工匠這一話題，三位老師也給出了自己的答案。

蓋國(guó)強(qiáng)結(jié)合自己20年來(lái)的工作學(xué)習(xí)經(jīng)驗(yàn)，提煉出來(lái)8字真言：興趣、勤奮、堅(jiān)持、方法。興趣是你克服苦難，堅(jiān)持下去的源頭；勤奮是要保持對(duì)自身的高要求，付出更多的時(shí)間精力來(lái)做這件事；堅(jiān)持是不輕易調(diào)整方向，學(xué)透了某一點(diǎn)再拓展不遲；方法是要靈活借鑒他人的成功經(jīng)驗(yàn)補(bǔ)足自身。堅(jiān)持這四點(diǎn)，相信每個(gè)人都能做出優(yōu)秀的成績(jī)。

丁奇也同樣分享了他自己的觀點(diǎn)，他認(rèn)為學(xué)習(xí)數(shù)據(jù)技術(shù)最好從點(diǎn)到線，這樣更能獲得點(diǎn)滴的成就感，在閱讀繁復(fù)浩大的技術(shù)圖書(shū)或者手冊(cè)的時(shí)候，應(yīng)當(dāng)先把骨架弄清楚，然后有針對(duì)性地學(xué)習(xí)。對(duì)于想要在數(shù)據(jù)技術(shù)更進(jìn)一步的同學(xué)，丁奇建議大家應(yīng)該有意識(shí)的增強(qiáng)自己的成本意識(shí)、性能意識(shí)，以及安全意識(shí)。

楊振濤認(rèn)為在成長(zhǎng)為數(shù)據(jù)工匠的路上，我們需要一直貫徹專(zhuān)業(yè)主義，對(duì)于認(rèn)為正確的事情一定要堅(jiān)定不移的做下去，專(zhuān)業(yè)度決定了你最終能走到哪一步。另外楊振濤也鼓勵(lì)技術(shù)人員應(yīng)該具有利他心理，多多分享自己的知識(shí)和經(jīng)驗(yàn)。在成就他人的同時(shí)，往往也能完善自身知識(shí)體系，甚至還能收獲新的認(rèn)知，是一件非常值得投入的事情。

在直播的后半段，三位老師同樣解答了直播間彈幕提出的諸多問(wèn)題。

此次技術(shù)沙龍涵蓋8場(chǎng)深受大家喜愛(ài)的數(shù)據(jù)專(zhuān)題，邀請(qǐng)到10位行業(yè)一線大咖分享實(shí)踐干貨。沙龍活動(dòng)期間不斷收到來(lái)自直播間觀眾、技術(shù)社群中傳遞的熱烈討論和提問(wèn)，收獲了一片稱(chēng)贊。

正是源于同樣的熱愛(ài)，讓我們?cè)谶@段時(shí)間相約在云+社區(qū)沙龍直播間，一齊成長(zhǎng)進(jìn)步。國(guó)內(nèi)外數(shù)據(jù)技術(shù)日新月異，每天都在發(fā)生巨大的變革，但無(wú)論什么時(shí)代，先進(jìn)的知識(shí)始終是優(yōu)質(zhì)生產(chǎn)力，堅(jiān)持、熱愛(ài)的開(kāi)發(fā)者們永遠(yuǎn)是推動(dòng)技術(shù)發(fā)展、維持技術(shù)生態(tài)繁榮的最根本因素。感謝國(guó)內(nèi)的開(kāi)發(fā)者，也感謝騰訊云云 + 社區(qū)能為廣大開(kāi)發(fā)者提供這樣一個(gè)交流協(xié)作的平臺(tái)。騰訊云愿積極擁抱開(kāi)發(fā)者，愿與開(kāi)發(fā)者攜手一起，共建屬于數(shù)據(jù)技術(shù)更先進(jìn)的未來(lái)。