?昨天的文章里最后我簡(jiǎn)單聊了聊數(shù)據(jù)庫(kù)測(cè)試的事情，最近也有很多用戶十分關(guān)心數(shù)據(jù)庫(kù)測(cè)試的問(wèn)題，因?yàn)樗麄兌荚陉P(guān)心信創(chuàng)數(shù)據(jù)庫(kù)如何選型的事情。前幾天我和一個(gè)客戶聊到信創(chuàng)數(shù)據(jù)庫(kù)選型的時(shí)候，我的觀點(diǎn)是對(duì)于國(guó)產(chǎn)數(shù)據(jù)庫(kù)選型，目前一些國(guó)測(cè)的測(cè)試報(bào)告參考價(jià)值并不大。

數(shù)據(jù)庫(kù)基準(zhǔn)測(cè)試是十分困難的，因?yàn)樽罱@十幾年我也幫助客戶組織過(guò)幾次基準(zhǔn)測(cè)試，其中的苦辣，心中自知。目前很多數(shù)據(jù)庫(kù)廠商都以TPMC測(cè)試數(shù)據(jù)作為其數(shù)據(jù)庫(kù)性能卓越的證據(jù)。不過(guò)事實(shí)上，TPC-C測(cè)試是十分復(fù)雜的，并不是我們?cè)谧约旱臏y(cè)試環(huán)境中跑幾下子BENCHMARK工具就能得到結(jié)果的。BENCHMARK測(cè)試是成本極高的測(cè)試，需要對(duì)軟硬件，網(wǎng)絡(luò)等環(huán)境做十分細(xì)致的優(yōu)化，才能夠跑出好的效果。其結(jié)果的有效性也是有一套評(píng)估標(biāo)準(zhǔn)的，延時(shí)的標(biāo)準(zhǔn)差，P90/P95/P99位置的延時(shí)都是考察某個(gè)TPC-C測(cè)試結(jié)果是否有效的重要因素。這些都不是隨便某個(gè)用戶或者數(shù)據(jù)庫(kù)廠商自己就能夠完成的。而從另外一個(gè)方面來(lái)說(shuō)，用戶的應(yīng)用系統(tǒng)能夠在某個(gè)基礎(chǔ)設(shè)施上跑出好的效果，TPC-C的高低實(shí)際上占的比重并不高。比如說(shuō)并發(fā)能力，我曾經(jīng)和一個(gè)商業(yè)銀行的主管算過(guò)一筆賬，他們目前的系統(tǒng)高峰期平均每秒交易量大約1000筆，折算為TPMC大約是6萬(wàn)，哪怕未來(lái)5年提升5倍，也就是30萬(wàn)TPMC?，F(xiàn)在的一臺(tái)國(guó)產(chǎn)2路服務(wù)器，跑隨便哪個(gè)國(guó)產(chǎn)數(shù)據(jù)庫(kù)，都可以輕松達(dá)到100萬(wàn)TPMC左右，因此對(duì)于大多數(shù)非互聯(lián)網(wǎng)業(yè)務(wù)，TPMC都不是問(wèn)題。

數(shù)據(jù)庫(kù)測(cè)試是十分復(fù)雜與高成本的事情，要想比較公正的做好基準(zhǔn)測(cè)試并不容易。十多年前我?guī)椭粋€(gè)客戶對(duì)比X86服務(wù)器與小型機(jī)的效能，做過(guò)一次至強(qiáng)服務(wù)器與IBM/HP/ORACLE等的小型機(jī)的對(duì)比測(cè)試。當(dāng)時(shí)用的是用戶自有數(shù)據(jù)與測(cè)試用例。為了保證公正性，我們?cè)试S廠家做一定程度的優(yōu)化，但是也頒布了十分嚴(yán)格的限制，比如不能使用異步提交，不能隨意篡改數(shù)據(jù)，不能把REDO放到內(nèi)存文件系統(tǒng)等。因?yàn)樯婕暗诫S后的集采，因此各個(gè)廠商也都十分重視，我甚至在一個(gè)廠商的工作區(qū)里發(fā)現(xiàn)了一本我?guī)啄昵皩懙摹禣RACLE優(yōu)化日記》，看樣子這哥們是準(zhǔn)備現(xiàn)學(xué)現(xiàn)用了。

實(shí)際上那時(shí)候X86服務(wù)器已經(jīng)表現(xiàn)出了極其強(qiáng)勁的能力了，一臺(tái)10萬(wàn)塊錢不到的服務(wù)器，基本上可以和2-300萬(wàn)的小型機(jī)PK性能了。INTEL的哥們也不太懂?dāng)?shù)據(jù)庫(kù)優(yōu)化，裝好系統(tǒng)，調(diào)完基本參數(shù)，用了不到一天就完成了我們安排的3天的測(cè)試工作。而小型機(jī)廠商都十分小心，仔細(xì)地優(yōu)化每個(gè)測(cè)試用例。在分析測(cè)試數(shù)據(jù)的時(shí)候，我發(fā)現(xiàn)某個(gè)廠商的一組測(cè)試用例的結(jié)果有些異常，其他測(cè)試數(shù)據(jù)，小型機(jī)的結(jié)果與X86基本相當(dāng)，甚至有些用例還略差，不過(guò)這組測(cè)試數(shù)據(jù)，小型機(jī)完勝X86，也完勝其他小型機(jī)廠商。從我們的數(shù)據(jù)完整性校驗(yàn)?zāi)_本中，也沒(méi)有發(fā)現(xiàn)數(shù)據(jù)被篡改的情況。我突然想起了那本《Oracle優(yōu)化日記》，于是讓測(cè)試小組去查一下幾張核心表的索引的CLUSTER FACTORY值，發(fā)現(xiàn)其中一張表的索引的CLUSTER FACTORY與其他企業(yè)的測(cè)試環(huán)境不同。原來(lái)這組測(cè)試用例里大多是用了索引范圍掃描，為了提高性能，這個(gè)廠商把表中的數(shù)據(jù)順序做了重排。這實(shí)際上是《Oracle優(yōu)化日記》里介紹的一個(gè)優(yōu)化小技巧，看來(lái)這哥們真的活學(xué)活用了。再后來(lái)我們的測(cè)試用例里就把記錄順序也作為了校驗(yàn)的一項(xiàng)內(nèi)容。

數(shù)據(jù)庫(kù)基準(zhǔn)測(cè)試是測(cè)試團(tuán)隊(duì)與參測(cè)團(tuán)隊(duì)魔高一尺，道高一丈的較量，如果測(cè)試團(tuán)隊(duì)的技術(shù)能力不如參測(cè)團(tuán)隊(duì)，那么測(cè)試數(shù)據(jù)的準(zhǔn)確性就很難保證了?，F(xiàn)在的數(shù)據(jù)庫(kù)測(cè)試?yán)锒加写a自主率測(cè)試這一項(xiàng)，很多企業(yè)在做數(shù)據(jù)庫(kù)選型的時(shí)候也十分看中這一點(diǎn)。我所知道的很多基于開(kāi)源代碼開(kāi)發(fā)的數(shù)據(jù)庫(kù)產(chǎn)品，在一些國(guó)測(cè)中也獲得了超過(guò)90%甚至95%的代碼自主率測(cè)試結(jié)果。這讓我十分疑惑，直到我真正看到了一份測(cè)試報(bào)告，才恍然大悟。有個(gè)基于某開(kāi)源代碼開(kāi)發(fā)的數(shù)據(jù)庫(kù)產(chǎn)品，代碼自主率測(cè)試結(jié)果是96.3%，不過(guò)仔細(xì)閱讀報(bào)告才發(fā)現(xiàn)，送測(cè)代碼總量為93萬(wàn)行，送測(cè)的模塊里居然沒(méi)有SQL引擎，優(yōu)化器等，都是一些外圍模塊。但是作為一般的數(shù)據(jù)庫(kù)選型的用戶是看不到詳細(xì)的報(bào)告的，我們只能看到公布的96.3%的代碼自主率。這種測(cè)試也讓這些測(cè)試變得毫無(wú)意義。當(dāng)然我個(gè)人的觀點(diǎn)，代碼自主率也并不是一個(gè)十分有意義的指標(biāo)。

實(shí)際上用戶做數(shù)據(jù)庫(kù)選型更需要了解的是某個(gè)數(shù)據(jù)庫(kù)產(chǎn)品到底好不好用，在某個(gè)應(yīng)用場(chǎng)景是否能夠很好的支撐。比如我的財(cái)務(wù)系統(tǒng)要用國(guó)產(chǎn)數(shù)據(jù)庫(kù)替換Oracle，那么我想知道用友、金蝶的產(chǎn)品在某個(gè)數(shù)據(jù)庫(kù)上跑的效果如何。數(shù)據(jù)庫(kù)廠商不會(huì)提供有價(jià)值的數(shù)據(jù)，金蝶用友官方也不會(huì)告訴你這些數(shù)據(jù)。我們的國(guó)測(cè)部門能不能組織國(guó)產(chǎn)數(shù)據(jù)庫(kù)與國(guó)產(chǎn)的套裝軟件廠家一起，做一些這方面的測(cè)試，并把測(cè)試結(jié)果公布出來(lái)呢？如果能夠公布這些測(cè)試數(shù)據(jù)，那么對(duì)于用戶做國(guó)產(chǎn)數(shù)據(jù)庫(kù)選型來(lái)說(shuō)，其價(jià)值遠(yuǎn)遠(yuǎn)超出現(xiàn)有的所有測(cè)試。如果我們想了解數(shù)據(jù)庫(kù)對(duì)于復(fù)雜SQL的支持能力，那么從ERP系統(tǒng)的一些關(guān)鍵模塊的性能與Oracle的對(duì)比就可以清楚的了解某個(gè)數(shù)據(jù)庫(kù)產(chǎn)品對(duì)于復(fù)雜的SQL的支持情況。如果要了解高并發(fā)環(huán)境下并發(fā)寫入能力，那么某些物聯(lián)網(wǎng)套裝軟件的測(cè)試結(jié)果就很有參考價(jià)值了。?