分布式存儲(chǔ)系統(tǒng)從整體架構(gòu)的角度看大同小異，實(shí)現(xiàn)起來卻困難重重。自主研發(fā)的 分布式存儲(chǔ)系統(tǒng)往往需要兩到三年才能逐步成熟起來，其中的難點(diǎn)在于如何把系統(tǒng)做穩(wěn)定。系統(tǒng)開發(fā)過程中涉及架構(gòu)設(shè)計(jì)、關(guān)鍵算法實(shí)現(xiàn)、質(zhì)量控制、團(tuán)隊(duì)成員成長、線上運(yùn)維、應(yīng)用合作等，任何一個(gè)環(huán)節(jié)出現(xiàn)問題都可能導(dǎo)致整個(gè)項(xiàng)目失敗。

本文章介紹通用分布式存儲(chǔ)系統(tǒng)發(fā)展路徑。

通用分布式存儲(chǔ)系統(tǒng)不是設(shè)計(jì)出來的，而是隨著應(yīng)用需求不斷發(fā)展起來的。它來源于具體業(yè)務(wù)，又具有一定的通用性，能夠解決一大類問題。通用分布式存儲(chǔ)平臺(tái)的優(yōu)勢 在于規(guī)模效應(yīng)，等到平臺(tái)的規(guī)模超過某個(gè)平衡點(diǎn)時(shí)，成本優(yōu)勢將會(huì)顯現(xiàn)。

通用分布式存儲(chǔ)平臺(tái)主要有兩種成長模式：

• 公司高層制定戰(zhàn)略大力發(fā)展通用平臺(tái)。這種模式前期發(fā)展會(huì)比較順利，但是往往會(huì)因?yàn)殡x業(yè)務(wù)太遠(yuǎn)而在中期暴露大量平臺(tái)本身的問題。
• 來源于具體業(yè)務(wù)并將業(yè)務(wù)需求通用化。這種模式會(huì)面臨更大的技術(shù)挑戰(zhàn)，但是團(tuán)隊(duì)成員反而能夠在這個(gè)過程中得到更多的鍛煉。

第2種發(fā)展模式相對更加曲折，大致需要經(jīng)歷如下幾個(gè)階段。

起步：解決特定問題

在起步階段，需要解決業(yè)務(wù)提出的特殊需求，這些特殊需求是以前的系統(tǒng)無法解決或者解決得不太好的。例如，OceanBase 系統(tǒng)起步時(shí)需要解決淘寶收藏夾業(yè)務(wù)提出的兩張大表左連接問題。起步期的挑戰(zhàn)主要在于技術(shù)挑戰(zhàn)，團(tuán)隊(duì)成員能夠在這個(gè)階段獲得較大的技術(shù)成長。

求生存：應(yīng)用為王

為了證明平臺(tái)的通用性，需要接入大量的業(yè)務(wù)。如果沒有公司戰(zhàn)略支持，這個(gè)階段將面臨“雞生蛋還是蛋生雞”的問題，沒有業(yè)務(wù)就無法完善平臺(tái)，平臺(tái)不完善就無法吸引更多業(yè)務(wù)接入。在這個(gè)階段，優(yōu)先級(jí)***的事情是接入合適的應(yīng)用并把應(yīng)用服務(wù)好，形成良好的口碑。求生存階段還將面臨一個(gè)來自團(tuán)隊(duì)內(nèi)部的挑戰(zhàn)，團(tuán)隊(duì)成員缺乏起步期的新鮮感，部分成員工作熱情會(huì)有所降低。這個(gè)階段需要明確團(tuán)隊(duì)的愿景，耐住寂寞,重視每個(gè)細(xì)節(jié)。

平臺(tái)化：提升易用性、可運(yùn)維性

當(dāng)應(yīng)用數(shù)量積累到一定程度后，就需要花大力氣提升易用性和可運(yùn)維性了。易用性的關(guān)鍵在于采用標(biāo)準(zhǔn)的使用接口，兼容應(yīng)用以前的使用方式，從而降低學(xué)習(xí)成本和應(yīng)用改造成本，提升可運(yùn)維性要求將系統(tǒng)內(nèi)部更多狀態(tài)暴露給運(yùn)維人員并開發(fā)方便的部署、監(jiān)控、運(yùn)維工具。

成熟期：持續(xù)不斷地優(yōu)化

分布式存儲(chǔ)系統(tǒng)步入成熟期后，應(yīng)用推廣將會(huì)比較順利。開發(fā)團(tuán)隊(duì)在這個(gè)階段做的多情主要是持續(xù)不斷地優(yōu)化系統(tǒng)，并根據(jù)應(yīng)用的需求補(bǔ)充一些功能支持。隨著平合規(guī)模不斷增長以及優(yōu)化工作不斷深入，平臺(tái)的規(guī)模效應(yīng)將顯現(xiàn)，平臺(tái)取得成功。

通用存儲(chǔ)平臺(tái)發(fā)展過程中困難重重，要求團(tuán)隊(duì)成員有強(qiáng)烈的信念和長遠(yuǎn)的理想，能夠耐得住寂寞。另外，系統(tǒng)發(fā)展過程中需要保持對技術(shù)細(xì)節(jié)的關(guān)注，每個(gè)實(shí)現(xiàn)細(xì)節(jié)問題都可能導(dǎo)致用戶抱怨，甚至引起線上故障。

從公司的角度看，是否發(fā)展通用分布式存儲(chǔ)平臺(tái)取決于公司的規(guī)模。對于小型互聯(lián)網(wǎng)公司（員工數(shù)小于100人），那么，應(yīng)該更多地選擇廣泛使用的存儲(chǔ)技術(shù)，例如MySQL開源關(guān)系數(shù)據(jù)庫；對于中型互聯(lián)網(wǎng)公司（員工數(shù)在100到1000人之間）。那么，可以組合使用各種SQL或NoSQL存儲(chǔ)技術(shù)，改進(jìn)開源產(chǎn)品或者基于開源產(chǎn)品做二次開發(fā)，例如基于MySQL數(shù)據(jù)庫做二次開發(fā)，實(shí)現(xiàn)7.1節(jié)中的MySQL Sharding架構(gòu)；對于大型互聯(lián)網(wǎng)公司（員工數(shù)超過1000人），那么，往往需要自主研發(fā)核心存儲(chǔ)技術(shù)，包括分布式架構(gòu)、存儲(chǔ)引掌等。通用分布式存儲(chǔ)系統(tǒng)研發(fā)周期很長，系統(tǒng)架構(gòu)需要經(jīng)過多次選代，團(tuán)隊(duì)成員也需要通過研發(fā)過程來獲得成長，因此，這種事情要么不做，要做就務(wù)必堅(jiān)持到底。