【51CTO.com原創(chuàng)稿件】由中國電子技術(shù)標(biāo)準(zhǔn)化研究院主辦、51CTO承辦的"第七屆中國云計(jì)算標(biāo)準(zhǔn)和應(yīng)用大會"于2018年1月4日至1月5日在北京成功召開。本次大會全面展示我國云計(jì)算國家標(biāo)準(zhǔn)研制工作的成果，解讀國內(nèi)云計(jì)算產(chǎn)業(yè)政策，報(bào)告云計(jì)算標(biāo)準(zhǔn)化工作的重要進(jìn)展。同時(shí)，大會還重磅發(fā)布了國家開源領(lǐng)域的標(biāo)準(zhǔn)化產(chǎn)物，分享了云計(jì)算***的技術(shù)趨勢和應(yīng)用創(chuàng)新成效，并頒發(fā)了云計(jì)算產(chǎn)品及解決方案第五批測評證書。此外，第二屆中國優(yōu)秀云計(jì)算開源案例評選結(jié)果也在大會現(xiàn)場公布。

在萬物互聯(lián)和數(shù)字化轉(zhuǎn)型蓬勃發(fā)展的時(shí)代，企業(yè)乃至整個(gè)產(chǎn)業(yè)的入云需求日漸迫切。隨著云計(jì)算產(chǎn)業(yè)配套政策的落地，云計(jì)算逐步從互聯(lián)網(wǎng)企業(yè)向傳統(tǒng)行業(yè)滲透。產(chǎn)業(yè)轉(zhuǎn)型與創(chuàng)新分論壇直擊產(chǎn)業(yè)轉(zhuǎn)型痛點(diǎn)，探討云計(jì)算服務(wù)能力如何加速傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級。
 

[[216507]]
京東公有云存儲研發(fā)總監(jiān) 張斯聰

在1月5日的云網(wǎng)安全與存儲分論壇上，京東公有云存儲研發(fā)總監(jiān)張斯聰先生為我們講解了京東云存儲的開放之路。他在演講中談到，大家在京東平時(shí)購物看到的圖片，用到的一些信息，網(wǎng)頁的資源還有曬單的信息都是存在我們京東本身的私有云存儲上的?，F(xiàn)在京東云存儲對內(nèi)部集團(tuán)已經(jīng)有物流、商城、金融、搜索、廣告、大數(shù)據(jù)還有我們京東云這方面支撐了大概1200多個(gè)業(yè)務(wù)部數(shù)據(jù)存儲的需求，現(xiàn)在公有云的業(yè)務(wù)逐漸發(fā)展，我們基于私有云面向公有云來逐漸的拓展我們自己京東的對象存儲的產(chǎn)品。

以下是演講實(shí)錄：

大家好，我是在京東公有云負(fù)責(zé)云存儲主要是對象存儲還有視頻云兩個(gè)產(chǎn)品線的，今天主要介紹一下京東云對象存儲這個(gè)產(chǎn)品，首先先簡單介紹一下我們對象存儲這個(gè)產(chǎn)品的成長之路，大家都知道京東其實(shí)本身自有的非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)都是海量的，大家在京東平時(shí)購物看到的圖片，用到的一些信息，網(wǎng)頁的資源還有曬單的信息都是存在我們京東本身的私有云存儲上的，因此我們現(xiàn)在京東云存儲對內(nèi)部集團(tuán)已經(jīng)有物流、商城、金融、搜索、廣告、大數(shù)據(jù)還有我們京東云這方面支撐了大概1200多個(gè)業(yè)務(wù)部數(shù)據(jù)存儲的需求，現(xiàn)在公有云的業(yè)務(wù)逐漸發(fā)展，我們基于私有云面向公有云來逐漸的拓展我們自己京東的對象存儲的產(chǎn)品。

整個(gè)成長之路，大概在2015年底，我們京東公有云產(chǎn)品是從私有云產(chǎn)品上誕生出來的，在2016年4月1號我們***次正式上線運(yùn)營，到今年位置從我們產(chǎn)品出身到現(xiàn)在基本上是一個(gè)高速發(fā)展的時(shí)間，大概到2018年我們系統(tǒng)會加速發(fā)展，來成為我們整個(gè)集團(tuán)重點(diǎn)推進(jìn)的項(xiàng)目，在2018年底滿足客戶的各種需求。

京東云面向國內(nèi)四個(gè)地域/六個(gè)可用區(qū)

到現(xiàn)在為止我們京東云主要在國內(nèi)四個(gè)地域六個(gè)可用區(qū)提供對外公有云服務(wù)，北方是在北京，華東是在上海和宿遷兩個(gè)地，華南是在廣州，作為一個(gè)存儲產(chǎn)品，我們公有云的存儲其實(shí)是來自于私有云這邊，產(chǎn)品性能上來說最重要的還是考慮兩個(gè)方面，一個(gè)是可靠可用性，另外一個(gè)就是易用性。首先咱們談一下可靠和可用性這方面，在我們公有云產(chǎn)品里面如何做到高可靠和高可用這方面呢，首先我們分成三個(gè)方向，首先說一下服務(wù)的部署，從服務(wù)部署上來說，京東的公有云體系分成三個(gè)層級，***大級是最左邊的區(qū)域這一檔，中間是可用區(qū)，最右邊是數(shù)據(jù)中心，一個(gè)可用區(qū)可以由多個(gè)在滿足一定條件的數(shù)據(jù)中心組成，一個(gè)區(qū)域可以由多個(gè)可用區(qū)來組成，整個(gè)公有云的產(chǎn)品也就在這三級上實(shí)現(xiàn)物理和軟件的容災(zāi)。

京東云的分級部署

在分級部署這方面，整個(gè)對象服務(wù)在可用區(qū)內(nèi)對外提供完整的服務(wù)單位，在區(qū)域里面分成左右兩塊，比如說兩個(gè)可用區(qū)，分成左右兩塊的可用區(qū)進(jìn)行部署，在一個(gè)可用區(qū)掛掉不可提供服務(wù)的時(shí)候，我們還有剩下一個(gè)可用區(qū)可以對外提供的服務(wù)，同時(shí)在一個(gè)可用區(qū)內(nèi)部我們會同時(shí)部署多套子集群來保證在一個(gè)可用區(qū)內(nèi)部部分不可用的時(shí)候，整個(gè)服務(wù)還是可用的，同時(shí)在一個(gè)子集群內(nèi)部，因?yàn)樗隙ㄓ兄行淖鰶Q策的，以及數(shù)據(jù)存儲的，我們?nèi)趸酥行墓?jié)點(diǎn)對整個(gè)服務(wù)的關(guān)鍵性的位置，我們把數(shù)據(jù)節(jié)點(diǎn)對主節(jié)點(diǎn)的依賴性做了弱化，保證中心節(jié)點(diǎn)，中心節(jié)點(diǎn)畢竟相對于整個(gè)數(shù)據(jù)的節(jié)點(diǎn)是少的，我們保證在中心節(jié)點(diǎn)不可靠的時(shí)候整個(gè)服務(wù)還是可用的。

第二檔就說在服務(wù)部署之外，我們在數(shù)據(jù)的分布上也是做了高可靠高可用比較完備的考慮的。首先整個(gè)對象存儲的服務(wù)還是在可用區(qū)以及數(shù)據(jù)機(jī)房這幾檔上分布，整個(gè)數(shù)據(jù)我們每一份數(shù)據(jù)，像剛才李旭介紹的一樣，我們至少保證三副本，最多按客戶的需求我們可以支持到幾十上百個(gè)副本的個(gè)數(shù)需求，滿足它不同的性能要求。在三個(gè)副本方面，***三個(gè)副本的時(shí)候，我們保證所有的副本是強(qiáng)一致的，所有的副本我們會跨多個(gè)故障域去分布，因?yàn)槲覀兎?wù)是對可用區(qū)提供統(tǒng)一的服務(wù)，可用區(qū)底下有不同的對區(qū)域提供服務(wù)的，一個(gè)區(qū)域底下有多個(gè)可用區(qū)，我們會盡量把數(shù)據(jù)打散在不同的機(jī)房里面來給客戶做多級別的故障率的容災(zāi)。在讀取這方面，他有內(nèi)網(wǎng)的網(wǎng)端也有外面公網(wǎng)的訪端，在內(nèi)網(wǎng)方面我們保證內(nèi)網(wǎng)的企業(yè)，請求方的讀和多數(shù)讀是一樣的，讓它在讀的時(shí)候效率更高一點(diǎn)。在公網(wǎng)企業(yè)這棉，因?yàn)椴恢烙脩舾鼉A向于哪個(gè)方面，我會保障他均勻分布在所有的可用數(shù)據(jù)中心內(nèi)。在內(nèi)網(wǎng)讀這方面，我們?yōu)榱俗尶蛻舻玫礁玫淖x取和響應(yīng)的時(shí)間，我們保證讀在優(yōu)先讀公網(wǎng)的數(shù)據(jù)。

數(shù)據(jù)損害的自愈

***，從數(shù)據(jù)部署的資源，因?yàn)槟惴?wù)不管再怎么可靠，再怎么分區(qū)域，分故障區(qū)部署，總會發(fā)生硬盤損壞，一些邏輯數(shù)字的反轉(zhuǎn)這方面的區(qū)域?qū)е鲁志没拇媸遣豢捎玫?，怎么做?shù)據(jù)損害的自愈，基本上從兩方面，首先我們要發(fā)現(xiàn)這個(gè)數(shù)據(jù)有問題，怎么發(fā)現(xiàn)呢？從持久化存儲的數(shù)據(jù)這方面，我們金融云這邊在整個(gè)底層的存儲上分成了兩塊，一塊是存在校驗(yàn)的數(shù)據(jù)，另外一部分是用戶實(shí)際的數(shù)據(jù)，我們在數(shù)據(jù)破損的發(fā)現(xiàn)上分成兩個(gè)方式，一個(gè)方式是在同步的發(fā)現(xiàn)，我們會有異步的數(shù)據(jù)破損發(fā)現(xiàn)服務(wù)，來定期的掃全量的數(shù)據(jù)，不斷的把持續(xù)持久化的數(shù)據(jù)和我們存下來的校驗(yàn)碼做比較，來發(fā)現(xiàn)用戶持久下來的數(shù)據(jù)是不是有破損有損壞或者有丟失。***在發(fā)現(xiàn)破損之后，我們必須要開始修復(fù)數(shù)據(jù)，因?yàn)閷τ脩舻臄?shù)據(jù)我們提供了至少11個(gè)可靠性和至少四個(gè)可用性的保證，在破損之后，首先我們要把副本進(jìn)行修復(fù)，比如說我們二號副本發(fā)現(xiàn)了他數(shù)據(jù)持久化的有問題，首先我們要把整個(gè)這三個(gè)副本標(biāo)記的圖標(biāo)成只讀狀態(tài)，讓他不可以對用戶修改，如果用戶修改我們會新建另外一個(gè)副本讓用戶做修改操作，同時(shí)我們上報(bào)中心結(jié)點(diǎn)，告訴中心結(jié)點(diǎn)這一份數(shù)據(jù)有問題，在用戶讀的時(shí)候也會跳過用戶數(shù)據(jù)圖，同時(shí)在破損的數(shù)據(jù)，比如說這個(gè)時(shí)候用戶希望我們給他擴(kuò)容副本提高更高的訪問要求，我們這時(shí)候因?yàn)橐呀?jīng)發(fā)現(xiàn)這個(gè)數(shù)據(jù)庫了，我們這時(shí)候不會把破損的數(shù)據(jù)作為數(shù)據(jù)源來使用，或者說去做遷移的這些處理，同時(shí)我們開始觸發(fā)一個(gè)異步修復(fù)的策略，修復(fù)策略我們首先把本機(jī)房的數(shù)據(jù)源優(yōu)先，本機(jī)房的一份副本壞了，我們在修復(fù)的時(shí)候首先從好的副本做溯源，同時(shí)復(fù)制組我們必須保證多份副本是一致的我們才認(rèn)為這次修復(fù)是一致的，如果多份副本全都破損我們這時(shí)候的修復(fù)結(jié)構(gòu)也不可靠，這時(shí)候我們會觸發(fā)另外一種更復(fù)雜的修復(fù)方式。

在硬件損壞的時(shí)候我們會遷移到其他物理機(jī)器上，同時(shí)在可靠性和可用性保證之后，我們希望用戶就像之前李旭介紹的一樣，我們希望用戶更方便，更易用的來用我們的存儲服務(wù)。在易用性這方面，因?yàn)楸緛砉性频姆?wù)就是從京東商城私有云的業(yè)務(wù)上產(chǎn)生出來的，在私有云業(yè)務(wù)我們研發(fā)的時(shí)候，它其實(shí)更傾向于內(nèi)部系統(tǒng)的一些需求，它主要區(qū)別一些功能方面的，另外一些是在成本上面的考慮，我們首先要保證可靠性，所以在存儲的時(shí)候是基本上不太計(jì)成本的，優(yōu)先保證數(shù)據(jù)的安全。在整個(gè)系統(tǒng)上，京東內(nèi)部是分兩套存儲系統(tǒng)，一套是針對圖片高訪問的存儲系統(tǒng)，另外是針對對象存儲系統(tǒng)。

公有云我們主要是考慮把業(yè)務(wù)系統(tǒng)做了整合，希望用戶只要用我們一個(gè)產(chǎn)品就能滿足各方面對存儲這方面的使用需求，在底層上我們也因?yàn)榭紤]到成本，我們同時(shí)研發(fā)了高可靠普通存儲的系統(tǒng)，還有一套低成本的訪問系統(tǒng)，同時(shí)在可靠性、可用性方面，因?yàn)槲覀兿Ｍ脩魜砀踩?、更可靠、更方便的使用我們的產(chǎn)品，我們相對于私有云京東商城內(nèi)部提供了更高的可靠性和可用性，同時(shí)滿足用戶基本使用需求之上，我們做了更多的一些成本合理性的考量。

先簡單介紹一下商城的存儲系統(tǒng)，基本上就是左邊的圖片存儲系統(tǒng)和右邊的對象存儲系統(tǒng)，在圖象存儲系統(tǒng)它是純?yōu)閳D片處理優(yōu)化的小文件存儲系統(tǒng)，在對象存儲系統(tǒng)上面他以存儲為核心的簡單對象存儲系統(tǒng)。這個(gè)系統(tǒng)其實(shí)對內(nèi)是可以滿足京東商城內(nèi)部基本的存儲方面的需求，但是對外就不OK了，在對外這方面我們整個(gè)一個(gè)方面是整合了這兩套系統(tǒng)為一個(gè)統(tǒng)一的對象存儲系統(tǒng)，第二個(gè)我們橫向擴(kuò)大了基于存儲的周邊服務(wù)和豐富用戶的使用和接入，在用戶的接入方式上我們現(xiàn)在可以讓用戶從控制盤、SDK、API以及各種第三方工具上使用存儲，就像XSKY一樣我們也使用第三方的接入?yún)f(xié)議，同時(shí)我們也有自己的接入?yún)f(xié)議。

在網(wǎng)絡(luò)傳輸上，我們京東云存儲系統(tǒng)可以作為原站讓用戶直接使用，也可以讓用戶接到第三方任何一個(gè)節(jié)點(diǎn)上提供服務(wù)，同時(shí)我們京東也有自建的CPN，要的話可能會有打包的成本更低的考慮。

在業(yè)務(wù)這方面，提供完整的對象存儲的產(chǎn)品形態(tài)，在產(chǎn)品內(nèi)部我們會有一些基本的文件、權(quán)限、用戶體系，這方面基本上以存儲產(chǎn)品為中心的服務(wù)，同時(shí)附加的還有一些圖片處理，視頻處理，主要是視頻點(diǎn)播為主的媒體這方面的處理，以及還有人臉檢測識別這方面的大數(shù)據(jù)的處理，同時(shí)京東有自己的直播系統(tǒng)，我們對直播系統(tǒng)的錄制、持久化也會有內(nèi)部優(yōu)化的接入方面的考慮。在底層持久化這方面，底層存儲分為高可靠存儲以及低頻訪問兩套存儲系統(tǒng)，低頻訪問存儲系統(tǒng)是業(yè)界比較常見的，內(nèi)部的我們會有一些，比如說源數(shù)據(jù)管理、帳單管理，圖片的日志處理以及比如說域名解析，訪問控制安全策略這方面的考慮，來做一些內(nèi)部底層支撐的系統(tǒng)。

我們基于這些完備的業(yè)務(wù)體系和系統(tǒng)架構(gòu)，我們京東云的對象存儲可以比較方便的給用戶提供整個(gè)數(shù)據(jù)上云備份的需求以及一些熱點(diǎn)數(shù)據(jù)加速分發(fā)的數(shù)據(jù)，還有一些云端的多媒體數(shù)據(jù)處理的需求，以及***我們可以保證數(shù)據(jù)高可用性以及災(zāi)備的需求，基本上用戶現(xiàn)在各種常見的和不常見的存儲需求我們京東云都是可以滿足的。

***歡迎大家來使用我們京東云的存儲服務(wù)，謝謝！

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】