2013年4月26日-27日，由51CTO傳媒集團(tuán)旗下WOT（World Of Tech）品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會(huì)在北京富力萬(wàn)麗酒店召開(kāi)。本次峰會(huì)將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng)，解決大規(guī)模數(shù)據(jù)引發(fā)的問(wèn)題，探索大數(shù)據(jù)基礎(chǔ)的解決方案，激發(fā)數(shù)據(jù)挖掘帶來(lái)的競(jìng)爭(zhēng)力，讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會(huì)的主辦方，將全程視頻、圖文直播報(bào)道這場(chǎng)數(shù)據(jù)的盛宴，更多內(nèi)容請(qǐng)點(diǎn)擊專(zhuān)題：2013大數(shù)據(jù)全球技術(shù)峰會(huì)。

2013大數(shù)據(jù)全球技術(shù)峰會(huì)專(zhuān)題

 　　在27日Hadoop生態(tài)系統(tǒng)及分布式架構(gòu)設(shè)計(jì)專(zhuān)場(chǎng)論壇中，Carbonite China CTO&Architech 盧億雷發(fā)表了主題為“大數(shù)據(jù)分布式系統(tǒng)并行設(shè)計(jì)與I/O優(yōu)化”的演講。演講中，盧億雷介紹了分布式并行系統(tǒng)定義，分布式并行系統(tǒng)的特點(diǎn)和分布式并行系統(tǒng)的設(shè)計(jì)，并解析了單臺(tái)機(jī)器并行設(shè)計(jì)的方法，分布式并行I/O優(yōu)化的方法和單臺(tái)機(jī)器分布式化的設(shè)想。

[[71729]] 

Carbonite China CTO&Architech 盧億雷

　　他談到，分布式并行系統(tǒng)是多個(gè)系統(tǒng)的集合，子系統(tǒng)并行的相互作用，具有很好的依賴(lài)性和透明性，它具備高可靠性、高可用性、高擴(kuò)展性、高性能和高性?xún)r(jià)比。其中，分布式并行架構(gòu)須包含WEB集群、計(jì)算集群、DFS集群和DB集群。

　　在分布式并行系統(tǒng)設(shè)計(jì)模式方面，可用主從結(jié)構(gòu)和全對(duì)等結(jié)構(gòu)，其中主從結(jié)構(gòu)更加簡(jiǎn)單有效，結(jié)構(gòu)清晰，但有單點(diǎn)失效問(wèn)題，而全對(duì)等結(jié)構(gòu)則無(wú)中心節(jié)點(diǎn)，不會(huì)出現(xiàn)單點(diǎn)失效，但很難保證數(shù)據(jù)一致性。

　　之后，盧億雷在現(xiàn)場(chǎng)分析了分布式文件系統(tǒng)、分布式服務(wù)架構(gòu)、LVS的相關(guān)案例。

　　在單臺(tái)機(jī)器并行設(shè)計(jì)方面，需要考慮CPU、內(nèi)存、磁盤(pán)、網(wǎng)卡、文件系統(tǒng)等因素。

　　分布式并行系統(tǒng)I/O優(yōu)化方面，可以從操作系統(tǒng)優(yōu)化，網(wǎng)絡(luò)I/O策略?xún)?yōu)化，緩存策略?xún)?yōu)化，同步鎖機(jī)制優(yōu)化，多路復(fù)用I/O優(yōu)化，TCP選項(xiàng)優(yōu)化、內(nèi)存操作優(yōu)化等方面考慮。

　　以上是51CTO.com記者從一線(xiàn)為您帶來(lái)的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道，敬請(qǐng)關(guān)注。