云計算架構(gòu)師峰會:淘寶千峰談Fourinone
原創(chuàng)2012年10月25日~26日51CTO在北京工人體育場隆重舉行2012云計算架構(gòu)師峰會。當IT技術(shù)和互聯(lián)網(wǎng)的發(fā)展催生出新的業(yè)務(wù)模式,當云計算作為一種新型的服務(wù)交付模式被越來越多的關(guān)注和意欲采用,驚喜、新奇、困惑、躊躇……這些情緒或許您正在擁有!
【51CTO獨家報道】不必苦惱,眼下有解。51CTO傳媒緊跟時代發(fā)展的潮流,站在技術(shù)和模式變革的前沿,洞悉服務(wù)轉(zhuǎn)型模式及架構(gòu)搭建的困惑,51CTO于2012年10月25日~26日在北京工人體育場舉辦“2012云計算架構(gòu)師峰會”將為您搭建一個與工信部領(lǐng)導、業(yè)內(nèi)知名專家、學者及具有實戰(zhàn)經(jīng)驗的資深架構(gòu)師溝通、交流和互動的平臺。在這里,您得到的不僅僅是一場精神食糧的饕餮盛宴、最新IT技術(shù)發(fā)展和實踐的經(jīng)驗交流、國內(nèi)外最新的技術(shù)動態(tài)和研究成果,同時更是頭腦風暴、思想火花的強烈碰撞。以下是51CTO.com帶來的最新報道:
淘寶分布式并行計算四合一框架Fourinone
分享人:彭淵(花名:千峰),開源軟件作者與資深技術(shù)人士,現(xiàn)在淘寶網(wǎng)任高級專家,從事互聯(lián)網(wǎng)核心技術(shù)研究。之前在金蝶總體架構(gòu)部任SOA架構(gòu)師,負責設(shè)計ESB.從業(yè)java技術(shù)領(lǐng)域十多年,撰寫過多款開源軟件,擁有軟件著作權(quán)的代表作有:BS系列軟件(包括財務(wù)進銷存、OA產(chǎn)品、CRM等)、FMS視頻會議、Flash網(wǎng)站生成軟件.《淘寶分布式并行計算四合一框架Fourinone》是云計算方面作品,目前已經(jīng)通過壓測并用于淘寶業(yè)務(wù)場景,wordcount和排序等經(jīng)典指標均優(yōu)于hadoop。
在本次云計算架構(gòu)師峰會上千峰首先為大家介紹了分布式核心技術(shù)。
分布式核心技術(shù)分為:分布式并行計算、分布式緩存、一致性、消息隊列、分布式文件系統(tǒng)。是大型互聯(lián)網(wǎng)應(yīng)用背后的核心技術(shù),是從業(yè)互聯(lián)網(wǎng)技術(shù)的工程師最關(guān)心和想掌握的,目前廣泛應(yīng)用于搜索、云計算、大數(shù)據(jù)等領(lǐng)域。
并且千峰在會上為大家從最簡單的最簡單的master-slave計算結(jié)構(gòu)開始展示了淘寶的Fourinone分布式計算整體架構(gòu)。并且用“工頭”“倉庫”與“工人”對分布式計算作出了形象的比喻。也詳細的講解了Fourinone分布式計算的監(jiān)控環(huán)節(jié)與監(jiān)控過程。
會中千峰為大家作出了Fourinone與hadoop的對比,最后得出Hadoop并不是為了追求一個并行計算的框架而設(shè)計,提供快捷和靈活的計算方式去服務(wù)各種計算場景,它更多的是一個分布式文件系統(tǒng),提供文件數(shù)據(jù)的存儲和查詢,它的map/reduce更傾向于提供并行計算方式進行文件數(shù)據(jù)查詢。而fourinone相反。
最后千峰講到fourinone并不提供一個分布式存儲系統(tǒng),比如文件數(shù)據(jù)的導入導出、拆分存儲、負載均衡,備份容災(zāi)等存儲功能,丌過開發(fā)人員可以利用這些api去設(shè)計和實現(xiàn)這些功能,用來滿足自己的特定需求。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續(xù)我們還有更加精彩的獨家報道,敬請關(guān)注。