淘寶分布式框架Fourinone2.0正式版發(fā)布
淘寶Fourinone2.0提供了一個(gè)4合1分布式框架和簡(jiǎn)單易用的編程api,實(shí)現(xiàn)對(duì)多臺(tái)計(jì)算機(jī)cpu,內(nèi)存,硬盤(pán)的統(tǒng)一利用,從而獲取到強(qiáng)大計(jì)算能力去解決復(fù)雜問(wèn)題。Fourinone框架提供了一系列并行計(jì)算模式(農(nóng)民工/包工頭/職介紹/手工倉(cāng)庫(kù))用于利用多機(jī)多核cpu的計(jì)算能力;提供完整的分布式緩存和小型緩存用于利用多機(jī)內(nèi)存能力;提供像操作本地文件一樣操作遠(yuǎn)程文件(訪問(wèn),并行讀寫(xiě),拆分,排它,復(fù)制,解析,事務(wù)等)用于利用多機(jī)硬盤(pán)存儲(chǔ)能力;由于多計(jì)算機(jī)物理上獨(dú)立,F(xiàn)ourinone框架也提供完整的分布式協(xié)同和鎖以及簡(jiǎn)化MQ功能,用于實(shí)現(xiàn)多機(jī)的協(xié)作和通訊。
Fourinone 2.0新增功能:
一、提供了對(duì)分布式文件的便利操作, 將集群中所有機(jī)器的硬盤(pán)資源利用起來(lái),通過(guò)統(tǒng)一的fttp文件路徑訪問(wèn),如:
windows:fttp://v020138.sqa.cm4/d:/data/a.log
linux:fttp://v020138.sqa.cm4/home/user/a.log
比如以這樣的方式讀取遠(yuǎn)程文件:
FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");
fa.getFttpReader().readAll();
提供對(duì)集群文件的操作支持,包括:
1、元數(shù)據(jù)訪問(wèn),添加刪除,按塊拆分, 高性能并行讀寫(xiě),排他讀寫(xiě)(按文件部分內(nèi)容鎖定),隨機(jī)讀寫(xiě),集群復(fù)制等
2、對(duì)集群文件的解析支持(包括按行,按分割符,按最后標(biāo)識(shí)讀?。?br style="PADDING-BOTTOM: 0px; MARGIN: 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; PADDING-TOP: 0px" />
3、對(duì)整形數(shù)據(jù)的高性能讀寫(xiě)支持(ArrayInt比ArrayList存的更多更快)
4、兩階段提交和事務(wù)補(bǔ)償處理
5、自帶一個(gè)集群文件瀏覽器,可以查看集群所有硬盤(pán)上的文件(不同于hadoop的namenode,沒(méi)有單點(diǎn)問(wèn)題和容量限制)
總的來(lái)說(shuō), 將集群看做一個(gè)操作系統(tǒng),像操作本地文件一樣操作遠(yuǎn)程文件。
但是fourinone并不提供一個(gè)分布式存儲(chǔ)系統(tǒng),比如文件數(shù)據(jù)的導(dǎo)入導(dǎo)出、拆分存儲(chǔ)、負(fù)載均衡,備份容災(zāi)等存儲(chǔ)功能,不過(guò)開(kāi)發(fā)人員可以利用這些api去設(shè)計(jì)和實(shí)現(xiàn)這些功能,用來(lái)滿(mǎn)足自己的特定需求。
更多介紹請(qǐng)看使用指南:
一、如何搭建配置FttpAdapter環(huán)境
二、如何訪問(wèn)集群文件根目錄
三、如何訪問(wèn)和操作遠(yuǎn)程文件
四、如何進(jìn)行集群內(nèi)文件復(fù)制和并行復(fù)制
五、如何讀寫(xiě)遠(yuǎn)程文件
六、如何解析遠(yuǎn)程文件
七、如何并行讀寫(xiě)遠(yuǎn)程文件
八、如何批量并行讀寫(xiě)遠(yuǎn)程文件和事務(wù)補(bǔ)償處理
二、自動(dòng)化class和jar包部署
class和jar包只需放在工頭機(jī)器上, 各工人機(jī)器會(huì)自動(dòng)獲取并執(zhí)行,兼容操作系統(tǒng),不需要進(jìn)行安全密鑰復(fù)雜配置
三、網(wǎng)絡(luò)波動(dòng)狀況下的策略處理,設(shè)置搶救期,搶救期內(nèi)網(wǎng)絡(luò)穩(wěn)定下來(lái)不判定結(jié)點(diǎn)死亡
下載地址:
http://www.skycn.com/soft/68321.html