構(gòu)建云時(shí)代數(shù)據(jù)湖 華為云發(fā)布全新一代對(duì)象存儲(chǔ)服務(wù)OBS 3.0
近日,在2018華為中國(guó)區(qū)生態(tài)伙伴大會(huì)——“華為云基礎(chǔ)設(shè)施服務(wù):穩(wěn)定極速,為企而生”分論壇期間,華為云發(fā)布了其全新一代對(duì)象存儲(chǔ)服務(wù)OBS 3.0。
云時(shí)代存儲(chǔ)系統(tǒng)的挑戰(zhàn):從存儲(chǔ)到數(shù)據(jù)的轉(zhuǎn)身
在當(dāng)天的論壇上,華為云對(duì)象存儲(chǔ)專家首先通過一個(gè)客戶案例闡述了萬物互聯(lián)的智能時(shí)代,對(duì)云存儲(chǔ)的述求:數(shù)據(jù)的全連接,完整數(shù)據(jù)生態(tài),生命周期管理,以及高擴(kuò)展、高性能、高可靠等能力,這些都給下一代云存儲(chǔ)帶來了全面的挑戰(zhàn)。
依托于華為十余年在企業(yè)和分布式存儲(chǔ)領(lǐng)域持續(xù)的技術(shù)積累,結(jié)合對(duì)未來海量數(shù)據(jù)云上應(yīng)用的前瞻性理解,華為云研發(fā)了基于DFV數(shù)據(jù)功能虛擬化平臺(tái)的新一代對(duì)象存儲(chǔ)服務(wù)0BS 3.0:擁有10萬+節(jié)點(diǎn)的擴(kuò)展能力,單桶千億對(duì)象統(tǒng)一命名空間,輕松應(yīng)對(duì)EB級(jí)容量需求,并且***的性能與可靠性。
以云上數(shù)據(jù)為中心,高性能、高擴(kuò)展和高可用的全棧數(shù)據(jù)服務(wù)架構(gòu)
華為云全新的對(duì)象存儲(chǔ)服務(wù)OBS 3.0架構(gòu)全微服務(wù)化,在4層總體架構(gòu)內(nèi),每個(gè)功能都是獨(dú)立的微服務(wù),每個(gè)微服務(wù)都可以獨(dú)立部署和擴(kuò)展。而受益于多級(jí)分區(qū)管理技術(shù),讓整個(gè)系統(tǒng)的擴(kuò)展性和故障域獲得了很好的平衡,滿足了公有云系統(tǒng)超高可靠性苛刻要求,并擁有AZ級(jí)容災(zāi)和跨地域容災(zāi)能力。
華為透露其對(duì)象存儲(chǔ)服務(wù)已經(jīng)摒棄10GE網(wǎng)絡(luò),全面部署25GE網(wǎng)絡(luò),并且通過獨(dú)有的RDMA網(wǎng)絡(luò)技術(shù),海思定制硬件HTTPS加速技術(shù),F(xiàn)lex EC技術(shù)等,使得接入性能大幅提升,輕松達(dá)到單流300MB/S,單桶20000TPS,小對(duì)象延遲<10ms等業(yè)界最領(lǐng)先性能指標(biāo),遠(yuǎn)遠(yuǎn)優(yōu)于友商。
基于SQL標(biāo)準(zhǔn)的OBS Select接口,數(shù)據(jù)訪問超便捷
一直以來,公有云對(duì)象存儲(chǔ)中數(shù)據(jù)都是作為整體訪問的,如果要分析一個(gè)壓縮文件數(shù)據(jù),需要下載和解壓后再對(duì)數(shù)據(jù)進(jìn)行處理,才能獲取到結(jié)果。如何更快捷地挖掘數(shù)據(jù)潛在價(jià)值,是當(dāng)前企業(yè)共同面對(duì)的問題,華為云已洞察到企業(yè)用戶面臨的這類問題,并且在對(duì)象存儲(chǔ)服務(wù)OBS 3.0中實(shí)現(xiàn)了OBS Select功能,提供SQL接口對(duì)OBS對(duì)象做數(shù)據(jù)分析和計(jì)算。
具體來說,華為云該功能有如下優(yōu)點(diǎn):
1.數(shù)據(jù)即來即用:在OBS的接口參數(shù)中直接嵌入SQL語句,即可分析對(duì)象存儲(chǔ)內(nèi)的數(shù)據(jù);
2.語法兼容性強(qiáng):支持多種SQL標(biāo)準(zhǔn),包括Spark SQL,標(biāo)準(zhǔn)SQL等,用戶不用預(yù)先定義數(shù)據(jù)模型,系統(tǒng)自動(dòng)識(shí)別數(shù)據(jù)內(nèi)容;
3.數(shù)據(jù)擴(kuò)展性強(qiáng):支持業(yè)界主流的結(jié)構(gòu)化數(shù)據(jù)(如CSV,Parquet,ORC,JSON)和用戶自定義數(shù)據(jù)格式;
4.低成本快速訪問:對(duì)數(shù)據(jù)進(jìn)行過濾,相對(duì)于直接下載OBS數(shù)據(jù),極大降低帶寬成本,減少數(shù)據(jù)獲取時(shí)間。
在論壇現(xiàn)場(chǎng),華為通過視頻演示了在查詢違章記錄場(chǎng)景下,使用OBS Select接口,無需導(dǎo)入數(shù)據(jù)庫(kù),無需數(shù)據(jù)遷移的情況下,直接對(duì)OBS桶內(nèi)的數(shù)據(jù)進(jìn)行SQL檢索和計(jì)算,極速返回結(jié)果,OBS Select強(qiáng)大的功能和易用性,引起了參會(huì)嘉賓濃厚興趣。具介紹,該功能更將會(huì)近期在華為云對(duì)象存儲(chǔ)服務(wù)上線。
大會(huì)現(xiàn)場(chǎng),華為云專家還介紹了更多對(duì)象存儲(chǔ)服務(wù)OBS 3.0業(yè)界領(lǐng)先能力:近數(shù)據(jù)計(jì)算能力; 3AZ和數(shù)據(jù)強(qiáng)一致性能力;數(shù)據(jù)中心到盤片全域故障預(yù)防和管理能力;低功耗低碳環(huán)保的冷存儲(chǔ)系統(tǒng)等。
華為云對(duì)象存儲(chǔ)服務(wù)OBS 3.0,為客戶構(gòu)建云時(shí)代的數(shù)據(jù)湖,通過全連接的數(shù)據(jù)持續(xù)給企業(yè)創(chuàng)造價(jià)值。
另,華為云對(duì)象存儲(chǔ)OBS服務(wù)聯(lián)合其全新一代云服務(wù)器發(fā)布了***限時(shí)促銷計(jì)劃,將于4月2日正式開售,其中OBS更是低至5折,感興趣的朋友可以掃碼參與。
點(diǎn)擊了解華為云對(duì)象存儲(chǔ)OBS: https://www.huaweicloud.com/product/obs.html