人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈技術(shù)的發(fā)展，讓數(shù)據(jù)規(guī)模量級持續(xù)提升。隨著海量數(shù)據(jù)的加速度增長，對可擴(kuò)展的超大規(guī)模分布式存儲已有迫切需求。傳統(tǒng)SAN和NAS由于可擴(kuò)展性的限制，無法達(dá)到如此大規(guī)模的存儲能力。

當(dāng)數(shù)據(jù)規(guī)模數(shù)以億計(jì)時(shí)，如何安全、高效地對其進(jìn)行存儲、收納、歸類、修改？

天璣科技聯(lián)合上海高校歷時(shí)兩年開發(fā)成功的“高可靠高效能的超大規(guī)模分布式存儲系統(tǒng)技術(shù)與應(yīng)用”項(xiàng)目，以領(lǐng)先的技術(shù)方法在數(shù)據(jù)傳輸、存儲等方面對分布式存儲系統(tǒng)進(jìn)行了優(yōu)化，為企業(yè)提供了構(gòu)建高效數(shù)據(jù)存儲系統(tǒng)的技術(shù)方案，幫助其處理源源不斷的海量數(shù)據(jù)。

項(xiàng)目簡述

項(xiàng)目名稱：高可靠高效能的超大規(guī)模分布式存儲系統(tǒng)技術(shù)與應(yīng)用

總體目標(biāo)：本項(xiàng)目基于開放標(biāo)準(zhǔn)架構(gòu)的存儲服務(wù)器和先進(jìn)網(wǎng)絡(luò)技術(shù)，通過高可靠軟硬件一體化創(chuàng)新體系研究，形成較大規(guī)模、可擴(kuò)展的高穩(wěn)定、高性能分布式存儲系統(tǒng)。

研究成果：

• 申請第一個(gè)IP層網(wǎng)絡(luò)編碼的專利
• 發(fā)表第一篇IP層網(wǎng)絡(luò)編碼的論文
• 在網(wǎng)絡(luò)編碼方向完成5個(gè)原型系統(tǒng)
• 共申請國內(nèi)發(fā)明專利7項(xiàng)
• 計(jì)算機(jī)軟件著作權(quán)9項(xiàng)
• 共獲得軟件產(chǎn)品6項(xiàng)
• 共發(fā)表論文8篇。

測試驗(yàn)證

測試背景：超大規(guī)模分布式存儲系統(tǒng)是基于X86服務(wù)器的分布式塊存儲技術(shù)，作為軟件定義存儲（SDS）領(lǐng)域的一種全新技術(shù)，可以有效地實(shí)現(xiàn)存儲軟件與硬件的解耦，存儲空間的橫向擴(kuò)展以及存儲空間的靈活配置，但業(yè)界不同廠家實(shí)現(xiàn)的機(jī)制不同，對底層X86服務(wù)器的要求、支持的部署方式上也有所差異，其功能、擴(kuò)展性、可靠性、可管理性以及性能的情況需要進(jìn)行驗(yàn)證。

測試性能：在整個(gè)研發(fā)測試過程中我們采用了高壓測極的方式去驗(yàn)證系統(tǒng)的穩(wěn)定性，災(zāi)備能力，分別針對基本管理功能、基本業(yè)務(wù)功能、系統(tǒng)可靠性、擴(kuò)展性等進(jìn)行測試。

最終所有數(shù)據(jù)均完整拷貝，文件校驗(yàn)正確，并通過管理系統(tǒng)看到完整的告警和恢復(fù)過程。

測試結(jié)論：

• 提供完善的管理系統(tǒng)功能及硬盤故障點(diǎn)燈的功能，方便故障磁盤定位
• 部署簡單、兼容多種客戶端系統(tǒng)
• 保證數(shù)據(jù)可靠性，在各種異常情況下，都能保證業(yè)務(wù)正常運(yùn)行，且能明確的告警和定位具體硬件
• 混合模式下能提供高性能
• 節(jié)點(diǎn)線性增加后，IOPS性能線性增長明顯，帶寬性能在后期增長較慢

項(xiàng)目應(yīng)用

在為某保險(xiǎn)機(jī)構(gòu)建設(shè)數(shù)據(jù)中心時(shí)，我們采用萬兆以太網(wǎng)絡(luò)對儲存節(jié)點(diǎn)方式構(gòu)建，最終的全系統(tǒng)性能幫助其解決以下存儲需求：

• 突破傳統(tǒng)存儲基礎(chǔ)架構(gòu)的性能瓶頸
• 解決極速增長的數(shù)據(jù)量帶來的擴(kuò)容難題
• 降低存儲性能高性能帶來的高成本
• 減小存儲設(shè)備故障導(dǎo)致的業(yè)務(wù)中斷風(fēng)險(xiǎn)
• 降低缺乏高效的數(shù)據(jù)保護(hù)存在的數(shù)據(jù)丟失風(fēng)險(xiǎn)

數(shù)據(jù)已成為現(xiàn)代信息社會最重要的財(cái)富。具有自主知識產(chǎn)權(quán)的超大規(guī)模分布式存儲，對于保障信息安全具有重要意義，天璣將為政企用戶提升信息技術(shù)關(guān)鍵領(lǐng)域的競爭力繼續(xù)努力。