偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

通過計算存儲 加快創(chuàng)新實現(xiàn)

存儲
所謂的“計算存儲”就是讓存儲設(shè)備更加智能,可以直接在存儲數(shù)據(jù)的地方進(jìn)行數(shù)據(jù)處理。

   摘要:隨著數(shù)據(jù)量的倍數(shù)增長,無處不計算的概念正在普及,現(xiàn)有的以計算為中心的架構(gòu)需要將數(shù)據(jù)傳輸?shù)街醒胗嬎銉?nèi)存單元進(jìn)行數(shù)據(jù)挖掘與分析。隨著數(shù)據(jù)時代的到來,新形態(tài)的以數(shù)據(jù)為中心的計算存儲架構(gòu)和技術(shù)正在快速發(fā)展,在數(shù)據(jù)存儲端直接進(jìn)行數(shù)據(jù)處理將成為風(fēng)潮,不僅可以提高云數(shù)據(jù)中心的數(shù)據(jù)處理能力和效率,并預(yù)計可為物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)、邊緣計算等領(lǐng)域創(chuàng)造更多商務(wù)價值。

  數(shù)據(jù)量的產(chǎn)出正在呈現(xiàn)爆發(fā)式的增長。根據(jù)分析調(diào)研機(jī)構(gòu)IDC的報告指出,被創(chuàng)建、獲取或復(fù)制的數(shù)據(jù)量將從2018年的33 ZB增加到2025年的175 ZB。為了讓這些數(shù)據(jù)實現(xiàn)其價值,我們必須將其分析處理成有意義的見解,而數(shù)據(jù)分析的速度和效率依賴于數(shù)據(jù)處理系統(tǒng)的架構(gòu)。以計算為中心的架構(gòu)需要將數(shù)據(jù)傳輸?shù)街醒胗嬎銉?nèi)存單元進(jìn)行數(shù)據(jù)挖掘與分析,更加適用于數(shù)據(jù)量小、計算密度大的應(yīng)用負(fù)載,但在數(shù)據(jù)量激增的情況下很顯然地有些遠(yuǎn)水不解近渴,難以繼續(xù)擴(kuò)展?,F(xiàn)在IT行業(yè)里更多的關(guān)注點是如何將計算能力分布到存儲設(shè)備附近,就地對大量數(shù)據(jù)進(jìn)行分析處理,從中獲取洞察力。這種趨勢推動了以數(shù)據(jù)為中心的計算存儲的快速發(fā)展。

  今天,有越來越多的數(shù)據(jù)存儲在各種形態(tài)的存儲盤上,但數(shù)據(jù)的存儲和計算處理總在不同的地方進(jìn)行,因此我們常見大量數(shù)據(jù)(目前一般盤的容量通常為16 TB,并不斷增加)在存儲和計算設(shè)備之間移動,但由于網(wǎng)絡(luò)帶寬和計算單元內(nèi)存容量的限制這種方法無法擴(kuò)展,導(dǎo)致大量具附加價值、有潛力為服務(wù)及運營帶來指導(dǎo)性洞察力的數(shù)據(jù)不能發(fā)揮他們應(yīng)有的威力。

  在傳統(tǒng)的存儲模型中,數(shù)據(jù)一般存儲在硬盤和固態(tài)硬盤上,在需要進(jìn)行數(shù)據(jù)分析的時候,將其傳輸?shù)酵獠康挠嬎阍O(shè)備,通常是服務(wù)器。計算存儲能在數(shù)據(jù)所在的存儲盤上進(jìn)行數(shù)據(jù)計算處理,進(jìn)而直接從數(shù)據(jù)中生成洞察力和價值,以釋放更多數(shù)據(jù)的潛能。

  什么是計算存儲,它為什么重要?

  所謂的“計算存儲”就是讓存儲設(shè)備更加智能,可以直接在存儲數(shù)據(jù)的地方進(jìn)行數(shù)據(jù)處理。這種方法減少了大量數(shù)據(jù)向外部處理設(shè)備的傳輸,同時帶來了無數(shù)個的好處,包括減少時延和帶寬使用、提高安全性和節(jié)能。換句話說,數(shù)據(jù)處理的工作負(fù)載將直接在存儲控制器本身上進(jìn)行。

  對于許多機(jī)器學(xué)習(xí)或分析應(yīng)用程序、以及物聯(lián)網(wǎng)和邊緣計算的其他用例來說,計算存儲的應(yīng)用對于它們在實現(xiàn)實時處理方面的要求至關(guān)重要。以物聯(lián)網(wǎng)的用例來看,隨著物聯(lián)網(wǎng)設(shè)備部署數(shù)量的加速,這些設(shè)備也迅速產(chǎn)生大量原始且非結(jié)構(gòu)化的數(shù)據(jù)。由于物聯(lián)網(wǎng)設(shè)備部署遍布世界各個角落,傳感器日趨復(fù)雜,將所有數(shù)據(jù)傳輸?shù)皆茢?shù)據(jù)中心進(jìn)行存儲和處理不僅非常昂貴,而且是一種浪費,因為并非所有獲取的數(shù)據(jù)都會能帶來價值。

  舉個例子,一個大型停車場的監(jiān)控攝像頭系統(tǒng)記錄了每輛汽車的車牌號和進(jìn)出時間,以便對停車時間進(jìn)行計費,同時也確保安全。這個案例里面重要的信息之一是車牌號碼,而無論汽車是否進(jìn)入或離開停車場,將所有大圖像或視頻流傳輸?shù)竭h(yuǎn)端服務(wù)器進(jìn)行圖像處理是非常低效的做法。

  應(yīng)用了計算存儲之后,每個攝像頭都將視頻或圖片傳輸?shù)奖镜氐拇鎯ΡP內(nèi),然后盤內(nèi)自帶的計算功能就能直接識別出車牌號碼。通過在存儲盤上直接進(jìn)行機(jī)器學(xué)習(xí)和圖像識別,并且只將從原始數(shù)據(jù)中提取的有價值信息——車牌號碼和進(jìn)出場時間,傳輸給遠(yuǎn)端服務(wù)器,計算存儲極大地提高了信息處理的效率,減少網(wǎng)絡(luò)帶寬的浪費。此外,如果停車場中有多個攝像頭,每個攝像頭都有多個存儲盤,那么攝像頭越多,存儲盤就越多,因地制宜的計算也就越多。如此一來,整個信息處理系統(tǒng)就變得更高效且可擴(kuò)展性更高。

  計算存儲還能在其他應(yīng)用場景也施展威力,例如:

  · 數(shù)據(jù)庫加速:直接在數(shù)據(jù)上執(zhí)行操作

  · 卸載:直接在數(shù)據(jù)上進(jìn)行壓縮/加密/編碼/重復(fù)數(shù)據(jù)刪除等

  · 內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN):輕松實現(xiàn)非常本地化的內(nèi)容分發(fā)

  · 人工智能/機(jī)器學(xué)習(xí):直接從海量數(shù)據(jù)中生成洞察

  · 邊緣計算:一個運行Linux的計算存儲盤(Computational Storage Drive, CSD),自身就是一個獨立的小型服務(wù)器

  · 圖像分類:直接在數(shù)據(jù)存儲的位置進(jìn)行元標(biāo)記

  · 視頻:對大型圖像、視頻、多媒體文件進(jìn)行本地處理分析,以提取有價值的信息

  · 運輸/車載:直接處理交通工具中存儲的遙測數(shù)據(jù)

  傳統(tǒng)的存儲盤內(nèi)的數(shù)據(jù)必須從設(shè)備端傳輸?shù)椒?wù)器,才能借助服務(wù)器內(nèi)的計算單元進(jìn)行數(shù)據(jù)處理分析,這樣的做法不僅需要額外的時間、精力、帶寬和時延,同時增加了數(shù)據(jù)泄露的風(fēng)險——在數(shù)據(jù)傳輸?shù)倪^程中可能發(fā)生未經(jīng)授權(quán)的訪問。

  同時,如果這些系統(tǒng)與服務(wù)器連接的回程線路,其帶寬有限或價格昂貴,那么計算存儲更能進(jìn)一步顯著降低總擁有成本(TCO)。額外的好處包括:

  · 更快的響應(yīng)時間和更低的時延:將智能性移動至所需之處,可實現(xiàn)近乎實時的結(jié)果交付。數(shù)據(jù)不再需要通過協(xié)議封裝,然后通過路由器和交換機(jī)移動和復(fù)制,在服務(wù)器上解包后才能進(jìn)行處理

  · 節(jié)省帶寬,降低能耗:減少數(shù)據(jù)傳輸意味著節(jié)省寶貴的帶寬資源,防止網(wǎng)絡(luò)擁塞,并且降低設(shè)備能耗和熱能產(chǎn)生

  · 安全與隱私:原始數(shù)據(jù)留在本地存儲盤上,不再向外傳輸,而只是將數(shù)據(jù)分析的結(jié)論返回,降低數(shù)據(jù)泄露的風(fēng)險

  · 擴(kuò)展性:由于計算直接在存儲盤上進(jìn)行,增添更多的存儲盤也同時增加了對本地數(shù)據(jù)進(jìn)行處理分析的能力。

  計算存儲是如何工作?

  計算存儲盤(CSD)是一種提供持久數(shù)據(jù)存儲和計算服務(wù)的存儲設(shè)備。它通過計算和存儲功能的耦合,在本地數(shù)據(jù)上運行應(yīng)用程序,減少遠(yuǎn)程服務(wù)器上所需的處理工作負(fù)載以及數(shù)據(jù)的傳輸。為此,CSD的處理器是專用于直接處理CSD上的數(shù)據(jù),從而讓遠(yuǎn)程主機(jī)的處理器得以處理其他任務(wù)。

  以下是傳統(tǒng)的存儲系統(tǒng)與采用計算存儲系統(tǒng)的不同數(shù)據(jù)計算處理流程。

  特定領(lǐng)域架構(gòu)(Domain-Specific Architecture, DSA)、異構(gòu)計算(Heterogeneous Computing)和計算存儲

  實現(xiàn)計算存儲的方法有很多種,但關(guān)鍵的要求是在存儲控制器中嵌入處理的能力。說到數(shù)據(jù)處理以及計算能力,CPU處理器自然是首當(dāng)其沖。CPU作為通用處理器,是個名副其實的“通才”,擅長執(zhí)行指令運算和數(shù)值運算。CPU適用于各種工作負(fù)載,尤其是那些對延遲或每核性能很重要的工作負(fù)載。作為一個強(qiáng)大的執(zhí)行引擎,CPU將其較少數(shù)量的內(nèi)核集中在單個任務(wù)和快速完成任務(wù)上。這使得它非常適合從串行計算到運行數(shù)據(jù)庫的工作。另外,CPU編程容易、生態(tài)成熟、擁有豐富的工具鏈和廣泛的開發(fā)者支持,尤其是在計算存儲方興未艾,跑在CSD上的應(yīng)用負(fù)載還不明確和成熟的情況下,CPU可以給予計算存儲系統(tǒng)更多的靈活性。

  特殊領(lǐng)域的加速器是計算和數(shù)據(jù)處理領(lǐng)域的“專才”,對于特定領(lǐng)域的應(yīng)用和負(fù)載能提供顯著的性能和效率的提升。在選擇特殊領(lǐng)域的加速器的時候,需要特別注意兩點:一是實際部署或者計劃部署在CSD上的應(yīng)用負(fù)載與加速器適合的負(fù)載匹配;二是編程的便利性,是否能夠賦能廣大的軟件開發(fā)人員來利用加速器所帶來的收益。

  Linux促進(jìn)計算存儲的實現(xiàn)

  實現(xiàn)計算存儲的方法有很多種,但關(guān)鍵的要求是在存儲控制器中嵌入處理的能力,使其可以運行功能豐富的操作系統(tǒng),例如Linux和軟件組件。如此一來,可以帶來以下這些好處:

  · 擁有龐大Linux開發(fā)者社區(qū)的開源軟件

  具有龐大Linux開發(fā)者社區(qū)和行業(yè)廣泛使用的標(biāo)準(zhǔn)工具的開源軟件能讓開發(fā)體驗更加輕松。通過創(chuàng)建工作負(fù)載,開發(fā)者可以使用駕輕就熟的開發(fā)方式來構(gòu)建遵循SNIA的標(biāo)準(zhǔn)的軟件程序,并采用基于Linux的標(biāo)準(zhǔn)系統(tǒng)將其部署到存儲設(shè)備,這不僅簡化了系統(tǒng),并且讓軟件開發(fā)更為輕松便捷。

  · 易用的工具

  感謝Linux開源生態(tài)的的豐富資源,開發(fā)者獲取廣大的工具、文檔和支持易如反掌,從而可以更順暢地開發(fā)、部署以及管理計算存儲工作負(fù)載。如此一來,開發(fā)者能快速將當(dāng)前模式下運行在計算節(jié)點上的功能模塊遷移至計算存儲盤上。

  · 啟動智能存儲

  在標(biāo)準(zhǔn)的NVMe盤中,由于存儲控制器并不理解所處理的數(shù)據(jù)的內(nèi)容和屬性,而是純粹把數(shù)據(jù)塊當(dāng)作黑盒來處理,所以難以實現(xiàn)數(shù)據(jù)的智能管理。在當(dāng)前模式下,存儲控制器對接收到的數(shù)據(jù)塊進(jìn)行拆分,然后將它們存儲在NAND晶粒中的頁面。當(dāng)服務(wù)器發(fā)送數(shù)據(jù)塊的請求時,存儲控制器會從NAND取出數(shù)據(jù),將它們重新組裝成數(shù)據(jù)塊,再傳輸送回服務(wù)器。由于存儲控制器不了解文件系統(tǒng),所以它對這些數(shù)據(jù)塊的構(gòu)成也一無所知,不管是JPEG圖像,還是Word文檔,還是可執(zhí)行文件,處理方式都一視同仁。而運行Linux的存儲盤可以掛載標(biāo)準(zhǔn)文件系統(tǒng),使智能存儲成為可能,同時CSD的應(yīng)用程序能了解數(shù)據(jù)塊實際代表哪些文件,并可根據(jù)文件類型和屬性直接在數(shù)據(jù)上執(zhí)行相應(yīng)操作。

  · 存儲盤就等于一臺迷你服務(wù)器

  運行Linux的存儲盤能通過現(xiàn)有的標(biāo)準(zhǔn)開源系統(tǒng)進(jìn)行硬盤的管理、工作負(fù)載的開發(fā)以及新工作負(fù)載的下載。它用最低的成本將存儲盤變成了一個迷你服務(wù)器。

  現(xiàn)在您可能不禁想著:難道Linux真的能在計算存儲中被采用嗎?這個問題的答案是肯定的。這樣的操作系統(tǒng)不會過大嗎?這個問題的答案是否定的。

  當(dāng)今的存儲盤已經(jīng)擁有數(shù)個GB的RAM和數(shù)個TB的存儲空間,并具備處理進(jìn)出存儲盤的大量數(shù)據(jù)移動的高性能計算的能力。一般提到Linux,大家可能會聯(lián)想到在大型服務(wù)器中安裝的大型軟件,并不適用于嵌入式設(shè)備端的存儲、安裝和運行,但相比于大型服務(wù)器,在存儲設(shè)備上,我們對Linux的要求要低得多,其軟件大小也能有顯著的縮減。

  存儲設(shè)備上運行的Linux不再需要顯示驅(qū)動程序,其他部分功能也不適用,可以將之簡化并根據(jù)存儲控制器的需求進(jìn)行定制,例如,Debian 9只需要512 MB的RAM和2 GB的存儲空間。

  通過利用現(xiàn)在在復(fù)雜系統(tǒng)中使用的標(biāo)準(zhǔn)開源工具,我們可以進(jìn)行CSD管理,例如利用Kubernetes、Docker或經(jīng)過擴(kuò)展的Berkeley Packet Filter(BPF)等常用工具,我們可以安全地下載和管理工作負(fù)載,以安全的方式執(zhí)行應(yīng)用程序或腳本。

  具計算能力的實時處理器

  從處理器的角度思考,實現(xiàn)計算型存儲有幾種方式,最為常見的就是將Arm Cortex-A應(yīng)用處理器嵌入固態(tài)硬盤控制器的芯片中,這樣的話,存儲處理器就可以直接支持Linux的運行,這是一個不錯的選擇。但是存儲設(shè)備對處理器的一個剛需是提供具有高確定性的實時行為,以保證數(shù)據(jù)搬運的速度和效率。為了顧全計算存儲設(shè)備所應(yīng)該具備的實時響應(yīng)與計算能力,Arm在實時處理器Cortex-R系列開發(fā)出支持64位與Linux支持能力的Cortex-R82,與過去應(yīng)用于存儲設(shè)備的其他Cortex-R系列產(chǎn)品相比,最高可達(dá)到2倍的性能提升。Cortex-R82還可以加載Arm Neon技術(shù),使存儲應(yīng)用較低的時延運行包括機(jī)器學(xué)習(xí)等新的工作負(fù)載,并提供額外的加速。此外,Cortex-R82本身為64位架構(gòu),最高可以存取1 TB的DRAM,在數(shù)據(jù)量激增和存儲容量顯著提高的未來供存儲應(yīng)用進(jìn)行先進(jìn)的數(shù)據(jù)處理。

  存儲控制器傳統(tǒng)上是通過裸機(jī)/RTOS工作負(fù)載的運行,作為數(shù)據(jù)的存儲及存取;而Cortex-R82提供可選用的內(nèi)存管理單元(Memory Management Unit, MMU),讓功能豐富的操作系統(tǒng)在存儲控制器上直接運行,支撐起計算存儲的實現(xiàn)基石。

  計算存儲的未來就在眼前

  目前已有多家合作伙伴提供基于Arm 處理器的存儲設(shè)備,同時整個產(chǎn)業(yè)也在致力于讓所有存儲開發(fā)者和廠商能一致采用一種通用的實現(xiàn)方式。Arm 正積極地參與 SNIA 計算存儲技術(shù)工作小組,并攜手 45 家公司和 202 名成員合作定義標(biāo)準(zhǔn)。這項標(biāo)準(zhǔn)將消除碎片化和缺乏兼容性的風(fēng)險,進(jìn)一步加速計算存儲的發(fā)展與創(chuàng)新。

責(zé)任編輯:張誠 來源: Arm物聯(lián)網(wǎng)兼嵌入式事業(yè)部業(yè)務(wù)拓展 副總裁
相關(guān)推薦

2017-05-27 10:35:23

2013-07-24 10:14:25

甲骨文全球大會2013甲骨文

2009-04-09 19:18:44

云存儲存儲虛擬化虛擬化

2010-06-12 21:59:39

融合網(wǎng)絡(luò)數(shù)據(jù)中心博科

2022-09-14 09:52:09

ARVR零售業(yè)

2022-08-15 18:11:14

西部數(shù)據(jù)

2011-08-16 09:18:54

云計算云計算標(biāo)準(zhǔn)

2020-09-08 10:10:36

數(shù)字化創(chuàng)新華納音樂集團(tuán)

2013-05-28 15:28:07

華為ICT解決方案

2021-02-25 18:03:07

數(shù)據(jù)管理

2012-09-12 17:04:53

OpenStack云計算存儲

2012-09-13 11:06:03

IBMdW

2012-09-11 17:10:40

OpenStack

2017-03-07 09:27:42

2019-07-11 10:48:11

云存儲

2013-11-20 11:08:22

SAP中國商業(yè)同略會

2010-04-21 10:25:09

云計算

2019-12-06 17:39:00

華為上海

2011-05-05 09:45:34

云計算試點城市
點贊
收藏

51CTO技術(shù)棧公眾號