初志案例分享:清華大學HPC項目解析
清華大學機械工程系(以下簡稱機械系)于1932年成立,是清華大學最早成立的工科系之一。其擁有多個國家一級重點實驗室,近年來與材料科學、自動化技術、信息技術、激光技術等學科一起合作了眾多科研項目,在學術聲譽、研究水平、研究隊伍、實驗裝備等方面都具有國內(nèi)領先優(yōu)勢。
機械系日常的教學和科研項目中需要應用到fluent、Vasp、Gaussian、Ansys等軟件來實現(xiàn)各種高性能計算,因此將產(chǎn)生大量的數(shù)據(jù),這對存儲系統(tǒng)在高并發(fā)、可靠性、共享性上都提出很高的要求。機械系現(xiàn)有的存儲系統(tǒng)已經(jīng)不能滿足自身快速發(fā)展的需求。
初志A2000集群存儲解決方案
針對機械系高性能計算的需求,初志科技為其提供了一套初志A2000集群存儲解決方案。初志A2000集群存儲解決方案主要由元數(shù)據(jù)存儲節(jié)點及智能存儲節(jié)點兩部份組成。
元數(shù)據(jù)存儲節(jié)點用于管理文件系統(tǒng)的元數(shù)據(jù)(包括文件目錄樹組織、屬性維護、文件操作日志記錄、授權訪問等),管理整個存儲系統(tǒng)的命名空間,對外提供統(tǒng)一的系統(tǒng)映像存儲池。
智能存儲節(jié)點用于存儲用戶的實際數(shù)據(jù),實現(xiàn)集群存儲功能,主要包括存儲設備管理,網(wǎng)絡設備管理,權限管理等。
初志A2000集群存儲系統(tǒng)采用先進的分布式并行雙群存儲架構,多臺元數(shù)據(jù)存儲節(jié)點和智能存儲節(jié)點分離并行工作,大大提高了海量文件的讀寫效率,輕松實現(xiàn)海量數(shù)據(jù)管理。同時,A2000在高并發(fā)性、高可靠性、整合性及擴展性上都有很突出的優(yōu)勢,很好地滿足了機械系對于高性能計算應用的各項需求。
高性能計算應用的持續(xù)運行,將產(chǎn)生越來越多的數(shù)據(jù),這需要存儲系統(tǒng)擁有足夠的容量來滿足快速增長的需求。初志A2000集群存儲系統(tǒng)單卷即可支持PB級的存儲空間,幫助用戶高效地管理上百億個甚至更多的文件。同時,系統(tǒng)還可實現(xiàn)文件全局命名空間,所有的計算節(jié)點都可看到一致的文件系統(tǒng)視圖(管理員也可以通過設置使用權限,讓使用者只能看到自己的應用數(shù)據(jù)),這種數(shù)據(jù)的全局共享性可以加強同一應用不同服務器之間的協(xié)作,提高了應用的服務效率。
高并發(fā)
在機械系的存儲環(huán)境中,應用種類多,并發(fā)訪問的程度較高,這給存儲系統(tǒng)帶來很大的壓力。A2000集群存儲系統(tǒng)通過多臺存儲節(jié)點同時存取數(shù)據(jù)的方法,滿足了高并發(fā)訪問的需求。在應用服務器端,當應用程序向存儲系統(tǒng)上寫文件時,文件將分片存放到多臺存儲節(jié)點上;在讀文件時,系統(tǒng)則并發(fā)地從多個服務器上讀取數(shù)據(jù)。如此一來,大量的數(shù)據(jù)I/O請求被分散到了多臺存儲節(jié)點上,聚合帶寬由多臺的存儲節(jié)點上的帶寬相加而成,使得所有的存儲節(jié)點上的磁盤性能和網(wǎng)絡帶寬都能得到充分的利用,克服了原有系統(tǒng)單一出口點所造成的性能瓶頸,很好地實現(xiàn)用戶的高并發(fā)訪問需求。
高可靠
A2000集群存儲系統(tǒng)內(nèi)置一套完整的故障恢復流程,利用副本技術使得數(shù)據(jù)出現(xiàn)故障時能自動恢復,有效地消除了單點故障。對于用戶而言,任何硬件故障都無需進行手動處理,他們唯一的管理工作的就是在容量不夠的時候添加硬件和更換損壞的硬件,保證了A2000集群存儲系統(tǒng)能夠不間斷地提供穩(wěn)定的存儲服務。
易整合與易擴展
A2000集群存儲系統(tǒng)支持現(xiàn)有的異構存儲系統(tǒng),利用***的管理模塊與傳統(tǒng)存儲結構實現(xiàn)無縫連接。同時,它也能夠無縫兼容多種不同的操作系統(tǒng)。另外,A2000集群存儲系統(tǒng)可以支持動態(tài)地擴展存儲容量,即利用配置工具動態(tài)添加存儲節(jié)點以擴大系統(tǒng)的容量和規(guī)模(期間無需中斷任何應用),而且隨著存儲節(jié)點數(shù)據(jù)的增多,整套系統(tǒng)的聚合帶寬也會線性的增長,實現(xiàn)自動負載均衡,完全可以滿足業(yè)務不斷發(fā)展所產(chǎn)生的容量和性能需求。
易管理
除此以外,初志A2000集群存儲系統(tǒng)配有簡單易用的圖形化管理和監(jiān)控界面,支持用戶通過專用的安全通道進行遠程配置和全系統(tǒng)監(jiān)控,智能地發(fā)現(xiàn)各類軟硬件故障并統(tǒng)一匯總,保證用戶能夠及時處理故障,同時也減少了他們查找故障的工作量。
初志A2000集群存儲解決方案幫助清華大學機械系建立了一套完善的、高效的高性能計算存儲系統(tǒng),得到了用戶的認可與好評。通過使用初志A2000集群存儲解決方案,清華大學機械系不僅在存儲使用率、高并發(fā)性、高可靠性等方面都得到了較大提升,有了更強大的計算能力,而且通過存儲系統(tǒng)強大的整合性及易管理性的促進下,也有效降低了采購成本及IT運營成本。




















