云起賦新 | 亞馬遜云科技高性能計算創(chuàng)新論壇精彩來襲!
高性能計算(HPC)和云計算曾是兩個“平行世界”,各自演繹著精彩,卻鮮有交集。
傳統(tǒng)上,HPC主要應(yīng)用于大規(guī)模計算,如天氣預(yù)報、石油勘探、藥物研發(fā)等。這些任務(wù)通常借助超級計算機或計算集群運行,需要很多特殊的軟硬件來加速節(jié)點間通訊并提升性能和可靠性,自成一統(tǒng)的同時也阻礙了擁抱新技術(shù)、新平臺的步伐。
云計算在誕生初期掀起了虛擬化的浪潮,甚至嘗試過與HPC親密接觸,但終因性能損耗和網(wǎng)絡(luò)延時而失之交臂。伴隨亞馬遜等云平臺的迅猛發(fā)展,通用計算領(lǐng)域幾乎已變成云的天下,千行百業(yè)都在基于云底座進行數(shù)字化轉(zhuǎn)型。邁向縱深的云計算與下落凡塵的HPC,有望再續(xù)前緣。
值得關(guān)注的是,外部環(huán)境發(fā)生的劇烈變化,也促使“平行世界”之間的相互穿越成為可能。
一方面,數(shù)字經(jīng)濟的高速發(fā)展帶來數(shù)據(jù)規(guī)模的幾何級數(shù)增長,隨之而來的算力需求也大幅增加。既有的高性能計算集群或超級計算中心模式,已很難滿足爆發(fā)性的需求和多元化的場景,HPC必須謀求嶄新的演進路徑。
另一方面,人工智能的快速滲透與新型硬件的風(fēng)起云涌,使云計算如虎添翼。機器學(xué)習(xí)、深度學(xué)習(xí)極大拓展了業(yè)務(wù)應(yīng)用范疇,推動智能化與高性能緊密結(jié)合。
正所謂“歇馬憑云宿,揚帆截海行”——HPC在躊躇謀變之際,恰好遇到處于上升期的云計算,和人工智能、加速計算等提供助力的“小伙伴”,他們組成強大的HPC+陣營,共赴數(shù)字化升級的星辰大海。
這不是紙上談兵,重要的是付諸行動。近日,亞馬遜云科技舉辦“云啟賦新 高性能計算業(yè)務(wù)創(chuàng)新論壇”,與來自不同行業(yè)的專家共同探索“HPC +”時代如何為客戶賦能,幫助他們加速創(chuàng)新。(請點擊“閱讀原文”觀看活動視頻回放)
行業(yè)領(lǐng)導(dǎo)者的率先垂范,是HPC+揚帆起航的標志性信號。云上的澎湃算力,將為客戶解決運行大型復(fù)雜模擬和深度學(xué)習(xí)工作負載的難題,高性能計算會繼續(xù)乘風(fēng)破浪。
云計算驅(qū)動HPC開疆擴土
HyperionResearch市場調(diào)研的數(shù)據(jù)顯示,到2022年底將有18.8%的HPC在云端運行,而這個數(shù)據(jù)在2021年只有12.3%。
來自Market Research Future的報告也表明,云端高性能計算在未來五年會保持21%的年復(fù)合增長率,2023年的市場規(guī)模將達220億美元。
顯而易見,HPC與云的深度融合正在提速,這既是客戶應(yīng)對業(yè)務(wù)挑戰(zhàn)的必然結(jié)果,又與高性能計算本身的進化密切相關(guān)。
從客戶需求的角度看,本地高性能計算基礎(chǔ)設(shè)施限制了工程師、科學(xué)家和研究人員及時獲得成果,約有72.8%的組織表示高性能計算工作遭到延遲或取消。這將導(dǎo)致很多客戶錯失創(chuàng)新的窗口期,收入預(yù)期自然難以達成。
路徑依賴造成的成本負擔與技術(shù)壓力也不容忽視??蛻粼诮ㄔO(shè)與運營自有數(shù)據(jù)中心的過程中,總是在高峰期的捉襟見肘與日常的浪費閑置之間痛苦搖擺。通過采用新算法適應(yīng)原有基礎(chǔ)設(shè)設(shè)施的做法,難免以犧牲部分性能為代價,綜合評估得不償失。
如果把視野再放大一些,會發(fā)現(xiàn)HPC早就不局限于原來的“一畝三分地”,應(yīng)用場景的顯著擴展也促使基礎(chǔ)設(shè)施向云底座躍遷。
以競爭激烈的美洲杯帆船賽為例:像素分割模擬計算對帆船競賽將產(chǎn)生決定性影響——把船分成的像素越多,模型就越精確,但這意味著計算量成倍地飆升,此時云計算的價值就會凸顯。從某種意義上講,乘風(fēng)破浪的動力不是風(fēng)的力量,而是云的力量。
云的彈性、靈活性、可擴展性等先天稟賦正是HPC化解難題的良方,后天形成的市場滲透力及其與人工智能、加速計算等新興技術(shù)的協(xié)同效應(yīng),更為云與HPC攜手同行奠定了堅實基礎(chǔ)。
云上高性能計算的進化路徑
作為云平臺的開創(chuàng)者與領(lǐng)路人,亞馬遜云科技在高性能計算領(lǐng)域?qū)覄?chuàng)佳績,連續(xù)四年入選HPC連線雜志“最佳HPC云平臺”,并在2021 CCF年會上獲得高性能計算實例產(chǎn)品創(chuàng)新大獎。
目前,在全球高性能計算轉(zhuǎn)向云平臺的過程中,約有58%的高性能計算云端計算量處于亞馬遜云科技平臺上。依托領(lǐng)先的前瞻性研究、成熟的服務(wù)體系和扎實的落地案例,亞馬遜云科技探索出云與HPC融合的最佳路徑,并根據(jù)市場環(huán)境變化不斷演進。
亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建認為,構(gòu)建HPC云上服務(wù)并非堆砌服務(wù)器資源那么簡單,背后是完整的HPC生態(tài)系統(tǒng)。
以亞馬遜云科技建立的完整堆棧的HPC服務(wù)模式為例:
底部的基礎(chǔ)層涵蓋算力資源、高速網(wǎng)絡(luò)和存儲,構(gòu)成整個體系的基石。亞馬遜云科技500+不同類型的服務(wù)器組合滿足各類復(fù)雜場景需求,提供100G以上帶寬吞吐、支持MPI的EFA網(wǎng)卡使網(wǎng)絡(luò)不再是高性能計算的瓶頸,支撐高性能計算且在云端實現(xiàn)多級的文件存儲策略,進一步幫助客戶提升資源利用效率。
中間的控制層是HPC生態(tài)系統(tǒng)的大腦,主要涉及集群創(chuàng)建和任務(wù)編排——亞馬遜云科技提供了各種性能、功能的產(chǎn)品,為不同場景的客戶帶來價值;最上層的可視化致力于營造易用的環(huán)境,亞馬遜云科技基于NICE DCV方案可在極低的網(wǎng)絡(luò)吞吐量前提下,提供高分辨率、低延遲的用戶體驗。
需要指出的是,HPC生態(tài)不是存在于一個歲月靜好的穩(wěn)定環(huán)境,而是要隨時應(yīng)對大系統(tǒng)的變遷與小場景的打磨。在混合云日益盛行的背景下,公有云平臺需要推出更有針對性的策略,才能立于不敗之地。
基于NICE Enginframe server+Amazon HPC Connector中間件,亞馬遜云科技幫助客戶在混合云架構(gòu)下,實現(xiàn)本地數(shù)據(jù)中心與云上資源的平滑切換,并根據(jù)不同場景提供適宜的解決方案:
應(yīng)對突發(fā)任務(wù)上云,當客戶的本地數(shù)據(jù)中心無法支撐任務(wù)時,可無縫訪問亞馬技云科技的充足資源;針對缺乏上云經(jīng)驗的客戶,通過HPC混合云逐步、分批地幫助客戶使用相關(guān)資源;對于決定工作遷移的客戶,以統(tǒng)一的控制臺有計劃、大規(guī)模地將 HPC任務(wù)跨本地數(shù)據(jù)中心和云上環(huán)境部署。
以更長遠的眼光來看,量子計算是未來算力增量的源泉。亞馬遜云科技不僅擁有Braket這樣的商業(yè)化產(chǎn)品,而且面向量子計算構(gòu)筑起多層次的服務(wù)體系,在化學(xué)及材料科學(xué)、城市交通優(yōu)化等場景取得積極進展。
首先,亞馬遜云科技打破量子計算技術(shù)壁壘,建立完全托管的服務(wù)模式,便于客戶快捷地探索和試驗;其次,提供專家級的支持,客戶可與亞馬遜量子實驗室進行深度合作;再次,基于量子計算中心在量子算法和硬件等方面做創(chuàng)新研究,尋求通往未來的算力密碼。
HPC+催生場景化創(chuàng)新
《美國創(chuàng)新史》的作者Harold Evans發(fā)現(xiàn),由借鑒和結(jié)合產(chǎn)生的創(chuàng)新多于純粹的發(fā)明,洞察事物間相互關(guān)聯(lián)性的能力比創(chuàng)造力更重要。
以前定義HPC工作負載的方法,通常是根據(jù)高性能計算任務(wù)是松耦合型還是緊耦合型,更看重網(wǎng)絡(luò)帶寬和延遲需求,同時會從HPC任務(wù)涉及的數(shù)據(jù)規(guī)模來考量。
但最近兩年,亞馬遜云科技發(fā)現(xiàn),隨著硬件技術(shù)的創(chuàng)新,以及人工智能的迅猛發(fā)展,越來越多的HPC任務(wù)和AI、ML、DL相結(jié)合。這就要求為客戶提供相對應(yīng)的方案,也由此催生出HPC+的概念——從更廣泛的維度,包括加速計算、機器學(xué)習(xí)、深度學(xué)習(xí)等多方面去設(shè)計服務(wù)和構(gòu)建方案。
伴隨HPC的重量級伙伴逐漸增多,圍繞HPC+的場景化創(chuàng)新正紛至沓來,亞馬遜云科技在其間扮演著舉足輕重的角色。
助力影視渲染行業(yè)轉(zhuǎn)型,是HPC+展示身手的新舞臺。內(nèi)容制作需要超大規(guī)模渲染算力,從傳統(tǒng)的CPU渲染升級為GPU渲染可加速制作進程,深度學(xué)習(xí)自動生成形狀、材質(zhì)、光照及場景能提供增強型的觀看體驗——三者分別對應(yīng)云、加速計算、人工智能,HPC+的好伙伴,一個也不能少。
以多部史詩級作品著稱的影視制作巨頭Weta Digital即是典型案例。十幾年前,《阿凡達1》基于Weta Digital自己的數(shù)據(jù)中心完成制作;從2020年起,由亞馬遜云科技為其提供大規(guī)模渲染集群、云上工作室方案、機器學(xué)習(xí)堆棧等服務(wù)支撐,顯著提升制作效率與渲染效果,即將瓜熟蒂落的《阿凡達2》值得期待。
輔助創(chuàng)新藥物和疫苗研發(fā),也是HPC+擅長的領(lǐng)域。靶點的選擇和確認、化合物的發(fā)現(xiàn)與優(yōu)化、臨床研究、真實世界分析等都離不開各方的協(xié)同發(fā)力。亞馬遜云科技和藥明康德在用藥機理上合作,借助圖神經(jīng)網(wǎng)絡(luò)技術(shù)將建模時間縮短5倍;與晶泰科技在分析發(fā)現(xiàn)上也取得突破,不僅計算出最穩(wěn)定的晶體結(jié)構(gòu),而且得到其全景圖,為后續(xù)藥物研發(fā)筑牢根基。
此外,在自動駕駛、流體仿真等場景,HPC+同樣顯現(xiàn)出不可或缺的作用,在海量數(shù)據(jù)存儲與分析、從仿真結(jié)果中提取復(fù)雜關(guān)系等方面成果顯著。據(jù)了解,亞馬遜云科技已為國內(nèi)外主流商用車、乘用車廠商提供與自動駕駛相關(guān)的服務(wù)支撐,在F1賽車、帆船競技等流體仿真應(yīng)用前沿亦屢有斬獲。
未來,HPC+的陣容必將持續(xù)發(fā)展壯大。那些曾經(jīng)單打獨斗的航船會組合成無堅不摧的航空母艦,駛向數(shù)字化海洋的最深處。
2022亞馬遜云科技中國線上峰會即將在10月13日開啟,助力各行各業(yè)伙伴及客戶在云端自由構(gòu)建·探索無限。感興趣的朋友可以點擊下方鏈接或掃描海報上二維碼報名參會!