云服務(wù)讓HPC死而復(fù)生
HPC是高性能計算(High Performance Computing)機群的簡稱，指能夠執(zhí)行一般個人電腦無法處理的大資料量與高速運算的電腦，其基本組成組件與個人電腦的概念無太大差異，但規(guī)格與性能則強大許多。當前通常指使用了GPU/FPGA/RDMA/高性能CPU等。
HPC性能很高，但同時帶來一個影響是，需要專門的軟件，更高的成本，所以客戶有綁定的風險，所以客戶采購的意愿很底。云服務(wù)資源租憑的模式有點讓HPC死而復(fù)生的感覺。
各大云服務(wù)廠商都提供了HPC服務(wù)：
阿里的HPC
騰訊的HPC
阿里騰訊只是提供了物理機資源租憑，Azure/AWS在上層提供一個Batch服務(wù)，解決HPC場景并行工作場景。下面以Azure為例：
https://docs.microsoft.com/zh-cn/azure/batch/batch-technical-overview
Azure 批處理是一項平臺服務(wù)，適用于在云中有效運行大規(guī)模并行和高性能計算 (HPC) 應(yīng)用程序。 Azure 批處理可以計劃要在托管的虛擬機集合上運行的計算密集型工作，并且可以縮放計算資源，使之符合作業(yè)的需求。
使用 Azure 批處理時，可以輕松定義用于大規(guī)模并行執(zhí)行應(yīng)用程序的 Azure 計算資源。不需要手動創(chuàng)建、配置和管理 HPC 群集、各個虛擬機、虛擬網(wǎng)絡(luò)或復(fù)雜的作業(yè)和任務(wù)計劃基礎(chǔ)結(jié)構(gòu)。 Azure 批處理自動執(zhí)行這些任務(wù)，或者為用戶簡化這些任務(wù)。
批處理是一種托管的 Azure 服務(wù)，可用于實現(xiàn)批處理或批量計算 -- 運行大量類似任務(wù)以獲取所需的結(jié)果。定期處理、轉(zhuǎn)換和分析大量數(shù)據(jù)的組織最常使用批量計算。
Batch很適合處理本質(zhì)并行(也稱為“超簡單并行”)的應(yīng)用程序和工作負荷。本質(zhì)并行的工作負荷是指容易拆分成多個任務(wù)，在多臺計算機上同時執(zhí)行的工作負荷。
常見使用此技術(shù)處理的一些工作負荷示例如下：
- 金融風險建模
- 氣候和水文數(shù)據(jù)分析
- 圖像渲染、分析和處理
- 媒體編碼和轉(zhuǎn)碼
- 基因序列分析
- 工程壓力分析
- 軟件測試
用戶還可以使用 Batch 執(zhí)行并行計算(***加上歸納步驟)，以及其他更復(fù)雜的 HPC 工作負荷，例如 消息傳遞接口 (MPI) 應(yīng)用程序。
使用 Batch API 來與 Batch 服務(wù)交互的一個常見方案涉及在計算節(jié)點池上放大本質(zhì)并行任務(wù)，例如渲染 3D 場景的圖像。例如，此計算節(jié)點池可能是“渲染場”，為渲染作業(yè)提供數(shù)十、數(shù)百甚至數(shù)千個核心。
下圖顯示一個常見的 Batch 工作流，其中有一個客戶端應(yīng)用程序或托管服務(wù)使用 Batch 運行并行工作負荷。
在此常見方案中，應(yīng)用程序或服務(wù)執(zhí)行以下步驟，在 Azure Batch 中處理計算工作負荷：
1. 將輸入文件和處理這些文件的應(yīng)用程序上載到 Azure存儲帳戶。輸入文件可以是應(yīng)用程序要處理的任何數(shù)據(jù)，例如金融建模數(shù)據(jù)或要轉(zhuǎn)碼的視頻文件。應(yīng)用程序文件可以是任何用于處理數(shù)據(jù)的應(yīng)用程序，例如 3D 渲染應(yīng)用程序或媒體轉(zhuǎn)碼器。
2. 在 Batch 帳戶中創(chuàng)建計算節(jié)點的 Batch 池 - 這些節(jié)點是將執(zhí)行任務(wù)的虛擬機。需要指定屬性，例如節(jié)點大小、其操作系統(tǒng)，以及節(jié)點加入池時要安裝的應(yīng)用程序在 Azure 存儲中的位置(在步驟 1 中上載的應(yīng)用程序)。用戶還可以配置池，使之隨任務(wù)生成的工作負荷自動縮放。自動縮放可動態(tài)調(diào)整池中的計算節(jié)點數(shù)。
3. 創(chuàng)建 Batch 作業(yè) ，在計算節(jié)點池上運行工作負荷。創(chuàng)建作業(yè)時，需要將它與 Batch 池關(guān)聯(lián)。
4. 將 任務(wù) 添加到作業(yè)。當你將任務(wù)添加到作業(yè)時，Batch 服務(wù)將自動計劃任務(wù)在池中的計算節(jié)點上執(zhí)行。每項任務(wù)使用上載的應(yīng)用程序來處理輸入文件。
- 4a. 任務(wù)執(zhí)行之前，它可以將它要處理的數(shù)據(jù)(輸入文件)下載到它被分配到的計算節(jié)點。如果應(yīng)用程序未安裝在節(jié)點上(請參閱步驟 2#)，可以從此處下載。下載完成后，任務(wù)將在它被分配到的節(jié)點上執(zhí)行。
5. 任務(wù)執(zhí)行時，你可以查詢 Batch 來監(jiān)視作業(yè)及其任務(wù)的進度?？蛻舳藨?yīng)用程序或服務(wù)通過 HTTPS 與批處理服務(wù)通信。由于監(jiān)視的任務(wù)可能成千上萬，而這些任務(wù)又運行在成千上萬的計算節(jié)點上，因此請確保高效查詢批處理服務(wù)。
6. 當任務(wù)完成時，它們可以將其輸出數(shù)據(jù)上載到 Azure 存儲空間。也可直接從計算節(jié)點上的文件系統(tǒng)檢索文件。
7. 當監(jiān)視檢測到作業(yè)中的任務(wù)已完成時，客戶端應(yīng)用程序或服務(wù)可以下載輸出數(shù)據(jù)來進一步處理或評估。
暢想一下，除了Batch場景，AI里面深度學習用tensorflow做訓練的。未來大數(shù)據(jù)的一些框架也可能會搬到HPC上，加速HPC的應(yīng)用場景。
【本文為51CTO專欄作者“大數(shù)據(jù)和云計算”的原創(chuàng)稿件，轉(zhuǎn)載請通過微信公眾號獲取聯(lián)系和授權(quán)】
