隨著人工智能技術(shù)的飛速發(fā)展，模型規(guī)模的不斷膨脹對底層算力提出了前所未有的挑戰(zhàn)。為了支撐AIGC領(lǐng)域中海量數(shù)據(jù)的大規(guī)模訓(xùn)練，大量服務(wù)器通過高速網(wǎng)絡(luò)組成大規(guī)模算力集群，互聯(lián)互通，共同完成訓(xùn)練任務(wù)。

然而，集群規(guī)模的擴(kuò)大也伴隨著通信開銷的激增，成為制約計算效率的關(guān)鍵因素。在模型訓(xùn)練過程中，GPU頻繁地在計算與等待數(shù)據(jù)同步之間切換，造成了寶貴計算資源的閑置。只有把提升通信的效率不斷提升、把通信成本占到降到最低，才能充分利用計算資源。因此，要充分發(fā)揮GPU計算資源的強(qiáng)大算力，必須構(gòu)建一個全新的高性能網(wǎng)絡(luò)底座，用高速網(wǎng)絡(luò)的大帶寬來助推整個集群計算的高效率。

2023年，騰訊云首次公開展示了其自研的星脈高性能計算網(wǎng)絡(luò)，全面提升企業(yè)大模型的訓(xùn)練效率，在云上加速大模型技術(shù)的迭代升級和落地應(yīng)用。一年后，星脈高性能計算網(wǎng)絡(luò)全面升級，升級后的星脈網(wǎng)絡(luò)2.0搭載全自研的網(wǎng)絡(luò)設(shè)備與AI算力網(wǎng)卡，支持超10萬卡大規(guī)模組網(wǎng)，網(wǎng)絡(luò)通信效率比上一代提升60%，讓大模型訓(xùn)練效率提升20%。

騰訊云副總裁王亞晨形象地比喻道，AI大模型就像是一場F1比賽，騰訊云專門設(shè)計了星脈高性能算力網(wǎng)絡(luò)“賽道”，并自研了TiTa和TCCL網(wǎng)絡(luò)協(xié)議作為“道路控制系統(tǒng)與專業(yè)車隊(duì)”，共同讓“騰訊云高性能計算集群HCC的GPU服務(wù)器”這臺馬力強(qiáng)大的F1賽車發(fā)揮最大的算力性能，助力客戶在AI大模型的競爭中遙遙領(lǐng)先。同時配備了專業(yè)的搶修隊(duì)，一旦故障發(fā)生，快速定位和搶救，讓賽事快速恢復(fù)運(yùn)行。

騰訊云副總裁王亞晨

此次星脈網(wǎng)絡(luò)2.0就針對自研網(wǎng)絡(luò)設(shè)備、通信協(xié)議、通信庫以及運(yùn)營系統(tǒng)四大關(guān)鍵組件進(jìn)行了全面升級。

賽道升級-自研網(wǎng)絡(luò)硬件

通過自研網(wǎng)絡(luò)硬件設(shè)備，星脈網(wǎng)絡(luò)“賽道”也進(jìn)行了全新升級。自研交換機(jī)容量從25.6T升級到51.2T，光模塊的速率從200G升級到了400G，讓網(wǎng)絡(luò)延遲降低40%，整體組網(wǎng)規(guī)模翻倍，同一訓(xùn)練集群最大可支持超過10萬卡。同時支持可插拔控制卡，全面降低了低功耗與運(yùn)維成本。

值得注意的是，星脈網(wǎng)絡(luò)2.0搭載了騰訊自研的全新算力網(wǎng)卡CNIC，這是公用云業(yè)內(nèi)首款為AI訓(xùn)練設(shè)計的網(wǎng)卡，網(wǎng)卡采用最新一代 FPGA 芯片，整卡帶寬可達(dá)400Gbps，具備業(yè)界最高的3.2T整機(jī)通信帶寬。

指揮中心升級-自研通信協(xié)議TiTA

自研TITA協(xié)議相當(dāng)于指揮中心，分配車流量，避免單一車道擁堵，釋放賽車速度極限。相比起上一代，TiTa協(xié)議2.0從部署在交換機(jī)轉(zhuǎn)移到了端側(cè)的網(wǎng)卡上，協(xié)議算法也從原來的被動擁塞算法升級到了更為智能的主動擁塞控制算法，可主動調(diào)整數(shù)據(jù)包發(fā)送速率，從而避免網(wǎng)絡(luò)擁堵；并通過擁堵智能調(diào)度，實(shí)現(xiàn)網(wǎng)絡(luò)擁塞快速自愈。這讓MoE訓(xùn)練下網(wǎng)絡(luò)通信性能相比1.0提升30%，帶來訓(xùn)練效率10%的提升。

車隊(duì)升級-集合通信庫TCCL

星脈網(wǎng)絡(luò)1.0的通信庫TCCL相當(dāng)于智能導(dǎo)航系統(tǒng)，縮短到達(dá)路徑。而星脈網(wǎng)絡(luò)2.0的TCCL通信庫就像一支更專業(yè)的車隊(duì)，原來只給車加了導(dǎo)航，現(xiàn)在可以根據(jù)不同的場景，對賽車本身進(jìn)行改裝，讓賽車時刻處于最佳性能。TCCL 2.0 階段，騰訊云通過NVLINK+NET異構(gòu)并行通信、Auto-Tune Network Expert自適應(yīng)算法等通信庫的升級，在MoE模型訓(xùn)練下，給星脈網(wǎng)絡(luò)帶來了30%的通信效率提升，讓模型訓(xùn)練效率提升10%。

搶修隊(duì)升級-運(yùn)營系統(tǒng)GOM&GOA

運(yùn)營系統(tǒng)是搶修隊(duì)，全棧網(wǎng)絡(luò)運(yùn)營系統(tǒng)保障了道路的可用性，出現(xiàn)異常后第一時間搶修，讓網(wǎng)絡(luò)盡快恢復(fù)訓(xùn)練。運(yùn)營系統(tǒng)2.0新增靈境仿真平臺，通過收集訓(xùn)練過程中的日志記錄與GPU相關(guān)信息，通過仿真模擬還原訓(xùn)練任務(wù)的空間關(guān)系和通信的時序關(guān)系，定位大模型訓(xùn)練的卡死和性能抖動類故障，定位效率從傳統(tǒng)手段的天級別縮短到10分鐘以內(nèi)。

面對GPU性能的暴增，網(wǎng)絡(luò)成為了集群算力的瓶頸。騰訊正在規(guī)劃星脈3.0，將基于以太網(wǎng)技術(shù)構(gòu)建開放、彈性的ETH-X超節(jié)點(diǎn)系統(tǒng)，以突破集群算力的瓶頸，降低集群成本，為AI技術(shù)的進(jìn)一步發(fā)展提供更強(qiáng)大的支持。