近日，銳捷網(wǎng)絡正式成為超以太網(wǎng)聯(lián)盟 (Ultra Ethernet Consortium,UEC)新成員，該聯(lián)盟是在 Linux 基金會的牽頭下由多家全球頭部科技企業(yè)聯(lián)合成立，致力于突破傳統(tǒng)以太網(wǎng)的性能瓶頸，滿足AI和高性能計算對智能算力日益激增的需求。

銳捷網(wǎng)絡始終致力于將技術與應用創(chuàng)造性融合，以開放的態(tài)度全面擁抱面向下一代智算網(wǎng)絡的創(chuàng)新技術，為優(yōu)化以太網(wǎng)標準、實現(xiàn)高性能網(wǎng)絡注入新的活力，并為未來網(wǎng)絡技術持續(xù)做出貢獻。

RoCE用于未來AI/HPC網(wǎng)絡的局限性

RDMA(Remote Direct Memory Access)是當今 AI 訓練作業(yè)的基本組成部分，允許 CPU、GPU、TPU等加速器將數(shù)據(jù)直接從發(fā)送方內存?zhèn)鬏數(shù)浇邮辗絻却?，單個GPU/TPU加速器可以集成多個同構或異構網(wǎng)絡 I/O。其中RoCE (RDMA over Converged Ethernet) 通過 Verbs API 表達的方式可追溯到上世紀末，多年前才首次由InfiniBand貿(mào)易協(xié)會（InfiniBand Trade Association,IBTA）進行標準化，其底層的以太網(wǎng)絡已經(jīng)提供每秒400G甚至800G速率，這比最初設想的場景提高了幾個數(shù)量級，重新審視AI/HPC網(wǎng)絡核心所采用的底層傳輸協(xié)議和網(wǎng)絡API成為必然。

實際上，隨著人工智能模型規(guī)模擴大、通信模式及計算方法的多樣化，傳統(tǒng)基于RoCE的RDMA方案存在諸多問題:

• RoCE和DCQCN是擁塞控制算法，用于避免鏈路超限并提高速率。但DCQCN對其下方網(wǎng)絡和負載性質敏感，需手動調整性能。未來的AI網(wǎng)絡需要一種適用于任何數(shù)據(jù)中心的傳輸協(xié)議。
• 網(wǎng)絡運營商在“無損”網(wǎng)絡（InfiniBand和RoCE）上運行RDMA以避免此行為，但效率低。優(yōu)先級流量控制 (PFC) 生成逐跳背壓以太網(wǎng)是無損的，但背壓（Back Pressure）傳播導致?lián)砣麡?、隊頭阻塞、環(huán)路死鎖等，使網(wǎng)絡性能下降。PFC/ECN、DCQCN需根據(jù)網(wǎng)絡情況調整、操作和監(jiān)控，成本高。未來的AI網(wǎng)絡急需不依賴于無損結構的傳輸協(xié)議。
• 無論是在帶寬還是對等點數(shù)量方面。Verbs API設計規(guī)模已經(jīng)捉襟見肘。RC（可靠連接）傳輸模式如果不減少快速路徑狀態(tài)，就不適合高速率下的高效硬件卸載。此外，固有的流程到流程 (N*P*P)的可擴展性問題也是一大限制。這些問題還沒有完美的解決方案，而未來的AI網(wǎng)絡需要能支撐Verbs API設計規(guī)模的傳輸協(xié)議。
• AI應用程序傳輸大量數(shù)據(jù)，受NIC QP Scale和AI模型數(shù)據(jù)交互方式限制，傳統(tǒng)RoCE需仔細進行大象流負載均衡以防止鏈路過載。AI工作負載決定了整個計算周期受限于所有流成功交付，而未來更高性能的AI網(wǎng)絡需要改進的負載均衡技術。

另一方面，TCP/IP具有RoCE沒有的的優(yōu)點，包括生態(tài)系統(tǒng)、性能/規(guī)模、工具、成本、標準調整和GPU超大規(guī)模部署。但為真正滿足AI網(wǎng)絡需求，以太網(wǎng)需要進行改進創(chuàng)新，盡快將消息傳遞到所有參與端點，避免少數(shù)端點出現(xiàn)長時間延遲，并盡量減少“尾部延遲”，提供更高性能并適應未來AI/HPC和Cloud網(wǎng)絡規(guī)模擴大、帶寬提高和時延降低的需求。

超以太網(wǎng)傳輸協(xié)議（UET）

盡管TCP/IP具有一些RoCE不具備的優(yōu)點，但是在無損架構下（Lossless Network）運行并提供丟包重傳功能，同時避免觸發(fā)隊頭阻塞和擁塞擴散，這一挑戰(zhàn)仍然存在。為了應對這一挑戰(zhàn)，超以太網(wǎng)聯(lián)盟（UEC）提出了超以太網(wǎng)傳輸協(xié)議（Ultra Ethernet Transport, UET），該協(xié)議可以在保留以太網(wǎng)/IP生態(tài)系統(tǒng)優(yōu)勢的同時，為AI和HPC應用程序提供所需的性能。UET傳輸協(xié)議通過提供以下功能超越了現(xiàn)狀：

• 開放協(xié)議規(guī)范從一開始就設計為在 IP 和以太網(wǎng)上運行
• 多路徑、數(shù)據(jù)包噴射傳輸，充分利用 AI 網(wǎng)絡，不會造成擁塞或隊頭阻塞，無需集中式負載均衡算法和路由控制器
• Incast 管理機制可控制到目標主機的最終鏈路上的扇入，并以最小的丟包率進行控制
• 高效的速率控制算法，允許傳輸快速提升至線速，同時不會導致競爭流的性能損失
• 用于無序（out-of-order)數(shù)據(jù)包傳輸?shù)?API，也可選擇按順序 (in-order)完成消息，最大限度地提高網(wǎng)絡和應用程序的并發(fā)性，并最大限度地減少消息延遲
• 可擴展未來網(wǎng)絡，支持 1,000,000 個端點
• 性能和網(wǎng)絡利用率優(yōu)化無需針對網(wǎng)絡和工作負載進行擁塞算法參數(shù)調整
• 旨在在商用硬件上實現(xiàn) 800G、1.6T 和未來更快以太網(wǎng)的線速性能

UET協(xié)議將超越傳輸層，定義標準語義層、改進的低延遲交付機制以及一致的 AI 和 HPC API，并提供標準的多供應商支持，以便通過 UEC 傳輸協(xié)議實現(xiàn)這些 API。

為了實現(xiàn)全行業(yè)在互操作性方面的合作，UEC構建了完整的基于以太網(wǎng)的通信堆棧架構，以最好地匹配快速發(fā)展的、大規(guī)模的AI/HPC工作負載，并提供一流的功能、性能、互操作性、TCO以及開發(fā)人員和最終用戶友好性。UEC由在高性能解決方案方面擁有悠久歷史和經(jīng)驗的公司創(chuàng)立，每個成員都以平等的方式為更廣泛的高性能生態(tài)系統(tǒng)做出了重大貢獻。這些成員包括AMD、Arista、博通、思科、Eviden、HPE、Intel、Meta和微軟，他們都有數(shù)十年的網(wǎng)絡、人工智能、云和高性能計算大規(guī)模部署經(jīng)驗，將為UEC的四個工作組——物理層、鏈路層、傳輸層和軟件層做出貢獻。

銳捷網(wǎng)絡在行動

銳捷網(wǎng)絡作為智算中心網(wǎng)絡建設者，也在踐行以太無損網(wǎng)絡解決方案的路線，支撐超大規(guī)模的算力集群建設。銳捷網(wǎng)絡推出了AI-Fabric智算中心網(wǎng)絡解決方案，天然支持無損機制和負載均衡，方案優(yōu)勢具體如下：

• 基于AI fabric的架構設計，NCP層面采用1. 1 : 1的超速比緩解網(wǎng)絡中Incast的問題規(guī)避擁塞，基于Cell的高效路由可以加速互聯(lián)鏈路的故障收斂時間，不需要部署復雜低效的BGP路由。
• 基于Cell的切片技術，優(yōu)化鏈路的負載均衡效果提升網(wǎng)絡帶寬利用率，縮短業(yè)務的流完成時間FCT 。
• 基于VoQ緩存和Credit的擁塞控制機制實現(xiàn)Fabric網(wǎng)絡中的數(shù)據(jù)無損轉發(fā)，徹底解決丟包重傳的問題確保業(yè)務持續(xù)高吞吐地轉發(fā)，進而來提升整個算力集群的GPU利用率。

（詳見《銳捷網(wǎng)絡高性能網(wǎng)絡方案，為AIGC打通 “任督二脈”》）

同時，在傳統(tǒng)RoCE協(xié)議的基礎上，銳捷網(wǎng)絡在多路徑流量調度技術上進行了創(chuàng)新，推出RALB(Remote Adaptive Load Balancing)技術。通過感知鏈路質量，進行逐包的全局動態(tài)負載均衡，讓網(wǎng)絡帶寬利用率可達97.6%，有效實現(xiàn)端網(wǎng)聯(lián)動。（詳見《解決數(shù)據(jù)中心網(wǎng)絡擁塞，銳捷RALB負載均衡技術助力高效數(shù)據(jù)傳輸》）

在全球互聯(lián)網(wǎng)流量不斷增長和數(shù)據(jù)應用需求日益多樣化的背景下，銳捷網(wǎng)絡致力于推動網(wǎng)絡技術的進步和發(fā)展，全局負載均衡解決方案的推出正是其不斷探索和創(chuàng)新的有力證明。通過持續(xù)的技術研發(fā)和產(chǎn)品創(chuàng)新，銳捷網(wǎng)絡將繼續(xù)開放創(chuàng)新，積極探索國內外先進技術，為全球的數(shù)據(jù)中心提供更加高效、可靠、智能的網(wǎng)絡解決方案，助力互聯(lián)網(wǎng)、運營商及各行各業(yè)的快速發(fā)展。