偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

微軟推出 ZeRO++ 技術(shù),可顯著減少 AI 大模型訓(xùn)練時間和成本

人工智能 新聞
微軟研究人員日前推出了名為 ZeRO++ 的新技術(shù),用于優(yōu)化在訓(xùn)練大型 AI 模型時,容易遇到的數(shù)據(jù)傳輸成本和帶寬限制的難題,可顯著減少大模型訓(xùn)練時間和成本。

6 月 27 日消息,微軟研究人員日前推出了名為 ZeRO++ 的新技術(shù),用于優(yōu)化在訓(xùn)練大型 AI 模型時,容易遇到的數(shù)據(jù)傳輸成本和帶寬限制的難題,可顯著減少大模型訓(xùn)練時間和成本。

據(jù)悉,ZeRO++ 建立在現(xiàn)有的 ZeRO 傳輸技術(shù)基礎(chǔ)上,并提供增強的通信策略,可提高訓(xùn)練效率,同時減少訓(xùn)練時間和成本。

▲ 圖源 微軟

為了減少參數(shù)通信量,ZeRO++ 可對權(quán)重進行量化,其利用基于塊的量化方法來保持訓(xùn)練精度,這種優(yōu)化的量化過程相對原始 Zero 傳輸技術(shù)更快更準確。為了能夠盡量減少通信開銷,ZeRO++ 通過在每臺機器上保持完整的模型副本,以向 GPU 顯存換取通信帶寬。而在梯度通信方面,ZeRO++ 引入了一種名為 qgZ 的新的量化梯度通信方式,可以減少跨節(jié)點的流量和延遲。

▲ 圖源 微軟

這些改進的通信技術(shù)大大減少了通信量,微軟研究人員表示,與 ZeRO 相比,ZeRO++ 減少了高達 4 倍的通信量,提高了訓(xùn)練吞吐量和效率。當在每個 GPU 上使用小批量大小時,在高帶寬集群中,ZeRO++ 相比 ZeRO-3 的吞吐量提高了 28% 至 36%。在低帶寬集群中,與 ZeRO-3 相比,ZeRO++ 實現(xiàn)了平均 2 倍的加速,使得大模型訓(xùn)練在更多種類的集群上更為可行。

IT之家注:IT之家注意到,例如 Turing-NLG、ChatGPT 和 GPT-4 這樣的大型模型,其訓(xùn)練需要跨多個 GPU 設(shè)備占用大量顯存和計算資源,而 ZeRO++ 引入了通信優(yōu)化策略,以克服在低帶寬集群上進行訓(xùn)練時原有 ZeRO 傳輸技術(shù)的帶寬限制。目前微軟已經(jīng)放出了相關(guān)技術(shù)文檔,研究人員可以利用 ZeRO++ 更有效地訓(xùn)練模型,在 AI 領(lǐng)域探索新的可能性。

責(zé)任編輯:龐桂玉 來源: IT之家
相關(guān)推薦

2023-06-25 09:55:04

模型方案

2023-06-27 13:49:00

GPU通信RLHF

2025-03-12 12:10:13

2023-11-23 18:19:15

騰訊騰訊混元Angel

2011-05-13 17:53:48

軟件測試

2011-05-13 17:58:21

軟件測試

2011-05-13 18:04:45

軟件測試

2024-12-02 11:45:48

2023-11-07 14:07:51

GPT-4大語言模型

2024-09-26 00:11:01

2024-02-27 11:26:47

2020-09-11 10:48:49

微軟機器學(xué)習(xí)開源AI

2023-09-20 16:55:15

華為AI 計算集群

2025-04-01 09:54:09

AI算法大模型AI

2023-03-22 08:19:57

微軟AIOpenAI

2023-07-11 09:37:24

CoDiAI 模型

2022-08-29 20:21:53

微軟Windows 11

2025-01-09 08:01:10

2023-11-21 14:48:11

2023-10-22 13:21:54

點贊
收藏

51CTO技術(shù)棧公眾號