本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

就在剛剛，UC伯克利博士、新加坡國立大學校長青年教授尤洋發(fā)布最新消息——

斬獲AAAI 2023杰出論文獎（Distinguished Paper）！

研究成果一次性將模型的訓練速度，提升72倍。

甚至網(wǎng)友在拜讀完論文之后發(fā)出感慨：

從12小時到10分鐘，嫩牛（你們牛）啊！

尤洋博士曾在求學期間刷新ImageNet以及BERT訓練速度的世界紀錄。

他所設計的算法也是廣泛應用于谷歌，微軟，英特爾，英偉達等科技巨頭。

現(xiàn)如今，已經(jīng)回國創(chuàng)業(yè)潞晨科技一年半的他，帶著團隊又做出了怎樣的算法，斬獲AI頂會如此殊榮呢？

訓練時長從12小時到10分鐘

在這項研究中，尤洋團隊提出了一種優(yōu)化策略CowClip，能夠加速CTR預測模型的大批量訓練。

CTR（click-through rate）預測模型是個性化推薦場景下的一種常用算法。

它通常需要學習用戶的反饋（點擊、收藏、購買等），而每天在線產(chǎn)生的數(shù)據(jù)量又是空前龐大的。

因此，加快CTR預估模型的訓練速度至關重要。

一般來說，提高訓練速度會使用批量訓練，不過批量太大會導致模型的準確度有所降低。

通過數(shù)學分析，團隊證明了在擴大批次時，對于不常見特征的學習率（learning rate for infrequent features)不應該進行縮放。

通過他們提出的CowClip，可以簡單有效擴展批大小。

通過在4個CTR預估模型和2個數(shù)據(jù)集上進行測試，團隊成功將原始批大小擴大了128倍，并沒有造成精度損失。

特別是在DeepFM上，通過將批大小從1K擴大到128K，CowClip實現(xiàn)了AUC超過0.1%的改進。

并在單塊V100 GPU上，將訓練時長從原本的12小時，縮短至只需10分鐘，訓練提速72倍。

目前，項目代碼已開源。團隊表示該算法也適用于NLP等任務。

團隊介紹

本文的一作是尤洋的博士生鄭奘巍，本科畢業(yè)于南京大學計算機精英班，博士畢業(yè)于新加坡國立大學。

其研究方向包括機器學習、計算機視覺和高性能計算。