偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

陳丹琦團(tuán)隊(duì)降本大法又來(lái)了:數(shù)據(jù)砍掉三分之一,性能卻完全不減

人工智能 新聞
雖然之前元數(shù)據(jù)談過(guò)很多,但一作高天宇表示,他們是第一個(gè)展示它如何影響下游性能,以及具體如何實(shí)踐以確保推理中具備普遍實(shí)用性。

陳丹琦團(tuán)隊(duì)又帶著他們的降本大法來(lái)了——

數(shù)據(jù)砍掉三分之一,大模型性能卻完全不減。

他們引入了元數(shù)據(jù),加速了大模型預(yù)訓(xùn)練的同時(shí),也不增加單獨(dú)的計(jì)算開(kāi)銷(xiāo)。

圖片

在不同模型規(guī)模(600M - 8B)和訓(xùn)練數(shù)據(jù)來(lái)源的情況下,均能實(shí)現(xiàn)性能方面的提升。

雖然之前元數(shù)據(jù)談過(guò)很多,但一作高天宇表示,他們是第一個(gè)展示它如何影響下游性能,以及具體如何實(shí)踐以確保推理中具備普遍實(shí)用性。

圖片

來(lái)看看具體是如何做到的吧?

元數(shù)據(jù)加速大模型預(yù)訓(xùn)練

語(yǔ)言模型預(yù)訓(xùn)練語(yǔ)料庫(kù)中存在著風(fēng)格、領(lǐng)域和質(zhì)量水平的巨大差異,這對(duì)于開(kāi)發(fā)通用模型能力至關(guān)重要,但是高效地學(xué)習(xí)和部署這些異構(gòu)數(shù)據(jù)源中每一種數(shù)據(jù)源的正確行為卻極具挑戰(zhàn)性。

在這一背景下,他們提出了一種新的預(yù)訓(xùn)練方法,稱(chēng)為元數(shù)據(jù)調(diào)節(jié)然后冷卻(MeCo,Metadata Conditioning then Cooldown)。

圖片

具體包括兩個(gè)訓(xùn)練階段。

預(yù)訓(xùn)練階段(90%),將元數(shù)據(jù)(如文檔 URL 的絕對(duì)域名c)與文檔拼接(如 “URL: en.wikipedia.org\n\n [document]”)進(jìn)行訓(xùn)練。

(例如,如果文檔的 URL 是 https://en.wikipedia.org/wiki/Bill Gates,那么文檔 URL 的絕對(duì)域名c就是 en.wikipedia.org;這種 URL 信息在許多預(yù)訓(xùn)練語(yǔ)料庫(kù)中都很容易獲得,它們大多來(lái)自 CommonCrawl2(一個(gè)開(kāi)放的網(wǎng)絡(luò)抓取數(shù)據(jù)存儲(chǔ)庫(kù)))
當(dāng)使用其他類(lèi)型的元數(shù)據(jù)時(shí),URL 應(yīng)替換為相應(yīng)的元數(shù)據(jù)名稱(chēng)。

他們只計(jì)算文檔標(biāo)記的交叉熵?fù)p失,而不考慮模板或元數(shù)據(jù)中的標(biāo)記,因?yàn)樵诔醪綄?shí)驗(yàn)中發(fā)現(xiàn),對(duì)這些標(biāo)記進(jìn)行訓(xùn)練會(huì)略微損害下游性能。

最后10%的訓(xùn)練步驟為冷卻階段,使用標(biāo)準(zhǔn)數(shù)據(jù)訓(xùn)練,繼承元數(shù)據(jù)調(diào)節(jié)階段的學(xué)習(xí)率和優(yōu)化器狀態(tài),即從上一階段的最后一個(gè)檢查點(diǎn)初始化學(xué)習(xí)率、模型參數(shù)和優(yōu)化器狀態(tài),并繼續(xù)根據(jù)計(jì)劃調(diào)整學(xué)習(xí)率:

1)禁用跨文檔Attention,這既加快了訓(xùn)練速度(1.6B 模型的訓(xùn)練速度提高了 25%),又提高了下游性能。

2)當(dāng)將多個(gè)文檔打包成一個(gè)序列時(shí),我們確保每個(gè)序列從一個(gè)新文檔開(kāi)始,而不是從一個(gè)文檔的中間開(kāi)始—當(dāng)將文檔打包成固定長(zhǎng)度時(shí),這可能會(huì)導(dǎo)致一些數(shù)據(jù)被丟棄,但事實(shí)證明這有利于提高下游性能。

本次實(shí)驗(yàn)使用了Llama Transformer架構(gòu)和Llama-3 tokenizer。我們使用四種不同的模型大小進(jìn)行了實(shí)驗(yàn):600M、1.6B、3B 和 8B,以及相關(guān)優(yōu)化設(shè)置。

結(jié)果顯示,MeCo 的表現(xiàn)明顯優(yōu)于標(biāo)準(zhǔn)預(yù)訓(xùn)練,其平均性能與 240B 標(biāo)記的基線相當(dāng),而使用的數(shù)據(jù)卻減少了 33%。

圖片

最后總結(jié),他們主要完成了這三項(xiàng)貢獻(xiàn)。

1、 MeCo 大幅加快了預(yù)訓(xùn)練

實(shí)驗(yàn)證明,MeCo 使一個(gè) 1.6B 的模型在少用 33% 的訓(xùn)練數(shù)據(jù)的情況下,達(dá)到了與標(biāo)準(zhǔn)預(yù)訓(xùn)練模型相同的平均下游性能。在不同的模型規(guī)模(600M、1.6B、3B 和 8B)和數(shù)據(jù)源(C4、RefinedWeb 和 DCLM)下,MeCo 顯示出一致的收益。

圖片
圖片

2、MeCo 開(kāi)啟了引導(dǎo)語(yǔ)言模型的新方法。

例如,使用factquizmaster.com(非真實(shí)URL)可以提高常識(shí)性任務(wù)的性能(例如,在零次常識(shí)性問(wèn)題解答中絕對(duì)提高了6%),而使用wikipedia.org與標(biāo)準(zhǔn)的無(wú)條件推理相比,毒性生成的可能性降低了數(shù)倍。

圖片
圖片

3、消解了 MeCo 的設(shè)計(jì)選擇,并證明 MeCo 與不同類(lèi)型的元數(shù)據(jù)兼容。

使用散列 URL 和模型生成的主題進(jìn)行的分析表明,元數(shù)據(jù)的主要作用是按來(lái)源將文檔歸類(lèi)。因此,即使沒(méi)有URL,MeCo 也能有效地整合不同類(lèi)型的元數(shù)據(jù),包括更精細(xì)的選項(xiàng)。

圖片

陳丹琦團(tuán)隊(duì)

論文作者來(lái)自普林斯頓NLP小組(隸屬于普林斯頓語(yǔ)言與智能PLI)博士生高天宇、Alexander Wettig、Luxi He、YiHe Dong、Sadhika Malladi以及陳丹琦。

一作高天宇,本科畢業(yè)于清華,是2019年清華特獎(jiǎng)得主,目前普林斯頓五年級(jí)博士生,預(yù)計(jì)今年畢業(yè),繼續(xù)在學(xué)界搞研究,研究領(lǐng)域包括自然語(yǔ)言處理和機(jī)器學(xué)習(xí)的交叉領(lǐng)域,特別關(guān)注大語(yǔ)言模型(LLM),包括構(gòu)建應(yīng)用程序、提高LLM功能和效率。

圖片

Luxi He目前是普林斯頓計(jì)算機(jī)專(zhuān)業(yè)二年級(jí)博士生,目前研究重點(diǎn)是理解語(yǔ)言模型并改善其一致性和安全性,碩士畢業(yè)于哈佛大學(xué)。

YiHe Dong目前在谷歌從事機(jī)器學(xué)習(xí)研究和工程工作,專(zhuān)注于結(jié)構(gòu)化數(shù)據(jù)的表示學(xué)習(xí)、自動(dòng)化特征工程和多模態(tài)表示學(xué)習(xí),本科畢業(yè)于普林斯頓。

責(zé)任編輯:張燕妮 來(lái)源: 量子位
相關(guān)推薦

2015-08-14 16:59:53

2009-12-09 09:50:15

上網(wǎng)本Linux

2009-02-25 08:50:45

Mini9戴爾Linux

2010-10-28 13:27:19

2025-05-14 08:00:00

AIGenAI人工智能

2020-02-06 10:01:20

安全網(wǎng)絡(luò)欺詐數(shù)字

2009-04-27 09:57:47

員工竊取信息安全

2012-04-04 13:02:06

iPhone

2021-10-25 22:30:11

加密貨幣比特幣貨幣

2021-02-19 13:06:14

加密貨幣比特幣貨幣

2015-09-28 11:20:54

農(nóng)業(yè)大數(shù)據(jù)美國(guó)

2009-03-26 08:53:39

微軟IE8瀏覽器

2013-04-08 09:42:03

云服務(wù)市場(chǎng)亞馬遜

2011-05-16 14:03:54

2022-09-14 18:24:19

AB實(shí)驗(yàn)平臺(tái)自動(dòng)化

2015-06-29 09:37:39

數(shù)據(jù)中心數(shù)據(jù)中心服務(wù)器

2022-06-07 14:21:08

恢復(fù)數(shù)據(jù)IT領(lǐng)導(dǎo)者

2021-02-19 11:06:32

物聯(lián)網(wǎng)平臺(tái)物聯(lián)網(wǎng)IOT

2023-06-19 08:12:41

MetaAI

2024-05-28 09:28:26

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)