已有LLM研究探索了訓(xùn)練數(shù)據(jù)對模型性能的影響，但這些研究大多集中在英文模型上，對于中文模型的研究相對較少。今天來看一篇來自貝殼的研究團(tuán)隊(duì)在2023年的一篇工作——《Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation》。

這篇工作的核心目標(biāo)是提升中文指令跟隨語言模型的性能。具體來說，本文關(guān)注如何通過優(yōu)化訓(xùn)練數(shù)據(jù)的數(shù)量、質(zhì)量、語言分布等因素，以及改進(jìn)評估方法，來提高開源語言模型在中文任務(wù)中的表現(xiàn)。

直接來看實(shí)驗(yàn)結(jié)果：

詞匯擴(kuò)展的影響

由于LLaMA的詞表構(gòu)建未針對中文進(jìn)行優(yōu)化，一個(gè)中文字符通常會被拆分為2-3個(gè)字節(jié)token，這嚴(yán)重影響了模型在中文數(shù)據(jù)上的微調(diào)和推理速度。為解決這個(gè)問題，本文基于字節(jié)對編碼（BPE）算法，使用sentencepiece在1200萬行中文文本上訓(xùn)練了一個(gè)新的分詞器，并將其詞表大小設(shè)為50K。然后將訓(xùn)練得到的新詞表與原始LLaMA詞表進(jìn)行合并，最終得到一個(gè)包含79,458個(gè)token的新詞表。

在相同訓(xùn)練數(shù)據(jù)（中文Alpaca-3.5&4 + ShareGPT）條件下：

• 基于LLaMA-EXT微調(diào)的模型得分為0.670
• 基于原始LLaMA微調(diào)的模型得分為0.652

結(jié)果表明：通過中文語料二次預(yù)訓(xùn)練擴(kuò)展詞匯表，顯著提升了模型的中文理解能力。這得益于34億中文詞語的持續(xù)預(yù)訓(xùn)練增強(qiáng)了LLaMA的中文語言表征。

數(shù)據(jù)質(zhì)量的影響

由于 ChatGPT 傾向于生成重復(fù)性較高的對話場景（如天氣查詢、機(jī)票預(yù)訂等），因此，通過人工設(shè)計(jì)首輪對話提示來引導(dǎo)其生成更豐富的內(nèi)容。首輪對話提示的目的是確定對話的主題和方向，從而讓 ChatGPT 在后續(xù)輪次中能夠生成與主題相關(guān)的對話內(nèi)容。

在首輪對話提示的基礎(chǔ)上，ChatGPT 繼續(xù)生成多輪對話，模擬用戶與 AI 助手之間的交互。通過這種方式，可以生成涵蓋多種場景和主題的多輪對話數(shù)據(jù)。

使用LLaMA-EXT模型時(shí)：

• 采用GPT-4生成數(shù)據(jù)（Alpaca-4-zh）訓(xùn)練的模型得分為0.693
• 采用text-davinci-003生成數(shù)據(jù)（Alpaca-3.5-zh）訓(xùn)練的模型得分為0.642

證明：GPT-4生成的高質(zhì)量訓(xùn)練數(shù)據(jù)能更有效提升模型性能，數(shù)據(jù)質(zhì)量對模型表現(xiàn)具有決定性影響。

語言分布的影響

對比不同語言訓(xùn)練數(shù)據(jù)的效果：

• 純中文數(shù)據(jù)（zh）訓(xùn)練的模型得分為0.679
• 純英文數(shù)據(jù)（en）訓(xùn)練的模型得分為0.659
• 中英混合數(shù)據(jù)（en+少量ShareGPT中文）得分為0.668

關(guān)鍵發(fā)現(xiàn)：
① 中文數(shù)據(jù)在中文測試場景中具有優(yōu)勢

② 模型的多語言能力可以實(shí)現(xiàn)跨語言知識遷移 

③ 少量中文數(shù)據(jù)即可顯著提升英文模型的本地化表現(xiàn)

數(shù)據(jù)量的影響

增加訓(xùn)練數(shù)據(jù)規(guī)模：

• 基礎(chǔ)數(shù)據(jù)量（Alpaca+ShareGPT）得分為0.670
• 增加Belle-3.5數(shù)據(jù)后得分提升至0.762

表明：數(shù)據(jù)量在訓(xùn)練數(shù)據(jù)量方面，數(shù)據(jù)量的增加已被證明可以顯著提高性能。擴(kuò)大高質(zhì)量訓(xùn)練數(shù)據(jù)規(guī)模能持續(xù)提升模型性能。但值得注意的是，如此巨大的改進(jìn)可能部分來自belle-3.5和評估數(shù)據(jù)之間的相似分布。評估數(shù)據(jù)的類別、主題和復(fù)雜性將對評估結(jié)果產(chǎn)生很大影響。

與ChatGPT的差距

• 本文的最佳模型得分為0.762
• ChatGPT得分為0.824

技術(shù)報(bào)告證明中文大模型的訓(xùn)練是可行的，雖然與ChatGPT還有差距。這里需要指出后續(xù)RLHF也很重要。

總結(jié)

① 詞匯擴(kuò)展和中文預(yù)訓(xùn)練是提升中文性能的基礎(chǔ)   

② 數(shù)據(jù)質(zhì)量比數(shù)量更重要   

③ 多語言模型具有跨語言遷移能力   

④ 構(gòu)建均衡全面的評估集是準(zhǔn)確衡量進(jìn)展的關(guān)鍵