SFT的重點是學習樣式，而非知識注入，所以SFT的樣本在于其質(zhì)量而非數(shù)量，少量但精良的樣本往往勝過大批中低品質(zhì)的樣本，實現(xiàn)同樣甚至更優(yōu)的微調(diào)效果。通常情況下，2-10k數(shù)據(jù)就會有一個不錯的效果。這一理念在Meta發(fā)布的《LIMA: Less Is More for Alignment》論文中得到了有力闡述，該文獻強調(diào)了在指令微調(diào)過程中，高品質(zhì)微調(diào)數(shù)據(jù)的決定性作用。據(jù)此，SFT數(shù)據(jù)應(yīng)當將重心放在提升樣本質(zhì)量的打磨上，而非單純追求數(shù)量的增長。

1、構(gòu)建策略

• 任務(wù)導向策略：明確需要模型完成的具體任務(wù)，如文本分類、情感分析、機器翻譯等，根據(jù)任務(wù)定義構(gòu)建相應(yīng)的指令模板。例如，對于文本分類任務(wù)，指令可以是“將以下文本分類為正面或負面”。
• 數(shù)據(jù)來源多樣化策略：收集與任務(wù)相關(guān)的原始數(shù)據(jù)，數(shù)據(jù)來源可以包括公開數(shù)據(jù)集、專業(yè)數(shù)據(jù)庫、眾包平臺等。同時，可以結(jié)合領(lǐng)域知識庫生成包含特定領(lǐng)域概念的指令和響應(yīng)。
• 數(shù)據(jù)增強策略：通過同義詞替換、句子重構(gòu)等方法增加數(shù)據(jù)多樣性，提高模型的泛化能力。還可以適當構(gòu)建few-shot及COT（Chain of Thought）數(shù)據(jù)加入訓練，有助于模型的指令理解以及多輪對話能力。
• 多任務(wù)學習與混合訓練策略：可以采用多任務(wù)學習的方式，將不同的SFT數(shù)據(jù)源混合后進行訓練。也可以采用混合序列訓練或雙階段混合微調(diào)（DMT）策略，先在專業(yè)數(shù)據(jù)集上訓練，再在通用能力數(shù)據(jù)集上訓練，或在第二階段加入不同比例的專業(yè)數(shù)據(jù)。

2、構(gòu)建原則

樣本多樣性（Sample Diversity）

• 指令多樣性：考察樣本中指令的覆蓋范圍是否廣泛，是否包含了各類任務(wù)類型、不同難度級別以及多樣化的指令結(jié)構(gòu)和表達方式，確保模型在微調(diào)后能應(yīng)對多種復雜情境。
• 內(nèi)容多樣性：檢查樣本中提供的文本內(nèi)容是否涵蓋了不同主題、文體、長度以及語境，以避免模型在特定領(lǐng)域或文本類型上過擬合，確保其具備良好的泛化能力。

答案質(zhì)量（Answer Quality）

• 準確性（Accuracy）：評估答案是否準確無誤地響應(yīng)了給定指令和內(nèi)容，是否忠實反映了任務(wù)要求，且不包含事實性錯誤、邏輯矛盾或語義模糊。
• 完備性（Completeness）：考察答案是否全面覆蓋了指令所要求的所有任務(wù)點，尤其對于多步驟或復合任務(wù)，答案應(yīng)完整體現(xiàn)所有必要的操作結(jié)果。
• 簡潔性與清晰度（Conciseness & Clarity）：衡量答案是否言簡意賅、表達清晰，避免冗余信息或含糊表述，確保模型在微調(diào)后生成的輸出易于理解和使用。

一致性（Consistency）

• 內(nèi)部一致性：檢查同一指令對不同內(nèi)容的處理結(jié)果是否保持一致，即模型在相似情境下應(yīng)給出相似的答案。
• 外部一致性：對比樣本答案與已知的知識庫、專家判斷或公認的基準結(jié)果，確保答案符合領(lǐng)域共識和常識。

難度適配（Difficulty Calibration）

難易程度分布：分析樣本集中簡單、中等、復雜任務(wù)的比例，確保微調(diào)數(shù)據(jù)集包含不同難度級別的樣本，有助于模型逐步提升處理復雜指令的能力。

噪聲控制（Noise Reduction）

• 標簽錯誤檢查：識別并剔除標注錯誤或不一致的樣本，確保答案與指令、內(nèi)容間的映射關(guān)系正確無誤。
• 數(shù)據(jù)清洗：去除重復樣本、無關(guān)內(nèi)容或低質(zhì)量文本，提升數(shù)據(jù)集的整體純凈度。

3、構(gòu)建流程

• 確定任務(wù)和指令：明確任務(wù)定義，根據(jù)任務(wù)構(gòu)建相應(yīng)的指令模板。
• 收集原始數(shù)據(jù)：從公開數(shù)據(jù)集、專業(yè)數(shù)據(jù)庫或眾包平臺等渠道收集與任務(wù)相關(guān)的原始數(shù)據(jù)。
• 數(shù)據(jù)清洗：對收集的數(shù)據(jù)進行清洗，去除無效或不相關(guān)的信息。
• 標注數(shù)據(jù)：按照制定的標注標準，通過人工標注或使用半自動化工具標注數(shù)據(jù)，包括指令和預期輸出。
• 設(shè)計指令微調(diào)數(shù)據(jù)集：將數(shù)據(jù)集分割為訓練集、驗證集和測試集。同時，根據(jù)需要對指令進行格式化，確保與模型輸入要求一致。
• 增強數(shù)據(jù)多樣性：通過數(shù)據(jù)增強方法和覆蓋不同場景，提高數(shù)據(jù)的多樣性和模型的泛化能力。
• 評估和迭代：對構(gòu)建的數(shù)據(jù)集進行評估，檢查數(shù)據(jù)質(zhì)量和多樣性是否符合要求。根據(jù)評估結(jié)果進行迭代優(yōu)化，以提高數(shù)據(jù)集的質(zhì)量。