由于在各種任務(wù)中的通用性，像ChatGPT和Llama 2這樣的大型語言模型(LLM)廣受歡迎。然而，有些應(yīng)用程序需要使用自定義數(shù)據(jù)對這些模型進行微調(diào)，以獲得更好的性能。

不幸的是，針對特定應(yīng)用程序?qū)Υ笮驼Z言模型(LLM)進行微調(diào)通常是復(fù)雜和令人沮喪的，并且在很大程度上取決于應(yīng)用程序類型和所需的數(shù)據(jù)。幸運的是，HyperWrite公司首席執(zhí)行官Matt Schumer開發(fā)了一個非常有用的工具--gpt-llm-trainer，它簡化了Llama 2或GPT-3.5 Turbo的微調(diào)過程。

gpt-llm-trainer將微調(diào)LLM的復(fù)雜任務(wù)減少到單個簡單明了的指令，讓用戶更容易根據(jù)自己的需求調(diào)整這些模型。

gpt-llm-trainer是如何工作的

gpt-llm-trainer采用了一種稱為“模型蒸餾”(Model Distillation)的技術(shù)。這個過程在本質(zhì)上是將知識從一個規(guī)模較大的機器學(xué)習(xí)模型(教師)轉(zhuǎn)移到一個規(guī)模較小的機器學(xué)習(xí)模型(學(xué)生)。在LLM的場景中，模型蒸餾通常涉及教師模型生成特定于任務(wù)的訓(xùn)練示例，這些示例隨后用于訓(xùn)練規(guī)模較小的模型。

gpt-llm-trainer對開發(fā)者的任務(wù)進行描述，使用GPT-4自動為其要訓(xùn)練的規(guī)模較小模型生成訓(xùn)練示例。然后，這些示例用于開發(fā)者微調(diào)選擇的模型，目前包括Llama 2和GPT-3.5 Turbo。

需要注意的是，模型蒸餾并不是一種微調(diào)LLM的萬能解決方案。在許多情況下，開發(fā)者可能仍然需要經(jīng)歷手動管理自己數(shù)據(jù)的艱難過程。然而，模型蒸餾在教師模型的表現(xiàn)上超過學(xué)生的情況下被證明特別有效。

為了確定蒸餾是否是完成任務(wù)的一種正確方法，開發(fā)者可以參考基準(zhǔn)績效報告，或者對教師和學(xué)生模型進行自己的實證研究。這將幫助開發(fā)者做出明智的決定，并優(yōu)化微調(diào)過程。

圖1：LLM模型蒸餾

如何使用gpt-llm-trainer

開發(fā)者可以在相關(guān)網(wǎng)站訪問gpt-llm-trainer的GitHub頁面。Matt還準(zhǔn)備了兩個谷歌Colab筆記本，一個用于GPT-3.5 Turbo，另一個用于Llama 2，這使得無需設(shè)置自己的Python環(huán)境即可輕松運行它們。

要使用gpt-llm-trainer工具，首先需要一個OpenAI帳戶和一個有效的API密鑰。這把密鑰應(yīng)該記在筆記本上，上面寫著“你的密鑰在這里”(YOUR KEY HERE)。

在筆記本的第一個單元格中，將輸入任務(wù)的描述、所需示例的數(shù)量以及溫度，這將調(diào)整模型的創(chuàng)造力水平。接下來的步驟很簡單：依次運行單元以生成示例并訓(xùn)練模型。

如果使用的是Llama 2筆記本，生成的模型將保存到谷歌云盤中。如果使用的是GPT-3.5筆記本，則模型將存儲在開發(fā)者的OpenAI帳戶中。

值得注意的是，OpenAI的服務(wù)條款禁止使用其LLM來訓(xùn)練競爭產(chǎn)品的模型。這意味著開發(fā)者不能將經(jīng)過gpt-llm-trainer微調(diào)的模型用于商業(yè)目的。但可以很容易地使用它來創(chuàng)建自己的寫作或編碼助手或其他個人日常使用的工具。

還要注意的是，數(shù)據(jù)生成和訓(xùn)練過程可能很耗時，這取決于開發(fā)者希望生成和微調(diào)模型的示例數(shù)量。由于示例是使用GPT-4生成的，因此監(jiān)控訓(xùn)練成本非常重要，可以用不到一美元的費用生成大約50個簡短的訓(xùn)練樣本。但是，如果計劃生成一個大型數(shù)據(jù)集，需要謹(jǐn)慎地考慮成本。你可以從生成一小批示例開始，然后評估它們的質(zhì)量并根據(jù)需要調(diào)整指令，然后再繼續(xù)創(chuàng)建整個數(shù)據(jù)集。

對于使用Llama 2筆記本的用戶，gpt-llm-trainer將默認(rèn)微調(diào)“NousResearch/ Llama -2-7b-chat-hf”模型，無需填寫申請表即可訪問。如果想調(diào)整原來的Meta Llama 2，需要修改代碼并提供Hugging Face密碼。另外，微調(diào)將使用Colab的GPU執(zhí)行，因此請確保將運行環(huán)境配置為使用GPU。

改進gpt-llm-trainer

雖然gpt-llm-trainer是一個功能強大的工具，但它基于谷歌Colab的界面并不是最友好的，因為Colab通常不是為生產(chǎn)環(huán)境設(shè)計的。

此外，還有幾個功能可以增強這個工具的可用性。例如，生成的訓(xùn)練示例將不會被存儲，并且在Colab會話結(jié)束后將被丟棄。但是，這些示例在會話期間存儲在Pandas DataFrame中，并且通過一些編碼，可以將它們導(dǎo)出到CSV文件以供將來使用。

一個有趣的想法是將gpt-llm-trainer移植到Streamlit，這將為微調(diào)LLM提供一個更加用戶友好的界面，允許使用開發(fā)者自己的訓(xùn)練示例進行引導(dǎo)，并允許存儲生成的示例以供以后使用。雖然gpt-llm-trainer是LLM蒸餾的一個很好的起點，但是有很多方法可以改進它。

原文標(biāo)題：How to fine-tune GPT-3.5 or Llama 2 with a single instruction，作者：Ben Dickson

鏈接：https://bdtechtalks.com/2023/11/03/gpt-llm-trainer/