微調在構建有價值的人工智能工具中起著至關重要的作用。這種使用更有針對性的數(shù)據(jù)集精煉預訓練模型的過程可以使用戶大大增加模型對專業(yè)內容的理解，允許用戶為特定任務的模型增加現(xiàn)成知識。

雖然這個過程可能需要時間，但與從頭開始訓練模型相比，它的成本效益通常要高三倍。這一價值正是OpenAI最近宣布擴展其自定義模型程序以及為其微調API提供各種新功能的原因。

自服務微調API的新特性

OpenAI最初于2023年8月宣布推出針對GPT-3的自助微調API，并得到了AI社區(qū)的熱烈響應。OpenAI報告說，成千上萬的組織已經(jīng)使用API來訓練成千上萬的模型，比如用特定的編程語言生成代碼，將文本總結為特定的格式，或者根據(jù)用戶行為創(chuàng)作個性化的內容。

從2023年8月開始，工作匹配和招聘平臺Indeed取得了重大成功。為了將求職者與相關的空缺職位相匹配，Indeed向用戶發(fā)送個性化推薦。通過微調GPT 3.5 Turbo以生成更準確的流程解釋，并能夠將提示中的令牌數(shù)量減少80%。這使得該公司從每月發(fā)給求職者的信息從不足100萬條增加到大約2000萬條。

新微調API特性建立在這個成功的基礎上，希望為未來的用戶改進功能：

基于epoch的檢查點創(chuàng)建：在每個訓練epoch自動生成一個完整的微調模型檢查點，這減少了后續(xù)再訓練的需要，特別是在過度擬合的情況下。

Comparity Playground：一個新的并行Playground UI，用于比較模型質量和性能，允許人工評估多個模型的輸出或針對單個提示進行微調快照。

第三方集成：支持與第三方平臺的集成(從權重和偏差開始)，使開發(fā)人員能夠將詳細的微調數(shù)據(jù)共享給堆棧的其余部分。

綜合驗證指標：能夠計算整個驗證數(shù)據(jù)集的損失和準確性等指標，從而更好地了解模型質量。

超級參數(shù)配置：能夠從儀表板配置可用的超級參數(shù)(而不僅僅是通過API或SDK)。

微調儀表板改進：包括配置超級參數(shù)、查看更詳細的訓練指標以及從以前的配置中重新運行作業(yè)的能力。

基于過去的成功，OpenAI相信這些新功能將使開發(fā)人員對他們的微調工作有更細粒度的控制。

輔助微調和定制訓練模型

OpenAI還在2023年11月在DevDay上發(fā)布的基礎上，改進了自定義模型計劃。其中一個主要變化是輔助微調的出現(xiàn)，這是一種利用API微調之外的有價值技術的手段，例如在更大范圍內添加額外的超級參數(shù)和各種參數(shù)有效微調(PEFT)方法。

SK電信就是充分發(fā)揮這項服務潛力的一個例子。這家電信運營商在韓國擁有超過3000萬用戶，因此他們希望定制一種可以充當電信客戶服務專家的人工智能模型。

通過與OpenAI合作對GPT-4進行微調，使其專注于韓國電信相關的對話，SK電信的對話摘要質量提高了35%，意圖識別準確率提高了33%。當將他們的新微調模型與廣義GPT-4進行比較時，他們的滿意度得分也從3.6提高到4.5(滿分5分)。

OpenAI還引入了為需要深度微調的特定領域知識模型的公司構建定制模型的能力。與法律人工智能公司Harvey的合作證明了這一功能的價值。法律工作需要大量閱讀密集的文件，Harvey想用LLMs（大型語言模型）從這些文件中綜合信息，并將其提交給律師進行審查。然而，許多法律是復雜的，并且依賴于上下文，Harvey希望與OpenAI合作建立一個定制訓練的模型，該模型可以將新的知識和推理方法納入基本模型。

Harvey與OpenAI合作，添加了相當于100億令牌的數(shù)據(jù)來定制訓練這個判例法模型。通過增加必要的背景深度來做出明智的法律判斷，結果模型的事實性回答提高了83%。

人工智能工具從來都不是“包治百病”的解決方案?？啥ㄖ菩允沁@項技術有用性的核心，OpenAI在微調和定制訓練模型方面的工作將有助于擴展已經(jīng)從該工具中獲得的組織。