機器學習算法需要用戶定義的輸入來實現(xiàn)準確性和通用性之間的平衡。這個過程稱為超參數(shù)調(diào)整。有多種工具和方法可用于調(diào)整超參數(shù)。

我們整理了一份用于調(diào)整機器學習模型超參數(shù)的前八種方法的列表。

1.貝葉斯優(yōu)化

貝葉斯優(yōu)化已成為機器學習算法超參數(shù)調(diào)整的有效工具，更具體地說，適用于深度神經(jīng)網(wǎng)絡(luò)等復雜模型。它提供了一個有效的框架來優(yōu)化昂貴的黑盒功能，而無需知道它的形式。它已應用于多個領(lǐng)域，包括學習最優(yōu)機器人力學、序列實驗設(shè)計和合成基因設(shè)計。

2.遺傳算法

遺傳算法 (EA) 是一種優(yōu)化算法，它通過根據(jù)稱為算子的某些規(guī)則修改一組候選解決方案（種群）來工作。EA 的主要優(yōu)勢之一是它們的通用性：這意味著 EA 可以在廣泛的條件下使用，因為它們簡單且獨立于潛在問題。在超參數(shù)調(diào)整問題中，遺傳算法已被證明比基于精度/速度的網(wǎng)格搜索技術(shù)表現(xiàn)更好。

3.基于梯度的優(yōu)化

基于梯度的優(yōu)化是一種優(yōu)化多個超參數(shù)的方法，基于機器學習模型選擇標準相對于超參數(shù)的梯度計算。當滿足訓練標準的一些可微性和連續(xù)性條件時，可以應用這種超參數(shù)調(diào)整方法。

4.網(wǎng)格搜索

網(wǎng)格搜索是超參數(shù)調(diào)優(yōu)的基本方法。它對用戶指定的超參數(shù)集執(zhí)行詳盡的搜索。這種方法是最直接的導致最準確的預測。使用這種調(diào)優(yōu)方法，用戶可以找到最佳組合。網(wǎng)格搜索適用于幾個超參數(shù)，但是搜索空間有限。

5.Keras Tuner

Keras Tuner是一個庫，允許用戶為機器學習或深度學習模型找到最佳超參數(shù)。該庫有助于查找內(nèi)核大小、優(yōu)化學習率和不同的超參數(shù)。Keras Tuner可用于為各種深度學習模型獲取最佳參數(shù)，以實現(xiàn)最高精度。

6.基于種群的優(yōu)化

基于種群的方法本質(zhì)上是一系列基于隨機搜索（如遺傳算法）的方法。最廣泛使用的基于種群的方法之一是 DeepMind 提出的基于種群的訓練（PBT）。PBT在兩個方面，是一種獨特的方法：

• 它允許在訓練期間使用自適應超參數(shù)
• 它結(jié)合了并行搜索和順序優(yōu)化

7.ParamILS

ParamILS（參數(shù)配置空間中的迭代局部搜索）是一種用于自動算法配置的通用隨機局部搜索方法。ParamILS 是一種自動算法配置方法，有助于開發(fā)高性能算法及其應用程序。

ParamILS 使用默認和隨機設(shè)置進行初始化，并采用迭代第一改進作為輔助本地搜索過程。它還使用固定數(shù)量的隨機移動來進行擾動，并且總是接受更好或同樣好的參數(shù)配置，但會隨機重新初始化搜索。

8.隨機搜索

隨機搜索可以說是對網(wǎng)格搜索的基本改進。該方法是指對可能參數(shù)值的某些分布的超參數(shù)進行隨機搜索。搜索過程繼續(xù)進行，直到達到所需的精度。隨機搜索類似于網(wǎng)格搜索，但已證明比后者創(chuàng)建更好的結(jié)果。該方法通常被用作 HPO 的基線來衡量新設(shè)計算法的效率。盡管隨機搜索比網(wǎng)格搜索更有效，但它仍然是一種計算密集型方法。