譯者 | 李睿

審校 | 重樓

深度學(xué)習(xí)通過模擬神經(jīng)元突觸機(jī)制革新了人工智能領(lǐng)域，其核心在于訓(xùn)練數(shù)據(jù)輸入方式的選擇。批處理使用全批量數(shù)據(jù)計(jì)算梯度，內(nèi)存占用高但收斂穩(wěn)定，適合小型數(shù)據(jù)集；小批量訓(xùn)練將數(shù)據(jù)劃分為更小的批次，可以平衡計(jì)算效率與內(nèi)存需求，支持GPU并行加速，成為大規(guī)模數(shù)據(jù)訓(xùn)練的主流方案。本文將研究這些概念，比較它們的優(yōu)缺點(diǎn)，并探索它們的實(shí)際應(yīng)用。

深度學(xué)習(xí)通過允許機(jī)器在人們的數(shù)據(jù)中獲取更深入的信息，徹底改變了人工智能領(lǐng)域。深度學(xué)習(xí)能夠通過神經(jīng)元突觸的邏輯復(fù)制人類大腦的功能來做到這一點(diǎn)。訓(xùn)練深度學(xué)習(xí)模型最關(guān)鍵的方面之一是如何在訓(xùn)練過程中將數(shù)據(jù)輸入模型。這就是批處理（Batch Processing）和小批量訓(xùn)練（Mini-batch Training）發(fā)揮重要作用的地方。那么如何訓(xùn)練模型并將影響模型投入生產(chǎn)時(shí)的整體性能？本文將深入探討這些概念，比較它們的優(yōu)缺點(diǎn)，并探索實(shí)際應(yīng)用。

深度學(xué)習(xí)訓(xùn)練流程

訓(xùn)練深度學(xué)習(xí)模型是通過最小化損失函數(shù)衡量每個(gè)epoch（訓(xùn)練周期）之后預(yù)測輸出與實(shí)際標(biāo)簽之間的差異。換句話說，訓(xùn)練過程是前向傳播和反向傳播之間的交替迭代。這種最小化通常是使用梯度下降來實(shí)現(xiàn)的，而梯度下降是一種優(yōu)化算法，可以在減少損失的方向上更新模型參數(shù)。

圖1深度學(xué)習(xí)訓(xùn)練過程|梯度下降

可以在這里了解更多關(guān)于梯度下降算法的內(nèi)容。

在這里，由于計(jì)算和內(nèi)存的限制，數(shù)據(jù)很少一次傳遞一個(gè)樣本或一次傳遞所有樣本。與其相反，數(shù)據(jù)以“批”（Batch）的形式分塊處理。

圖2深度學(xué)習(xí)訓(xùn)練|梯度下降的類型

在機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的早期階段，有兩種常見的數(shù)據(jù)處理方法：

1.隨機(jī)學(xué)習(xí)（Stochastic Learning）

該方法每次使用單個(gè)訓(xùn)練樣本更新模型權(quán)重。雖然它提供了最快的權(quán)重更新，并且在在流數(shù)據(jù)應(yīng)用場景中表現(xiàn)突出，但它存在一些顯著的缺點(diǎn)：

• 梯度噪聲大，導(dǎo)致更新非常不穩(wěn)定。
• 這可能會(huì)導(dǎo)致次優(yōu)收斂，并且整體訓(xùn)練時(shí)間更長。
• 難以有效利用GPU進(jìn)行并行加速處理。

2.全批量學(xué)習(xí)（Full-Batch Learning）

該方法使用整個(gè)訓(xùn)練數(shù)據(jù)集計(jì)算梯度，并對(duì)模型參數(shù)進(jìn)行一次性更新。全批量學(xué)習(xí)具有非常穩(wěn)定的梯度和收斂性，這是主要的優(yōu)點(diǎn)，然而也有一些缺點(diǎn)：

• 極高的內(nèi)存使用率，在處理大型數(shù)據(jù)集時(shí)尤為突出。
• 每個(gè)epoch計(jì)算效率低下，因?yàn)樾枰却麄€(gè)數(shù)據(jù)集處理完畢。
• 無法靈活適應(yīng)動(dòng)態(tài)增長的數(shù)據(jù)集或在線學(xué)習(xí)場景。

隨著數(shù)據(jù)集越來越大，神經(jīng)網(wǎng)絡(luò)深度增加，這些方法在實(shí)踐中被證明效率低下。內(nèi)存限制和計(jì)算效率低下促使研究人員和工程師找到了一個(gè)折衷方案：小批量訓(xùn)練。

以下了解什么是批處理和小批量訓(xùn)練。

什么是批處理？

在每個(gè)訓(xùn)練步驟中，整個(gè)數(shù)據(jù)集會(huì)被一次性輸入到模型中，這一過程稱為批處理（又稱全批量梯度下降）。

圖3 深度訓(xùn)練中的批處理

批處理的主要特征：

• 使用整個(gè)數(shù)據(jù)集來計(jì)算梯度。
• 每個(gè)epoch僅包含一次前向傳播和反向傳播。
• 內(nèi)存占用率高。
• 每個(gè)epoch通常較慢，但收斂過程穩(wěn)定。

適用場景：

• 當(dāng)數(shù)據(jù)集可完全載入物理內(nèi)存時(shí)（內(nèi)存適配）。
• 當(dāng)處理小型數(shù)據(jù)集時(shí)。

什么是小批量訓(xùn)練？

小批量訓(xùn)練是全批量梯度下降與隨機(jī)梯度下降之間的折衷方案。它使用數(shù)據(jù)的一個(gè)子集或部分，而不是整個(gè)數(shù)據(jù)集或單個(gè)樣本。

小批量訓(xùn)練的主要特征：

• 將數(shù)據(jù)集劃分成更小的組，例如32、64或128個(gè)樣本。
• 在每次小批量處理后執(zhí)行梯度更新。
• 實(shí)現(xiàn)更快收斂與更強(qiáng)泛化能力。

適用場景：

• 適用于大型數(shù)據(jù)集。
• GPU/TPU可用時(shí)。

下面以表格的形式總結(jié)上述算法：

梯度下降的工作原理

梯度下降通過迭代更新模型參數(shù)來最小化損失函數(shù)。其核心機(jī)制為：在每次迭代中，計(jì)算損失函數(shù)相對(duì)于模型參數(shù)的梯度，并沿著梯度的反方向調(diào)整參數(shù)值。

圖4梯度下降的工作原理

更新規(guī)則：θ = θ ?η??θJ(θ)

其中：

• θ：模型參數(shù) ? η：學(xué)習(xí)率 ? ?θJ(θ)：損失函數(shù)的梯度

簡單的類比

這一過程可以這樣類比：例如你身處在山地峽谷的頂端，希望能夠快速到達(dá)峽谷最低點(diǎn)。你在下坡時(shí)每次都要觀察當(dāng)前位置的坡度（梯度），并朝著最陡峭的下坡方向（梯度反方向）邁出一步，逐步靠近峽谷最低點(diǎn)。

全批量梯度下降 (Full-batch descent) 就像通過查看峽谷的全景地圖并規(guī)劃好最優(yōu)路線后才邁出關(guān)鍵的一步。隨機(jī)梯度下降 (Stochastic descent) 則是隨機(jī)詢問一位路人，在他指出方向之后才邁出下一步。小批量梯度下降 (Mini-batch descent) 則是在與一些人商議之后，再?zèng)Q定如何邁出下一步。

數(shù)學(xué)公式

設(shè)X∈R n×d為n個(gè)樣本和d個(gè)特征的輸入數(shù)據(jù)。

全批量梯度下降

小批量梯度下降

現(xiàn)實(shí)案例

假設(shè)基于評(píng)論來估算產(chǎn)品的成本。如果你在做出選擇之前閱讀了所有1000條評(píng)論，那么這就是全批量處理。而如果只看了一條評(píng)論就做出決定，那么就是隨機(jī)處理。小批量訓(xùn)練則是指閱讀少量評(píng)論（例如32條或64條），然后估算成本。小批量訓(xùn)練在做出明智決定的可靠性和快速行動(dòng)之間取得了很好的平衡。

小批量訓(xùn)練提供了一個(gè)很好的平衡：它足夠快，可以快速行動(dòng)，也足夠可靠，可以做出明智的決定。

實(shí)際實(shí)施

以下將使用PyTorch來演示批處理和小批量訓(xùn)練之間的差異，可以直觀理解這兩種算法在引導(dǎo)模型收斂至全局最優(yōu)最小值過程中的效果差異。

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset
import matplotlib.pyplot as plt

# Create synthetic data
X = torch.randn(1000, 10)
y = torch.randn(1000, 1)

# Define model architecture
def create_model():
 return nn.Sequential(
 nn.Linear(10, 50),
 nn.ReLU(),
 nn.Linear(50, 1)
 )

# Loss function
loss_fn = nn.MSELoss()

# Mini-Batch Training
model_mini = create_model()
optimizer_mini = optim.SGD(model_mini.parameters(), lr=0.01)
dataset = TensorDataset(X, y)
dataloader = DataLoader(dataset, batch_size=64, shuffle=True)

mini_batch_losses = []

for epoch in range(64):
 epoch_loss = 0
 for batch_X, batch_y in dataloader:
 optimizer_mini.zero_grad()
 outputs = model_mini(batch_X)
 loss = loss_fn(outputs, batch_y)
 loss.backward()
 optimizer_mini.step()
 epoch_loss += loss.item()
 mini_batch_losses.append(epoch_loss / len(dataloader))

# Full-Batch Training
model_full = create_model()
optimizer_full = optim.SGD(model_full.parameters(), lr=0.01)

full_batch_losses = []

for epoch in range(64):
 optimizer_full.zero_grad()
 outputs = model_full(X)
 loss = loss_fn(outputs, y)
 loss.backward()
 optimizer_full.step()
 full_batch_losses.append(loss.item())

# Plotting the Loss Curves
plt.figure(figsize=(10, 6))
plt.plot(mini_batch_losses, label='Mini-Batch Training (batch_size=64)', marker='o')
plt.plot(full_batch_losses, label='Full-Batch Training', marker='s')
plt.title('Training Loss Comparison')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.legend()
plt.grid(True)
plt.tight_layout()
plt.show()

圖5批處理vs小批量訓(xùn)練損失比較

在這里，可以通過可視化兩種策略的訓(xùn)練損失隨時(shí)間變化來觀察差異?？梢杂^察到：

小批量訓(xùn)練因頻繁更新參數(shù)，初期下降更快。

圖6通過數(shù)據(jù)集進(jìn)行小批量訓(xùn)練

全批量訓(xùn)練的更新次數(shù)可能較少，但其梯度更穩(wěn)定。

在實(shí)際應(yīng)用中，小批量訓(xùn)練通常因更好的泛化能力和計(jì)算效率而更受青睞。

如何選擇批量大小？

設(shè)置的批量大小是一個(gè)超參數(shù)，必須根據(jù)模型架構(gòu)和數(shù)據(jù)集大小進(jìn)行實(shí)驗(yàn)。確定最佳批量值的一種有效方法是實(shí)施交叉驗(yàn)證策略。

以下是關(guān)于如何選擇批處理大小的決策指導(dǎo)表格：

注：如上所述，批量大小是一個(gè)超參數(shù)，必須為模型訓(xùn)練進(jìn)行微調(diào)。因此，有必要了解小批量訓(xùn)練和大批量訓(xùn)練的性能。

小批量訓(xùn)練

小批量通常指批量值在1至64之間。由于梯度更新更頻繁（每個(gè)更新），權(quán)重更新速度更快，模型能夠更早開始學(xué)習(xí)。頻繁的權(quán)重更新意味著每個(gè)epoch需要更多次迭代，這會(huì)增加計(jì)算開銷和訓(xùn)練時(shí)間。

梯度估計(jì)中的“噪聲”有助于避免出現(xiàn)尖銳的局部最小值和過擬合，通常會(huì)表現(xiàn)出更好的測試性能，從而顯示出更好的泛化能力。此外，這些噪聲也可能導(dǎo)致收斂不穩(wěn)定。如果學(xué)習(xí)率設(shè)置過高，這些噪聲梯度可能會(huì)導(dǎo)致模型超調(diào)和發(fā)散。

可以將小批量大小想象為頻繁但搖晃的步伐向目標(biāo)前進(jìn)——路徑雖不筆直，卻可能探索到更優(yōu)的全局路徑。

大批量訓(xùn)練

大批量通常指批量達(dá)到128個(gè)及以上。大批量包含更多樣本，梯度更平滑，更接近損失函數(shù)的真實(shí)梯度，因此收斂更穩(wěn)定。然而，平滑的梯度可能導(dǎo)致模型無法避免出現(xiàn)平坦或尖銳的局部最小值。

由于完成一個(gè)epoch需要的迭代次數(shù)更少，因此訓(xùn)練速度更快。但大批量需要更多內(nèi)存，對(duì)GPU處理能力要求更高。盡管每個(gè)epoch速度更快，但由于更新步驟更小并且缺乏梯度噪聲，可能需要更多的epoch才能收斂。

大批量訓(xùn)練就像用預(yù)先計(jì)劃好的步驟穩(wěn)步地前進(jìn)——路徑規(guī)劃雖高效，卻可能因缺乏探索而錯(cuò)過潛在更優(yōu)路徑。

整體差異對(duì)比

下表對(duì)全批量訓(xùn)練和小批量訓(xùn)練進(jìn)行了全面比較。

實(shí)際應(yīng)用建議

在批處理和小批量訓(xùn)練之間進(jìn)行選擇時(shí)，需要考慮以下因素：

• 如果數(shù)據(jù)集較?。颖玖?/span><10,000）并且內(nèi)存充足：由于其穩(wěn)定性和精確的收斂性，批處理可能更適用。
• 對(duì)于中型到大型數(shù)據(jù)集（例如，樣本量≥100,000）：批量大小在32到256之間的小批量訓(xùn)練通常是最佳選擇。
• 在小批量訓(xùn)練中，在每個(gè)epoch之前使用洗牌，以避免按數(shù)據(jù)順序?qū)W習(xí)模式。
• 使用學(xué)習(xí)率調(diào)度或自適應(yīng)優(yōu)化器（例如Adam、RMSProp等）來幫助減輕小批量訓(xùn)練中的噪聲更新問題。

結(jié)論

批處理與小批量訓(xùn)練是深度學(xué)習(xí)模型優(yōu)化的核心基礎(chǔ)概念。盡管批處理提供了最穩(wěn)定的梯度，但由于內(nèi)存和計(jì)算的限制，它很少用于處理現(xiàn)代大規(guī)模數(shù)據(jù)集。相比之下，小批量訓(xùn)練通過平衡計(jì)算效率、泛化性能與硬件兼容性（尤其借助GPU/TPU加速）。因此，它已經(jīng)成為大多數(shù)界深度學(xué)習(xí)應(yīng)用程序中事實(shí)上的標(biāo)準(zhǔn)。

選擇最佳的批量大小并不是一勞永逸的決策，應(yīng)該以數(shù)據(jù)集的大小和現(xiàn)有的內(nèi)存和硬件資源為指導(dǎo)。優(yōu)化器的選擇以及所需的泛化和收斂速度（例如學(xué)習(xí)率和衰減率）也要考慮在內(nèi)。通過理解這些動(dòng)態(tài)并利用學(xué)習(xí)率調(diào)度、自適應(yīng)優(yōu)化器（如ADAM）和批量大小調(diào)整等工具，可以更快、更準(zhǔn)確、更高效地創(chuàng)建模型。

原文標(biāo)題：Batch Processing vs Mini-Batch Training in Deep Learning，作者：Shaik Hamzah Shareef