介紹

讓我們以一個(gè)例子來(lái)說(shuō)明我們所面臨的問(wèn)題。想象一下，我們訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型來(lái)預(yù)測(cè)包含汽車(chē)圖像的概率。當(dāng)我們使用這些概率來(lái)對(duì)有汽車(chē)的圖像進(jìn)行分類(lèi)時(shí)，我們的模型有很好的準(zhǔn)確性。在某些時(shí)候，我們給神經(jīng)網(wǎng)絡(luò)模型一個(gè)它從未見(jiàn)過(guò)的圖像，例如企鵝。該模型表示，圖像包含一輛汽車(chē)的概率為97%?；谶@個(gè)例子，你會(huì)相信模型的預(yù)測(cè)嗎?事實(shí)證明，這是神經(jīng)網(wǎng)絡(luò)的典型行為，因?yàn)槠簌Z與我們的訓(xùn)練數(shù)據(jù)相差太大。這種知道未知對(duì)象的能力是我們要尋找的，因?yàn)樗谝恍Q策應(yīng)用中是至關(guān)重要的，比如自動(dòng)駕駛汽車(chē)。

什么是模型不確定性？

當(dāng)我們談?wù)摍C(jī)器學(xué)習(xí)模型時(shí)，有兩種類(lèi)型的不確定性：

• 隨機(jī)不確定性:它來(lái)自于數(shù)據(jù)生成過(guò)程中的隨機(jī)性，例如，實(shí)驗(yàn)中的測(cè)量噪聲。不管我們的模型有多好，這種不確定性都無(wú)法減少。
• 認(rèn)知不確定性：它來(lái)自于知識(shí)的缺乏，這在機(jī)器學(xué)習(xí)中意味著要么我們沒(méi)有足夠的數(shù)據(jù)，要么我們的模型不夠?qū)I(yè)。如果我們獲得了新知識(shí)，這種不確定性可以減少。

考慮到這一點(diǎn)，讓我們看一下高斯過(guò)程給出的不確定性估計(jì)的具體例子。

高斯過(guò)程回歸

高斯過(guò)程(GP)是貝葉斯機(jī)器學(xué)習(xí)模型。這意味著對(duì)于一個(gè)給定的數(shù)據(jù)輸入點(diǎn)，我們將得到一個(gè)預(yù)測(cè)分布，而不是像我們?cè)谏窠?jīng)網(wǎng)絡(luò)中得到的點(diǎn)估計(jì)。預(yù)測(cè)方差可以解釋為不確定性的估計(jì)。

但是，這些模型是如何工作的呢?讓我們想象我們有以下回歸問(wèn)題

要解決的問(wèn)題是找到更適合數(shù)據(jù)的函數(shù)。為此，我們假設(shè)觀測(cè)y是產(chǎn)生數(shù)據(jù)的函數(shù)的噪聲觀測(cè)。也就是說(shuō),

y=f(x)+?

其中， ? ～ ??(0, σ2)是加性高斯噪聲，方差σ2對(duì)應(yīng)于任意不確定性。

對(duì)于GP模型，我們假設(shè)生成數(shù)據(jù)的函數(shù)可以從高斯過(guò)程中得到，它可以被視為函數(shù)的分布。我們可以用均值函數(shù)m(x)和協(xié)方差函數(shù)k(x,x)來(lái)描述GP，即:

GP(m(x),k(x,x))

在實(shí)踐中，我們?cè)诤瘮?shù)p(f) ~??(0,k(x, x)) 上放置了一個(gè) GP 先驗(yàn)，其中將均值函數(shù)設(shè)置為0以簡(jiǎn)化所需的計(jì)算而不損失通用性是一種常見(jiàn)的做法。這使得GP完全由其協(xié)方差函數(shù)或核來(lái)表征。核函數(shù)的選擇將決定學(xué)習(xí)的函數(shù)的主要屬性(平滑性、平穩(wěn)性等)。常見(jiàn)的核選擇是徑向基函數(shù)或RBF核，它假定函數(shù)是平穩(wěn)的。

如果我們使用貝葉斯規(guī)則將這些先驗(yàn)知識(shí)與觀察到的數(shù)據(jù)結(jié)合起來(lái)，我們將獲得函數(shù)值的后驗(yàn)分布。

分母中有一個(gè)有趣的項(xiàng)，稱(chēng)為邊際似然(marginal likelihood)或模型證據(jù)(model's evidence)，它是一個(gè)歸一化常數(shù)，可用于訓(xùn)練模型和尋找核函數(shù)的最佳參數(shù)。我們會(huì)得到滿(mǎn)足給定屬性并與數(shù)據(jù)兼容的函數(shù)。

注意，在我們沒(méi)有觀察數(shù)據(jù)的區(qū)域，函數(shù)的可變性比我們有數(shù)據(jù)點(diǎn)的區(qū)域要高。有趣的是，我們可以利用這個(gè)后驗(yàn)得到一個(gè)預(yù)測(cè)分布來(lái)進(jìn)行預(yù)測(cè)和相關(guān)的不確定性估計(jì)，最重要的是，這個(gè)分布可以以封閉形式計(jì)算。這里不會(huì)詳細(xì)介紹，但它是均值和方差的高斯分布。這個(gè)問(wèn)題的預(yù)測(cè)分布如下所示:

圖中的藍(lán)線代表預(yù)測(cè)的平均值，藍(lán)色陰影區(qū)域代表預(yù)測(cè)方差或總不確定性。正如預(yù)期的那樣，該模型對(duì)其在觀測(cè)數(shù)據(jù)附近的預(yù)測(cè)更有信心，并且隨著我們遠(yuǎn)離這些數(shù)據(jù)，不確定性將會(huì)增加。

如果您對(duì)實(shí)現(xiàn)感興趣，這里是使用 Python 和 GPflow生成最后一個(gè)圖形的代碼：

import matplotlib.pyplot as plt
import numpy as np
import gpflow
# 生成數(shù)據(jù)的函數(shù)
def f(x):
    return np.sin(2*np.pi*x)
# 我們生成一些假設(shè)高斯加性噪聲的數(shù)據(jù)
X = np.array([0, 0, 0.2, 0.21, 0.7, 0.75, 0.8, 0.83, 0.9])
N = len(X)
epsilon = np.random.normal(scale=0.1, size=N)
y = f(X) + epsilon
X = X.reshape(-1, 1)
y = y.reshape(-1, 1)
# Plot the problem
plt.figure(figsize=(12, 6))
plt.plot(X, y, "kx", mew=2, c="g")
plt.xlabel("x")
plt.ylabel("y")
plt.savefig("problem.png", dpi=300)
# 定義核
kernel = gpflow.kernels.RBF()
# 構(gòu)建模型
model = gpflow.models.GPR(data=(X, y), kernel=kernel, mean_function=None)
# Train the model
opt = gpflow.optimizers.Scipy()
opt.minimize(model.training_loss, model.trainable_variables) 
# 生成用于預(yù)測(cè)的測(cè)試點(diǎn)
x_test = np.linspace(-0.5, 1.5, 100).reshape(100, 1)  # test points must be of shape (N, D)
## predict mean and variance of latent GP at test points
mean, var = model.predict_f(x_test)
## 繪制預(yù)測(cè)
plt.figure(figsize=(12, 6))
plt.plot(X, y, "kx", mew=2, c="g")
plt.plot(x_test, mean, "C0", lw=2)
plt.fill_between(
    xx[:, 0],
    mean[:, 0] - 2 * np.sqrt(var[:, 0]),
    mean[:, 0] + 2 * np.sqrt(var[:, 0]),
    color="C0",
    alpha=0.2,
)
_ = plt.xlim(-0.5, 1.5)
plt.xlabel("x")
plt.ylabel("y")
plt.show()

結(jié)論

在本文中，我們看到一些機(jī)器學(xué)習(xí)模型可能在訓(xùn)練數(shù)據(jù)之外給出過(guò)度自信的預(yù)測(cè)，這在實(shí)際應(yīng)用中可能成為一個(gè)問(wèn)題。我們還展示了高斯過(guò)程模型如何給不確定性進(jìn)行估計(jì)。