大家好！我是小A！今天我們接著上一篇，為大家講解多元線性回歸是怎么一回事。

何為多元？當我們的輸入x只有一維屬性時，我們稱之為一元。就像我們判斷人胖瘦，只需了解體重這一個屬性，我們就可以辨識。當x包含n個屬性，由n個屬性進行描述時，我們稱之為多元。比如我們判斷一個西瓜是好瓜還是壞瓜，我們需要了解的信息就多了，我們需要知道瓜的生產(chǎn)日期，瓜的顏色，瓜敲起來聲響如何等等，綜合上述多種屬性才能判斷瓜的成色。這就是多元。

在多元線性回歸中，我們的輸入x可描述成如下所示，它表示一條樣本數(shù)據(jù)有d個屬性

同一元線性回歸一樣(注：這里不明白的可翻看上一篇推送)，我們需要做的就是尋找d維列向量w和常數(shù)b，解出方程：

由于輸入樣本x是多維的，計算起來可能有些困難，所以在這里我們使用一些小trick。我們把常數(shù)b 放入權值向量 w 中得到一個 (d+1) 維的權值向量 w^=(w;b)，w^=[w1,w2...wd,b]。相應的，我們把輸入表示成一個矩陣X,其中每行對應一個樣本，該行的前d個元素對應樣本的d個屬性值，最后一個元素恒置為1。我們假設樣本有m個，則X可表示成：

那么X乘以w^就等于：

與我們目標函數(shù)的形式一致。

同一元線性回歸一樣，接下來我們需要求解下述函數(shù)的最小值

由于y-Xw^是一個列向量，平方就是兩個列向量的乘積。為了方便計算，我們使用列向量轉(zhuǎn)置(行向量)乘以列向量的形式，其計算結(jié)果同兩個列向量乘積一樣：

現(xiàn)在我們要做的就是最小化目標函數(shù)，因此需要對其求導，

根據(jù)向量求導公式

我們可得出：

上式中第一項中 yT 與 w^ 無關，所以結(jié)果為0。接下來計算第二項，根據(jù)行向量對列向量的求導公式，我們可以推出

因此上式結(jié)果第一項和第二項分別為

最終可得

令此式為0，當X的轉(zhuǎn)置乘以X為滿秩矩陣時可逆，因此可求解出w

本文轉(zhuǎn)載自????人工智能訓練營????，作者：人工智能訓練營