Cost Function的用途：對(duì)假設(shè)的函數(shù)進(jìn)行評(píng)價(jià)，cost function越小的函數(shù)，說明擬合訓(xùn)練數(shù)據(jù)擬合的越好；

    1、最小二乘法：

     何為最小二乘法，其實(shí)很簡單。我們有很多的給定點(diǎn)，這時(shí)候我們需要找出一條線去擬合它，那么我先假設(shè)這個(gè)線的方程，然后把數(shù)據(jù)點(diǎn)代入假設(shè)的方程得到觀測值，求使得實(shí)際值與觀測值相減的平方和最小的參數(shù)。對(duì)變量求偏導(dǎo)聯(lián)立便可求。

      比如測定一個(gè)刀具的磨損速度，也就是說，隨著使用刀具的次數(shù)越多，刀具本身的厚度會(huì)逐漸減少，故刀具厚度與使用時(shí)間將成線性關(guān)系，假設(shè)符合f（t）=at + b（t代表時(shí)間，f(t)代表刀具本身厚度），a，b是待確定的常數(shù)，那么a、b如何確定呢？最理想的情形就是選取這樣的a、b，能使直線y = at + b 所得到的值與實(shí)際中測量到的刀具厚度完全符合，但實(shí)際上這是不可能的，因?yàn)檎`差總是存在難以避免的。故因誤差的存在，使得理論值與真實(shí)值存在偏差，為使偏差最小通過偏差的平方和最小確定系數(shù)a、b，從而確定兩變量之間的函數(shù)關(guān)系f（t）= at + b。這種通過偏差的平方和為最小的條件來確定常數(shù)a、b的方法，即為最小二乘法。

    2、線性回歸：

    回歸在數(shù)學(xué)上來說是給定一個(gè)點(diǎn)集，能夠用一條曲線去擬合之，如果這個(gè)曲線是一條直線，那就被稱為線性回歸，如果曲線是一條二次曲線，就被稱為二次回歸.

    在研究幾個(gè)變量之間的關(guān)聯(lián)關(guān)系，特別當(dāng)因變量和自變量為線性關(guān)系時(shí)，它是一種特殊的線性模型。最簡單的情形是一個(gè)自變量和一個(gè)因變量，且它們大體上有線性關(guān)系，這叫一元線性回歸，即模型為Y=a+bX+ε，這里X是自變量，Y是因變量，ε是隨機(jī)誤差。隨機(jī)誤差一般都是服從均值為0的正態(tài)分布。

    所以可以認(rèn)為線性回歸就是給出一系列點(diǎn)用來擬合曲線  h（x）=θ+θ₁X(線性和非線性其實(shí)都一個(gè)意思，都是尋找合適的參數(shù)去滿足已有數(shù)據(jù)的規(guī)律?？梢酝ㄟ^最小二乘法)，當(dāng)然多維的時(shí)候也是一樣的，就是參數(shù)多了一點(diǎn)。

    3、對(duì)于線性回歸問題的分析流程：

     給出一個(gè)函數(shù)模型，這個(gè)函數(shù)模型有很多個(gè)未知參數(shù)，然后我們代入很多觀察數(shù)據(jù)，但是這樣代入后的方程是很難解的，于是我們通過使用求解近似解，轉(zhuǎn)化為求解誤差最小化問題。列出誤差項(xiàng)后，使用梯度下降或牛頓方法等求解最小值，確定未知參數(shù)。

      （1）  給出假設(shè)（hypotheses ：h and parameters ：θ）

            [[118565]]

     （2）根據(jù)給出的training set，學(xué)習(xí)求出θ。

           我們給出一個(gè)代價(jià)函數(shù)，其實(shí)就是最小二乘法：

          [[118566]]

    （3）找到一個(gè)θ使得J(θ)最小。

        我們要求J（Θ），但是我們不知道參數(shù)，而且總不能一個(gè)一個(gè)窮舉出來看哪個(gè)最小。因此我們用到梯度下降法（gradient descent），找到θ 使得 J（θ）最小。

    4、梯度下降法（gradient descent）

     梯度下降算法是一種求局部***解的方法，對(duì)于F(x)，在a點(diǎn)的梯度是F(x)增長最快的方向，那么它的相反方向則是該點(diǎn)下降最快的方向，具體參考wikipedia。

     原理：將函數(shù)比作一座山，我們站在某個(gè)山坡上，往四周看，從哪個(gè)方向向下走一小步，能夠下降的最快；

     注意：當(dāng)變量之間大小相差很大時(shí)，應(yīng)該先將他們做處理，使得他們的值在同一個(gè)范圍，這樣比較準(zhǔn)確。

    1）首先對(duì)θ賦值，這個(gè)值可以是隨機(jī)的，也可以讓θ是一個(gè)全零的向量。

    2）改變θ的值，使得J(θ)按梯度下降的方向進(jìn)行減少。

    描述一下梯度減少的過程，對(duì)于我們的函數(shù)J(θ)求偏導(dǎo)J： 

    Repeat  until convergence：{

     [[118567]]

    下面是更新的過程，也就是θi會(huì)向著梯度最小的方向進(jìn)行減少。θi表示更新之前的值，-后面的部分表示按梯度方向減少的量，α表示步長，也就是每次按照梯度減少的方向變化多少。

     [[118568]] 

    }

   5、局部加權(quán)線性回歸：

     對(duì)于線性回歸問題，一般使用最小二乘法還有牛頓法啦。使用最小二乘法只能說是***，但是并不能知道置信度。還有就是有時(shí)候使用線性回歸可能導(dǎo)致模擬的曲線“欠擬合”，這種情況下

我們就使用局部加權(quán)線性回歸，可以比較好的模擬曲線。 就是加個(gè)權(quán)值而已

                                      [[118569]]

重新構(gòu)造新的代價(jià)函數(shù)j(x)

                                 [[118570]]。

我們從權(quán)值函數(shù)的表示就可以看出，離要求x遠(yuǎn)的點(diǎn)，權(quán)值越小，到***基本為0，也就是說，只有要求x周圍的點(diǎn)起作用。 求法還是和上面一樣的。

   6、Logistic/Sigmoid Regreesion Mode：

      通過使用一個(gè)特定函數(shù)，將線性回歸問題轉(zhuǎn)化為分類問題，即通過使用這個(gè)函數(shù)使得y的值在0--1范圍之內(nèi)。這個(gè)函數(shù)可以是Logistic/Sigmoid這樣的。

 其實(shí)就是把線性回歸的問題拿來做分類，將原來的值域映射到0到1之間。

原文鏈接：http://www.cnblogs.com/GuoJiaSheng/p/3928160.html