梯度下降算法解析

　�。�1）直觀解釋

　　eg.在一座大山的某一位置，要下山，走一步算一步，每走一步就計算當前位置的梯度，沿著當前梯度的負方向走一步（也就是當前最陡的位置），然后再次計算當前位置，這樣一步一步往下走，一直走到覺得已經(jīng)到了山腳。有可能我們只是到了一個局部山峰底部。所以梯度下降不一定能找到全局最優(yōu)解，有可能是一個局部最優(yōu)解。當損失函數(shù)是凸函數(shù)的時候，梯度下降法所求的解就是全局最優(yōu)解。

　�。�2）相關(guān)概念

　�。╥）步長：梯度下降迭代過程中每一步沿負方向前進的長度。

　�。╥i）特征：樣本輸入部分，樣本（x0,y0），其樣本特征為x,輸出為y。

　　(Iii) 假設(shè)函數(shù)：在監(jiān)督學(xué)習(xí)中，用假設(shè)函數(shù)擬合輸入樣本，記為hθ(x)。比如對于樣本（xi,yi）。(i=1,2,...n),可以采用擬合函數(shù)如下： hθ(x) = θ0+θ1x。

　�。╥v）損失函數(shù)：度量擬合程度，評估模型擬合好壞。損失函數(shù)極小化，意味著擬合程度最好，對應(yīng)的模型參數(shù)為最優(yōu)參數(shù)。線性回歸中，損失函數(shù)通常為樣本輸出和假設(shè)函數(shù)的差取平方。