2019獨角獸企業重金招聘Python工程師標準>>>

本系列博客是吳恩達(Andrew Ng)深度學習工程師 課程筆記。全部課程請查看吳恩達(Andrew Ng)深度學習工程師課程目錄

在上一節中學習了損失函數，損失函數是衡量單一訓練樣例的效果，成本函數用于衡量參數w和b的效果，在全部訓練集上來衡量。下面我們討論如何使用梯度下降法，來訓練和學習訓練集上的參數w和b，使得$J(w,b)$盡可能地小。

這個圖中的橫軸表示空間參數w和b，在實踐中，w可以是更高維的。成本函數$J(w,b)$是在水平軸w和b上的曲面，曲面的高度表示了$J(w,b)$在某一點的值，我們所想要做的就是找到這樣的w和b，使其對應的成本函數J值是最小值。可以看到成本函數$J$是一個凸函數，因此我們的成本函數$J(w,b)$之所以是凸函數，其性質是我們使用logistic回歸的個特定成本函數$J$的重要原因之一。為了找到更好的參數值，我們要做的就是用某初始值初始化w和b，用圖上最上面的小紅點表示。

對于logistic回歸而言幾乎任意初始化方法都有效，通用用0來進行初始化，但對于logistic回歸，我們通常不這么做。因為函數是凸的無論在哪里初始化，都應到達同一點或大致相同的點。梯度下降法所做的就是從初始點開始朝最陡的下坡方向走，就像圖里一樣沿著紅點一直走，直到到達或接近全局最優解。

轉載于:https://my.oschina.net/geekidentity/blog/1595844

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的神经网络和深度学习-第二周神经网络基础-第四节：梯度下降法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。