2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

本系列博客是吳恩達(dá)(Andrew Ng)深度學(xué)習(xí)工程師 課程筆記。全部課程請(qǐng)查看吳恩達(dá)(Andrew Ng)深度學(xué)習(xí)工程師課程目錄

在上一節(jié)中學(xué)習(xí)了損失函數(shù)，損失函數(shù)是衡量單一訓(xùn)練樣例的效果，成本函數(shù)用于衡量參數(shù)w和b的效果，在全部訓(xùn)練集上來(lái)衡量。下面我們討論如何使用梯度下降法，來(lái)訓(xùn)練和學(xué)習(xí)訓(xùn)練集上的參數(shù)w和b，使得$J(w,b)$盡可能地小。

這個(gè)圖中的橫軸表示空間參數(shù)w和b，在實(shí)踐中，w可以是更高維的。成本函數(shù)$J(w,b)$是在水平軸w和b上的曲面，曲面的高度表示了$J(w,b)$在某一點(diǎn)的值，我們所想要做的就是找到這樣的w和b，使其對(duì)應(yīng)的成本函數(shù)J值是最小值?？梢钥吹匠杀竞瘮?shù)$J$是一個(gè)凸函數(shù)，因此我們的成本函數(shù)$J(w,b)$之所以是凸函數(shù)，其性質(zhì)是我們使用logistic回歸的個(gè)特定成本函數(shù)$J$的重要原因之一。為了找到更好的參數(shù)值，我們要做的就是用某初始值初始化w和b，用圖上最上面的小紅點(diǎn)表示。

對(duì)于logistic回歸而言幾乎任意初始化方法都有效，通用用0來(lái)進(jìn)行初始化，但對(duì)于logistic回歸，我們通常不這么做。因?yàn)楹瘮?shù)是凸的無(wú)論在哪里初始化，都應(yīng)到達(dá)同一點(diǎn)或大致相同的點(diǎn)。梯度下降法所做的就是從初始點(diǎn)開始朝最陡的下坡方向走，就像圖里一樣沿著紅點(diǎn)一直走，直到到達(dá)或接近全局最優(yōu)解。

轉(zhuǎn)載于:https://my.oschina.net/geekidentity/blog/1595844

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的神经网络和深度学习-第二周神经网络基础-第四节：梯度下降法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。