神经网络和深度学习-第二周神经网络基础-第四节:梯度下降法
2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>
本系列博客是吳恩達(dá)(Andrew Ng)深度學(xué)習(xí)工程師 課程筆記。全部課程請(qǐng)查看吳恩達(dá)(Andrew Ng)深度學(xué)習(xí)工程師課程目錄
在上一節(jié)中學(xué)習(xí)了損失函數(shù),損失函數(shù)是衡量單一訓(xùn)練樣例的效果,成本函數(shù)用于衡量參數(shù)w和b的效果,在全部訓(xùn)練集上來(lái)衡量。下面我們討論如何使用梯度下降法,來(lái)訓(xùn)練和學(xué)習(xí)訓(xùn)練集上的參數(shù)w和b,使得$J(w,b)$盡可能地小。
這個(gè)圖中的橫軸表示空間參數(shù)w和b,在實(shí)踐中,w可以是更高維的。成本函數(shù)$J(w,b)$是在水平軸w和b上的曲面,曲面的高度表示了$J(w,b)$在某一點(diǎn)的值,我們所想要做的就是找到這樣的w和b,使其對(duì)應(yīng)的成本函數(shù)J值是最小值??梢钥吹匠杀竞瘮?shù)$J$是一個(gè)凸函數(shù),因此我們的成本函數(shù)$J(w,b)$之所以是凸函數(shù),其性質(zhì)是我們使用logistic回歸的個(gè)特定成本函數(shù)$J$的重要原因之一。為了找到更好的參數(shù)值,我們要做的就是用某初始值初始化w和b,用圖上最上面的小紅點(diǎn)表示。
對(duì)于logistic回歸而言幾乎任意初始化方法都有效,通用用0來(lái)進(jìn)行初始化,但對(duì)于logistic回歸,我們通常不這么做。因?yàn)楹瘮?shù)是凸的無(wú)論在哪里初始化,都應(yīng)到達(dá)同一點(diǎn)或大致相同的點(diǎn)。梯度下降法所做的就是從初始點(diǎn)開始朝最陡的下坡方向走,就像圖里一樣沿著紅點(diǎn)一直走,直到到達(dá)或接近全局最優(yōu)解。
轉(zhuǎn)載于:https://my.oschina.net/geekidentity/blog/1595844
與50位技術(shù)專家面對(duì)面20年技術(shù)見證,附贈(zèng)技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的神经网络和深度学习-第二周神经网络基础-第四节:梯度下降法的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 修改element-ui源码解决穿梭框选
- 下一篇: 前华为技术大牛告诉你:如何正确入门深度学