本文轉(zhuǎn)自：https://blog.csdn.net/walilk/article/details/50978864

引言

機器學(xué)習(xí)欄目記錄我在學(xué)習(xí)Machine Learning過程的一些心得筆記，涵蓋線性回歸、邏輯回歸、Softmax回歸、神經(jīng)網(wǎng)絡(luò)和SVM等等，主要學(xué)習(xí)資料來自網(wǎng)上的免費課程和一些經(jīng)典書籍，免費課程例如Standford Andrew Ng老師在Coursera的教程以及UFLDL Tutorial，經(jīng)典書籍例如《統(tǒng)計學(xué)習(xí)方法》等，同時也參考了大量網(wǎng)上的相關(guān)資料（在后面列出）。

前言

機器學(xué)習(xí)中的大部分問題都是優(yōu)化問題，而絕大部分優(yōu)化問題都可以使用梯度下降法處理，那么搞懂什么是梯度，什么是梯度下降法就非常重要！這是基礎(chǔ)中的基礎(chǔ)，也是必須掌握的概念！
　提到梯度，就必須從導(dǎo)數(shù)（derivative）、偏導(dǎo)數(shù)（partial derivative）和方向?qū)?shù)（directional derivative）講起，弄清楚這些概念，才能夠正確理解為什么在優(yōu)化問題中使用梯度下降法來優(yōu)化目標(biāo)函數(shù)，并熟練掌握梯度下降法（Gradient Descent）。

本文主要記錄我在學(xué)習(xí)機器學(xué)習(xí)過程中對梯度概念復(fù)習(xí)的筆記，主要參考《高等數(shù)學(xué)》《簡明微積分》以及維基百科上的資料為主，文章小節(jié)安排如下：
　1）導(dǎo)數(shù)
　2）導(dǎo)數(shù)和偏導(dǎo)數(shù)
　3）導(dǎo)數(shù)與方向?qū)?shù)
　4）導(dǎo)數(shù)與梯度
　5）梯度下降法
　6）參考資料
　7）結(jié)語

導(dǎo)數(shù)

一張圖讀懂導(dǎo)數(shù)與微分：

這是高數(shù)中的一張經(jīng)典圖，如果忘記了導(dǎo)數(shù)微分的概念，基本看著這張圖就能全部想起來。
導(dǎo)數(shù)定義如下：

**反映的是函數(shù)y=f(x)在某一點處沿x軸正方向的變化率。**再強調(diào)一遍，是函數(shù)f(x)在x軸上某一點處沿著x軸正方向的變化率/變化趨勢。直觀地看，也就是在x軸上某一點處，如果f’(x)>0，說明f(x)的函數(shù)值在x點沿x軸正方向是趨于增加的；如果f’(x)<0，說明f(x)的函數(shù)值在x點沿x軸正方向是趨于減少的。

這里補充上圖中的Δy、dy等符號的意義及關(guān)系如下：
　Δx：x的變化量；
　dx：x的變化量Δx趨于0時，則記作微元dx；
　Δy：Δy=f(x0+Δx)-f(x0)，是函數(shù)的增量；
　dy：dy=f’(x0)dx，是切線的增量；
　當(dāng)Δx→0時，dy與Δy都是無窮小，dy是Δy的主部，即Δy=dy+o(Δx).

導(dǎo)數(shù)和偏導(dǎo)數(shù)

偏導(dǎo)數(shù)的定義如下：

可以看到，導(dǎo)數(shù)與偏導(dǎo)數(shù)本質(zhì)是一致的，都是當(dāng)自變量的變化量趨于0時，函數(shù)值的變化量與自變量變化量比值的極限。直觀地說，偏導(dǎo)數(shù)也就是函數(shù)在某一點上沿坐標(biāo)軸正方向的的變化率。
區(qū)別在于：
導(dǎo)數(shù)，指的是一元函數(shù)中，函數(shù)y=f(x)在某一點處沿x軸正方向的變化率；
偏導(dǎo)數(shù)，指的是多元函數(shù)中，函數(shù)y=f(x1,x2,…,xn)在某一點處沿某一坐標(biāo)軸（x1,x2,…,xn）正方向的變化率。

導(dǎo)數(shù)與方向?qū)?shù)：

方向?qū)?shù)的定義如下：

在前面導(dǎo)數(shù)和偏導(dǎo)數(shù)的定義中，均是沿坐標(biāo)軸正方向討論函數(shù)的變化率。那么當(dāng)我們討論函數(shù)沿任意方向的變化率時，也就引出了方向?qū)?shù)的定義，即：某一點在某一趨近方向上的導(dǎo)數(shù)值。
通俗的解釋是：
我們不僅要知道函數(shù)在坐標(biāo)軸正方向上的變化率（即偏導(dǎo)數(shù)），而且還要設(shè)法求得函數(shù)在其他特定方向上的變化率。而方向?qū)?shù)就是函數(shù)在其他特定方向上的變化率。

導(dǎo)數(shù)與梯度

梯度的定義如下：

梯度的提出只為回答一個問題：
函數(shù)在變量空間的某一點處，沿著哪一個方向有最大的變化率？
梯度定義如下：
函數(shù)在某一點的梯度是這樣一個向量，它的方向與取得最大方向?qū)?shù)的方向一致，而它的模為方向?qū)?shù)的最大值。
這里注意三點：
1）梯度是一個向量，即有方向有大小；
2）梯度的方向是最大方向?qū)?shù)的方向；
3）梯度的值是最大方向?qū)?shù)的值。

導(dǎo)數(shù)與向量

提問：導(dǎo)數(shù)與偏導(dǎo)數(shù)與方向?qū)?shù)是向量么？
向量的定義是有方向（direction）有大小（magnitude）的量。
從前面的定義可以這樣看出，偏導(dǎo)數(shù)和方向?qū)?shù)表達(dá)的是函數(shù)在某一點沿某一方向的變化率，也是具有方向和大小的。因此從這個角度來理解，我們也可以把偏導(dǎo)數(shù)和方向?qū)?shù)看作是一個向量，向量的方向就是變化率的方向，向量的模，就是變化率的大小。
那么沿著這樣一種思路，就可以如下理解梯度：
梯度即函數(shù)在某一點最大的方向?qū)?shù)，函數(shù)沿梯度方向函數(shù)有最大的變化率。

梯度下降法

既然在變量空間的某一點處，函數(shù)沿梯度方向具有最大的變化率，那么在優(yōu)化目標(biāo)函數(shù)的時候，自然是沿著負(fù)梯度方向去減小函數(shù)值，以此達(dá)到我們的優(yōu)化目標(biāo)。
如何沿著負(fù)梯度方向減小函數(shù)值呢？既然梯度是偏導(dǎo)數(shù)的集合，如下：

同時梯度和偏導(dǎo)數(shù)都是向量，那么參考向量運算法則，我們在每個變量軸上減小對應(yīng)變量值即可，梯度下降法可以描述如下：

以上就是梯度下降法的由來，大部分的機器學(xué)習(xí)任務(wù)，都可以利用Gradient Descent來進(jìn)行優(yōu)化。

參考資料

參考書：
《高等數(shù)學(xué)》
《簡明微積分》
參考鏈接：
梯度
https://zh.wikipedia.org/zh-cn/%E5%81%8F%E5%AF%BC%E6%95%B0
方向?qū)?shù)和梯度
http://blog.csdn.net/wolenski/article/details/8030654

附：
維基百科的可用Hosts文件
http://www.williamlong.info/archives/4456.html

結(jié)語

以上就是我在回顧導(dǎo)數(shù)、偏導(dǎo)數(shù)、梯度等概念時的一些筆記，希望可以為大家提供一些幫助，也歡迎交流討論，謝謝！

本文的文字、公式和圖形都是筆者根據(jù)所學(xué)所看的資料經(jīng)過思考后認(rèn)真整理和撰寫編制的，如有朋友轉(zhuǎn)載，希望可以注明出處：　
[機器學(xué)習(xí)] ML重要概念：梯度（Gradient）與梯度下降法（Gradient Descent）
http://blog.csdn.net/walilk/article/details/50978864

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的[机器学习] ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。