二分分類

計算機要保存一張圖片，實際需要保存三個矩陣。分別對應的是紅綠藍三個顏色通道。

在二分分類問題中，目標是訓練出一個分類器。它以圖片中的特征向量x作為輸入，預測輸出結果標簽y是1（是一個貓）還是0（不是一個貓）

最后，為了方便表示，我們將x和y都寫成矩陣形式，在python中

x.shape()

這樣的命令就是用來看矩陣的行數和列數。

logistic回歸

這是一個學習算法，在監(jiān)督學習中處理二分問題。

如圖所示

對于一個Logistic回歸而言，通常學習的就是一個

y=wTx+b
的過程，實際上，對于一維而言。我們可以理解成是y=ax+b的過程。然而這個數算出來可能很大，也可能很小。而我們希望算出來的是一個介于0到1之間的概率，因此我們要用sigma函數處理一下 σ

logistic回歸損失函數

為了訓練logistic函數的w和b需要定義一個成本函數。下面講解一下利用logistic來訓練成本函數。

最后，Loss function是在單個訓練樣本中定義的，它衡量了在單個訓練樣本上的表現(xiàn)。下面定義的成本函數（Cost function），是在總體樣本中的表現(xiàn)。

梯度下降法

這里介紹一下用梯度下降法來訓練w和b

成本函數衡量了w和b在訓練集上的效果，要學習得到合適的w和b，自然的就會想到成本函數J盡量小，由此來確定w和b。

我們使用梯度下降的方法，來期望得到全局最優(yōu)解。這張三維圖可以直觀的幫助我們理解梯度下降法，我們假設w和b都是一維的。這里的J(w,b)實際上表示的就是這個像碗一樣圖形的高度。我們用梯度下降法來找到這個碗底，實際上就是找到這個全局最優(yōu)解。

我們進一步直觀的來理解梯度下降法

如圖所示，我們忽略了b，只是從J和w的角度來考慮，實際上梯度下降的過程就是不斷迭代

w=w?αdJ(w)dw
b也是同樣的道理，如果我們從三個變量角度出發(fā)，所不同的是求的是偏導數而不是導數而已。

總結

以上是生活随笔為你收集整理的1.2.1 Logistic回归和梯度下降简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。