Week2

目錄

Week2

2-1二分分類

2.2logistic regression

2.3logistic回歸的成本函數

2.4梯度下降

2.5、2.6均是高等數學中求導數的方法

2.7、2.8計算圖及其導數計算

2.9logistic回歸的梯度下降法

2-11

2-12

---

2-1二分分類

計算機如何保存一張圖片？

計算機要保存一張圖片，實質上是要保存三個矩陣，這三個矩陣分別對應RGB（red，green，blue）三個顏色的通道。例如輸入的圖片是64×64像素的，那么每一個矩陣的的大小就是64×64的，所以計算機就保存了3個64×64的矩陣，把這3個矩陣弄到一個向量X里，那么這個向量的維度就是64×64×3=12288=nx.

1.在二分類問題中，目標是訓練出一個分類器。舉個二分類的栗子，輸入一張貓的圖片，輸出的就只有0，1，0表示這張圖片不是貓，1表示這張圖片是貓。這個分類器的輸入就是上文的圖片，也就是特征向量X，而輸出是y,這個y的取值只有0或1。

一些符號規定

(x,y)表示一個單獨的樣本
x是xn維的特征向量
標簽y值為0或1
訓練集由m個訓練樣本構成，m個訓練樣本就是m張圖片的意思
(x^(1), y^(1))表示樣本1的輸入和輸出，
{x^(1), y(1),.....x(n), y^(n).}整個訓練集

2.2logistic regression

如何使用邏輯回歸解決二分類問題？

邏輯回歸中，我們希望預測值y的取值在0~1之間，這是與二分類模型不一樣的地方。我們使用線性模型，引入參數w,b，得到

但是這樣的值不是0~1的，所以我們再引入sigmoid函數

對這個函數進行分析：

如果z特別大，那么函數值就趨近0；如果z特別小，那么函數值就趨近于1.

2.3logistic回歸的成本函數

Loss function定義為：

cost function定義為：

其中，loss function是對單個訓練樣本而言的，而cost function是對整個訓練樣本的loss function的平均值。也就是說成本函數cost function，它衡量的是在全體訓練樣本上的表現。

2.4梯度下降

我們采用梯度下降法來訓練或學習訓練集上的參數w和b。我們要找到一個最合適的w，b使得成本函數最小。

可以看出，成本函數是一個凸函數，存在著一個全局最優解。

梯度下降法所做的就是，從初始點開始，朝最抖的下坡方向走一步，在梯度下降一步后，也許就會停在“碗”的最低端，因為它試著沿著最快下降的方向往下走，這是梯度下降的一次迭代。兩次迭代可能就到了最低點，或者需要更多次，我們希望收斂到這個全局最優解，或接近全局最優解。

α是學習率，表示梯度下降的步長，即向下走一步的長度。

2.5、2.6均是高等數學中求導數的方法

2.7、2.8計算圖及其導數計算

整個神經網絡的訓練過程分為兩步：前向傳播和反向傳播。前向傳播是從輸入到輸出，由神經網絡計算，預測得到輸出的過程。反向傳播是從輸出到輸入，在計算梯度或導數。

前向傳播

反向傳播

?

2.9logistic回歸的梯度下降法

因此我們在logistc回歸中，需要做的就是變換參數w和b的值來最小化損失函數

2-11

向量化---消除代碼中的for循環

c=np.dot(a,b)————兩個矩陣相乘

2-12

u=np.zeros((n,1)) 意思是創建一個n維數組，且一行只有一個元素

如果已知一個向量u=np.zeros((10,1)),則他長這樣子：

a = np.random.randn(5,1)  #定義一個5行1列,,,就是列向量
print a
array([[ 0.96628706],[-1.48066186],[-0.55044832],[-0.16443292],[ 0.58546807]])a = np.random.randn(1,5)  #定義一個1行5列，，，就是行向量print aarray([[ 1.01328334, -0.26443482,  1.1383514 , -1.09464648,  0.37793568]])

總結

以上是生活随笔為你收集整理的吴恩达神经网络和深度学习——第二周笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。