第1章 Python入門

第2章 感知機(jī)

第3章 神經(jīng)網(wǎng)絡(luò)

3.2.激活函數(shù)

sigmoid函數(shù)：
$$h(x)=\frac{1}{1+\exp (?x)}$$
ReLU（Rectified Linear Unit）函數(shù)：
$$h(x)=\{\begin{array}{ll}x,& (x>0)\\ 0,& (x\le 0)\end{array}$$

3.5.輸出層的設(shè)計(jì)

softmax函數(shù)：
$$y_k=\frac{\exp (a_k)}{{\sum }_{i=1}^n\exp (a_i)}$$

第4章 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

4.2.損失函數(shù)

交叉熵誤差（cross entropy error）：
$$E=?\sum _k{t}_k\log y_k$$

問題：為什么數(shù)值微分的計(jì)算非常費(fèi)時(shí)？復(fù)雜度有多高？

4.3.數(shù)值微分

# 數(shù)值微分 def numerical_diff(f, x):h = 1e-4return (f(x+h) - f(x-h)) / (2*h)

4.4.梯度

梯度下降法
學(xué)習(xí)率

第5章 誤差反向傳播法

5.1.計(jì)算圖

計(jì)算圖解題流程：

1.構(gòu)建計(jì)算圖

2.在計(jì)算圖上，從左向右進(jìn)行計(jì)算

使用計(jì)算圖的原因：可以通過反向傳播高效計(jì)算導(dǎo)數(shù)。

計(jì)算圖的優(yōu)點(diǎn)：可以通過正向傳播和反向傳播高效地計(jì)算各個(gè)變量的導(dǎo)數(shù)值。

5.2.鏈?zhǔn)椒▌t

定義：如果某個(gè)函數(shù)由復(fù)合函數(shù)表示，則該復(fù)合函數(shù)的導(dǎo)數(shù)可以用構(gòu)成復(fù)合函數(shù)的各個(gè)函數(shù)的導(dǎo)數(shù)的乘積表示。
$$\frac{?z}{?x}=\frac{?z}{?t}\frac{?t}{?x}$$
舉例：$$z=(x+y{)}^2,t=x+y$$
反向傳播計(jì)算過程如下：

圖5.7-5.8 計(jì)算圖的正向與反向傳播

5.3.反向傳播

加法的反向傳播：將上游的值傳給下游，不需要正向傳播的輸入信號(hào)。
乘法的反向傳播：將上游的值乘以正向傳播時(shí)的輸入信號(hào)的“翻轉(zhuǎn)值”后傳給下游，需要正向傳播的輸入信號(hào)。

圖5-14 購買蘋果的反向傳播的例子

5.4.簡單層的實(shí)現(xiàn)

圖5-17 購買2個(gè)蘋果和3個(gè)橘子

5.5.激活層函數(shù)的實(shí)現(xiàn)

圖5-18 ReLU層的計(jì)算圖

圖5-21 Sigmoid層的計(jì)算圖（簡潔版）

為什么是exp(-x)而不是exp(x)?

圖5-22 Sigmoid層的計(jì)算圖：可以根據(jù)正向傳播的輸出y計(jì)算反向傳播

5.6.Affine/Softmax層的實(shí)現(xiàn)

todo

總結(jié)

以上是生活随笔為你收集整理的深度学习入门(鱼书)学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。