文章目錄

• • 第一章 神經(jīng)網(wǎng)絡(luò)的思想
  • • 1-1 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
    • 1-2 神經(jīng)元工作的數(shù)學(xué)表示
    • 1-3 激活函數(shù)：將神經(jīng)元的工作一般化
    • 1-4 什么是神經(jīng)網(wǎng)絡(luò)
    • 1-5 用惡魔來(lái)講解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
    • 1-6 將惡魔的工作翻譯成神經(jīng)網(wǎng)絡(luò)的語(yǔ)言
    • 1-7 網(wǎng)絡(luò)自學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)
  • 第二章 神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)
  • • 2-1 神經(jīng)網(wǎng)絡(luò)所需的函數(shù)
    • 2-2 有助于理解神經(jīng)網(wǎng)絡(luò)的數(shù)列和遞推關(guān)系式
    • 2-3 神經(jīng)網(wǎng)絡(luò)中經(jīng)常用到的Σ符號(hào)
    • 2-4 有助于理解神經(jīng)網(wǎng)絡(luò)的向量基礎(chǔ)
    • 2-5 有助于理解神經(jīng)網(wǎng)絡(luò)的矩陣基礎(chǔ)
    • 2-6 神經(jīng)網(wǎng)絡(luò)的導(dǎo)數(shù)基礎(chǔ)
    • 2-7 神經(jīng)網(wǎng)絡(luò)的偏導(dǎo)數(shù)基礎(chǔ)
    • 2-8 誤差反向傳播法必須的鏈?zhǔn)椒▌t
    • 2-9 梯度下降法的基礎(chǔ)
    • 2-10 梯度下降法的含義與公式
    • 2-11 用Excel體驗(yàn)梯度下降法（改成用python體驗(yàn)）
    • 2-12 最優(yōu)化問(wèn)題和回歸分析
  • 第三章 神經(jīng)網(wǎng)絡(luò)的最優(yōu)化
  • • 3-1 神經(jīng)網(wǎng)絡(luò)的參數(shù)和變量
    • 3-2 神經(jīng)網(wǎng)絡(luò)變量的關(guān)系式
    • 3-3 學(xué)習(xí)數(shù)據(jù)和正解
    • 3-4 神經(jīng)網(wǎng)絡(luò)的代價(jià)函數(shù)
    • 3-5 用Excel體驗(yàn)神經(jīng)網(wǎng)絡(luò)
  • 第四章 神經(jīng)網(wǎng)絡(luò)和誤差反向傳播法
  • • 4-1 梯度下降法的回顧
    • 4-2 神經(jīng)單元誤差${\delta }_l^j$
    • 4-3 神經(jīng)網(wǎng)絡(luò)和誤差反向傳播法
    • 4-4 用Excel體驗(yàn)神經(jīng)網(wǎng)絡(luò)的誤差反向傳播法
  • 第五章 深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)
  • • 5-1 小惡魔來(lái)講解卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
    • 5-2 將小惡魔的工作翻譯為卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)言
    • 5-3 卷積神經(jīng)網(wǎng)絡(luò)的變量關(guān)系式
    • 5-4 用Excel體驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)
    • 5-5 卷積神經(jīng)網(wǎng)絡(luò)和誤差反向傳播法
    • 5-6 用Excel體驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)的誤差反向傳播法
  • 附錄
  • • A 訓(xùn)練數(shù)據(jù)（1）
    • B 訓(xùn)練數(shù)據(jù)（2）
    • C 用數(shù)學(xué)式表示模式的相似度

第一章 神經(jīng)網(wǎng)絡(luò)的思想

1-1 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

神經(jīng)元的“點(diǎn)火”、

1-2 神經(jīng)元工作的數(shù)學(xué)表示

神經(jīng)元固有邊界值（閾值）、神經(jīng)元信號(hào)傳遞（點(diǎn)火）、權(quán)重

1-3 激活函數(shù)：將神經(jīng)元的工作一般化

神經(jīng)單元（unit）、激活函數(shù)（activation function）、sigmoid函數(shù)、單位階躍函數(shù)、線性整流函數(shù)（relu）、偏置（bias）

1-4 什么是神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)、階層型神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò) back propagation）、卷積神經(jīng)網(wǎng)絡(luò)、層（layer）、輸入層、隱藏層（中間層）、輸出層、全連接層（fully connected layer 指前一層的神經(jīng)單元與下一層的所有神經(jīng)單元都有箭頭連接）

1-5 用惡魔來(lái)講解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

隱藏層肩負(fù)著特征提取（feature extraction）的重要職責(zé)

1-6 將惡魔的工作翻譯成神經(jīng)網(wǎng)絡(luò)的語(yǔ)言

1-7 網(wǎng)絡(luò)自學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)

網(wǎng)絡(luò)自學(xué)習(xí)算法、學(xué)習(xí)數(shù)據(jù)、學(xué)習(xí)、模型的最優(yōu)化（確定使得誤差總和達(dá)到最小的權(quán)重和偏置 ）、代價(jià)函數(shù)（預(yù)測(cè)值與正解的誤差的平方的總和）、最小二乘法、回歸分析、

第二章 神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)

2-1 神經(jīng)網(wǎng)絡(luò)所需的函數(shù)

一次函數(shù)、斜率、截距、一次函數(shù)關(guān)系、誤差反向傳播法、函數(shù)、自變量、因變量、二次函數(shù)、最小二乘法、單位階躍函數(shù)、指數(shù)函數(shù)（底數(shù)、納皮爾數(shù)e）、正態(tài)分布（期望值、平均值、標(biāo)準(zhǔn)差）、標(biāo)注正態(tài)分布、正態(tài)分布隨機(jī)數(shù)（在神經(jīng)網(wǎng)絡(luò)的計(jì)算中，經(jīng)常用到正態(tài)分布隨機(jī)數(shù)作為初始值）

2-2 有助于理解神經(jīng)網(wǎng)絡(luò)的數(shù)列和遞推關(guān)系式

計(jì)算機(jī)不擅長(zhǎng)導(dǎo)數(shù)計(jì)算，但擅長(zhǎng)處理遞推關(guān)系式、數(shù)列（項(xiàng)、首項(xiàng)、有窮數(shù)列、末項(xiàng)、通項(xiàng)公式、遞歸定義、遞推關(guān)系式）、聯(lián)立遞推關(guān)系式

2-3 神經(jīng)網(wǎng)絡(luò)中經(jīng)常用到的Σ符號(hào)

2-4 有助于理解神經(jīng)網(wǎng)絡(luò)的向量基礎(chǔ)

有向線段（起點(diǎn)、終點(diǎn)）、向量（位置、方向、大小）、向量是具有大小和方向的量，用箭頭表示、向量的坐標(biāo)表示、內(nèi)積、梯度下降法、卷積神經(jīng)網(wǎng)絡(luò)、通過(guò)內(nèi)積可以知道兩個(gè)向量的相對(duì)的相似度、張量tensor、應(yīng)力張量

2-5 有助于理解神經(jīng)網(wǎng)絡(luò)的矩陣基礎(chǔ)

矩陣（行、列、方陣、行向量、列向量、向量、元素、單位矩陣、矩陣的和、矩陣的差、矩陣的常數(shù)倍、矩陣的乘積、Hadamard乘積、轉(zhuǎn)置矩陣）

2-6 神經(jīng)網(wǎng)絡(luò)的導(dǎo)數(shù)基礎(chǔ)

導(dǎo)函數(shù)、求導(dǎo)、可導(dǎo)、導(dǎo)數(shù)的線性性（和的導(dǎo)數(shù)為導(dǎo)數(shù)的和，常數(shù)倍的導(dǎo)數(shù)為導(dǎo)數(shù)的常數(shù)倍）、增減表、Sigmoid函數(shù)及其導(dǎo)數(shù)（$\sigma (x)=\frac{1}{1+e{}^{?x}}$、$\sigma {}^{\text{’}}(x)=\sigma (x)(1?\sigma (x\left)\right)$）

2-7 神經(jīng)網(wǎng)絡(luò)的偏導(dǎo)數(shù)基礎(chǔ)

多變量函數(shù)、偏導(dǎo)數(shù)、拉格朗日乘數(shù)法

2-8 誤差反向傳播法必須的鏈?zhǔn)椒▌t

鏈?zhǔn)椒▌t（復(fù)合函數(shù)求導(dǎo)公式）、復(fù)合函數(shù)、單變量函數(shù)的鏈?zhǔn)椒▌t（導(dǎo)數(shù)可以像分?jǐn)?shù)一樣進(jìn)行計(jì)算）、多變量函數(shù)的鏈?zhǔn)椒▌t

2-9 梯度下降法的基礎(chǔ)

單變量函數(shù)的近似公式、多變量函數(shù)的近似公式、近似公式的向量表示、泰勒展開(kāi)式

2-10 梯度下降法的含義與公式

尋找最小值點(diǎn)的方法——梯度下降法（最速下降法）、二變量函數(shù)的梯度下降法的基本式、梯度（gradient，最陡的坡度方向）、哈密頓算子、位移向量、正的微小常數(shù)（步長(zhǎng)、學(xué)習(xí)率【它的確定方法沒(méi)有明確的目標(biāo)，只能通過(guò)反復(fù)試驗(yàn)來(lái)尋找恰當(dāng)?shù)闹怠?#xff09;

2-11 用Excel體驗(yàn)梯度下降法（改成用python體驗(yàn)）

【深度學(xué)習(xí)的數(shù)學(xué)】2-11 用Excel體驗(yàn)梯度下降法（用python實(shí)現(xiàn)）

2-12 最優(yōu)化問(wèn)題和回歸分析

第三章 神經(jīng)網(wǎng)絡(luò)的最優(yōu)化

3-1 神經(jīng)網(wǎng)絡(luò)的參數(shù)和變量

3-2 神經(jīng)網(wǎng)絡(luò)變量的關(guān)系式

3-3 學(xué)習(xí)數(shù)據(jù)和正解

3-4 神經(jīng)網(wǎng)絡(luò)的代價(jià)函數(shù)

3-5 用Excel體驗(yàn)神經(jīng)網(wǎng)絡(luò)

第四章 神經(jīng)網(wǎng)絡(luò)和誤差反向傳播法

4-1 梯度下降法的回顧

4-2 神經(jīng)單元誤差${\delta }_l^j$

4-3 神經(jīng)網(wǎng)絡(luò)和誤差反向傳播法

4-4 用Excel體驗(yàn)神經(jīng)網(wǎng)絡(luò)的誤差反向傳播法

第五章 深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)

5-1 小惡魔來(lái)講解卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

5-2 將小惡魔的工作翻譯為卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)言

5-3 卷積神經(jīng)網(wǎng)絡(luò)的變量關(guān)系式

5-4 用Excel體驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)

5-5 卷積神經(jīng)網(wǎng)絡(luò)和誤差反向傳播法

5-6 用Excel體驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)的誤差反向傳播法

附錄

A 訓(xùn)練數(shù)據(jù)（1）

B 訓(xùn)練數(shù)據(jù)（2）

C 用數(shù)學(xué)式表示模式的相似度

總結(jié)

以上是生活随笔為你收集整理的《深度学习的数学》笔记【各种概念】的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。