文章目錄

• • 第一章 神經網絡的思想
  • • 1-1 神經網絡和深度學習
    • 1-2 神經元工作的數學表示
    • 1-3 激活函數：將神經元的工作一般化
    • 1-4 什么是神經網絡
    • 1-5 用惡魔來講解神經網絡的結構
    • 1-6 將惡魔的工作翻譯成神經網絡的語言
    • 1-7 網絡自學習的神經網絡
  • 第二章 神經網絡的數學基礎
  • • 2-1 神經網絡所需的函數
    • 2-2 有助于理解神經網絡的數列和遞推關系式
    • 2-3 神經網絡中經常用到的Σ符號
    • 2-4 有助于理解神經網絡的向量基礎
    • 2-5 有助于理解神經網絡的矩陣基礎
    • 2-6 神經網絡的導數基礎
    • 2-7 神經網絡的偏導數基礎
    • 2-8 誤差反向傳播法必須的鏈式法則
    • 2-9 梯度下降法的基礎
    • 2-10 梯度下降法的含義與公式
    • 2-11 用Excel體驗梯度下降法（改成用python體驗）
    • 2-12 最優化問題和回歸分析
  • 第三章 神經網絡的最優化
  • • 3-1 神經網絡的參數和變量
    • 3-2 神經網絡變量的關系式
    • 3-3 學習數據和正解
    • 3-4 神經網絡的代價函數
    • 3-5 用Excel體驗神經網絡
  • 第四章 神經網絡和誤差反向傳播法
  • • 4-1 梯度下降法的回顧
    • 4-2 神經單元誤差${\delta }_l^j$
    • 4-3 神經網絡和誤差反向傳播法
    • 4-4 用Excel體驗神經網絡的誤差反向傳播法
  • 第五章 深度學習和卷積神經網絡
  • • 5-1 小惡魔來講解卷積神經網絡的結構
    • 5-2 將小惡魔的工作翻譯為卷積神經網絡語言
    • 5-3 卷積神經網絡的變量關系式
    • 5-4 用Excel體驗卷積神經網絡
    • 5-5 卷積神經網絡和誤差反向傳播法
    • 5-6 用Excel體驗卷積神經網絡的誤差反向傳播法
  • 附錄
  • • A 訓練數據（1）
    • B 訓練數據（2）
    • C 用數學式表示模式的相似度

第一章 神經網絡的思想

1-1 神經網絡和深度學習

神經元的“點火”、

1-2 神經元工作的數學表示

神經元固有邊界值（閾值）、神經元信號傳遞（點火）、權重

1-3 激活函數：將神經元的工作一般化

神經單元（unit）、激活函數（activation function）、sigmoid函數、單位階躍函數、線性整流函數（relu）、偏置（bias）

1-4 什么是神經網絡

神經網絡、階層型神經網絡（BP神經網絡 back propagation）、卷積神經網絡、層（layer）、輸入層、隱藏層（中間層）、輸出層、全連接層（fully connected layer 指前一層的神經單元與下一層的所有神經單元都有箭頭連接）

1-5 用惡魔來講解神經網絡的結構

隱藏層肩負著特征提取（feature extraction）的重要職責

1-6 將惡魔的工作翻譯成神經網絡的語言

1-7 網絡自學習的神經網絡

網絡自學習算法、學習數據、學習、模型的最優化（確定使得誤差總和達到最小的權重和偏置 ）、代價函數（預測值與正解的誤差的平方的總和）、最小二乘法、回歸分析、

第二章 神經網絡的數學基礎

2-1 神經網絡所需的函數

一次函數、斜率、截距、一次函數關系、誤差反向傳播法、函數、自變量、因變量、二次函數、最小二乘法、單位階躍函數、指數函數（底數、納皮爾數e）、正態分布（期望值、平均值、標準差）、標注正態分布、正態分布隨機數（在神經網絡的計算中，經常用到正態分布隨機數作為初始值）

2-2 有助于理解神經網絡的數列和遞推關系式

計算機不擅長導數計算，但擅長處理遞推關系式、數列（項、首項、有窮數列、末項、通項公式、遞歸定義、遞推關系式）、聯立遞推關系式

2-3 神經網絡中經常用到的Σ符號

2-4 有助于理解神經網絡的向量基礎

有向線段（起點、終點）、向量（位置、方向、大小）、向量是具有大小和方向的量，用箭頭表示、向量的坐標表示、內積、梯度下降法、卷積神經網絡、通過內積可以知道兩個向量的相對的相似度、張量tensor、應力張量

2-5 有助于理解神經網絡的矩陣基礎

矩陣（行、列、方陣、行向量、列向量、向量、元素、單位矩陣、矩陣的和、矩陣的差、矩陣的常數倍、矩陣的乘積、Hadamard乘積、轉置矩陣）

2-6 神經網絡的導數基礎

導函數、求導、可導、導數的線性性（和的導數為導數的和，常數倍的導數為導數的常數倍）、增減表、Sigmoid函數及其導數（$\sigma (x)=\frac{1}{1+e{}^{?x}}$、$\sigma {}^{\text{’}}(x)=\sigma (x)(1?\sigma (x\left)\right)$）

2-7 神經網絡的偏導數基礎

多變量函數、偏導數、拉格朗日乘數法

2-8 誤差反向傳播法必須的鏈式法則

鏈式法則（復合函數求導公式）、復合函數、單變量函數的鏈式法則（導數可以像分數一樣進行計算）、多變量函數的鏈式法則

2-9 梯度下降法的基礎

單變量函數的近似公式、多變量函數的近似公式、近似公式的向量表示、泰勒展開式

2-10 梯度下降法的含義與公式

尋找最小值點的方法——梯度下降法（最速下降法）、二變量函數的梯度下降法的基本式、梯度（gradient，最陡的坡度方向）、哈密頓算子、位移向量、正的微小常數（步長、學習率【它的確定方法沒有明確的目標，只能通過反復試驗來尋找恰當的值】）

2-11 用Excel體驗梯度下降法（改成用python體驗）

【深度學習的數學】2-11 用Excel體驗梯度下降法（用python實現）

2-12 最優化問題和回歸分析

第三章 神經網絡的最優化

3-1 神經網絡的參數和變量

3-2 神經網絡變量的關系式

3-3 學習數據和正解

3-4 神經網絡的代價函數

3-5 用Excel體驗神經網絡

第四章 神經網絡和誤差反向傳播法

4-1 梯度下降法的回顧

4-2 神經單元誤差${\delta }_l^j$

4-3 神經網絡和誤差反向傳播法

4-4 用Excel體驗神經網絡的誤差反向傳播法

第五章 深度學習和卷積神經網絡

5-1 小惡魔來講解卷積神經網絡的結構

5-2 將小惡魔的工作翻譯為卷積神經網絡語言

5-3 卷積神經網絡的變量關系式

5-4 用Excel體驗卷積神經網絡

5-5 卷積神經網絡和誤差反向傳播法

5-6 用Excel體驗卷積神經網絡的誤差反向傳播法

附錄

A 訓練數據（1）

B 訓練數據（2）

C 用數學式表示模式的相似度

總結

以上是生活随笔為你收集整理的《深度学习的数学》笔记【各种概念】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。