說明：本文是七月算法5月深度學習班第一次課聽課筆記。只記錄關鍵知識點，有些沒具體展開。幫助復習用。文中使用了老師課件中的公式。

微積分

導數

定義 常用函數導數 導數法則 加法 ?乘法 ?除法 ?鏈式法則 一元函數與多元函數
一階導 ? 一元函數 f'(x)? 多元函數? ? ? ? ? ? ? ?
二階導 ? ?一元函數f‘’(x) ? ??多元函數Hessian矩陣

泰勒級數

? ? ? ?泰勒級數公式 ? ?一元版和多元版

? ? ? ??

? ? ? ?

一級導數=0 ?這一點可能為 平穩(wěn)點、極值點、鞍點。如果二級導數>0，是極小值點；二級導數<0，是極大值點。二級導數=0，是鞍點。注意在多元函數中二級導數>0，就是指hession矩陣>0（正定矩陣）。

梯度下降

為了找到函數最小值，首先要求一階導數。當原函數的導數不好求，或者不可求的時候選擇梯度下降。 為什么是梯度下降？ 在函數已知點 (xk,f(xk)) ，走一個方向 delta。怎么才能讓函數最快上升呢？根據上面的泰勒級數公式，當 ?delta = 梯度方向的時候，?可以取到最大值，所以函數增長會最大。 當需要求函數最小值的時候，只要沿著負梯度方向就可以了。當然這里還有一個重要的參數是步長。

概率論

隨機變量

離散型 分布式函數 連續(xù)型 累計分布函數概率密度函數

高斯分布

表達式 ? 一元版 ? 多元函數版 中心極限定理 多個(>=4)泊松分布的和是高斯分布 獨立高斯變量相加=高斯分布

貝葉斯公式

貝葉斯公式用于推斷一件事情發(fā)生的可能性。
通過 公式1和公式2推出公式3，進而得到公式4，貝葉斯公式。P(A|B)是后驗概率，P(B)是一個確定的事件，P(A)是先驗概率，P(B|A)是似然函數。
吸毒案例學習 注意：當先驗概率很低的時候，即使似然函數有很高的值，結果也可能很低。

矩陣

特征向量與特征值

A為一個矩陣 ，X為一個向量，r為一個實數。如果 AX=rX。則X是A的特征向量，r是特征值。也就是說一個向量，經過矩陣A的變換之后，仍然和原向量共線。 矩陣所有特征值不同=> 特征向量線性無關

對稱矩陣特征分解

PCA

對象 ? ? ? ? ? ? ? ? ? ? ? ? ?操作 ? ? ? 結果? X ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 協(xié)方差 ?= ?Cx Cx ? ? ? ? ? ? ? ? ? ? ? ? ? ? SVD ? = ? ? U（單位特征向量） (U轉置) ? X ? ? ? ? ? ? ? ?內積 ? = ? ? Y 對(X做去相關操作) Y ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 協(xié)方差 ? = ?Cy ?對角陣，對角元素是X的特征值，按照從小到大排序 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 與U中的列 ?特征向量正好 對應，形成特征向量與特征值
U[:,:k] X ? ? ? ? ? ? ? ? ? ? ?內積 ? ?= ? ?降維后的矩陣

凸優(yōu)化

一般有約束的優(yōu)化問題

KKT條件

將約束轉為無約束

凸優(yōu)化問題

無約束問題求解--------SGD 有約束優(yōu)化問題 ?--------------拉格朗日乘子--------無約束問題-----------KKT 求解

總結

以上是生活随笔為你收集整理的深度学习第一次课-数学的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。