微積分基礎(chǔ)

導(dǎo)數(shù)的定義
左導(dǎo)數(shù)、右導(dǎo)數(shù)、可導(dǎo)函數(shù)
導(dǎo)數(shù)幾何意義、物理意義
基本函數(shù)求導(dǎo)公式
四則運算法則
復(fù)合函數(shù)求導(dǎo)法則
神經(jīng)網(wǎng)絡(luò)激活函數(shù)的導(dǎo)函數(shù)求解
高階導(dǎo)數(shù)
導(dǎo)數(shù)與函數(shù)單調(diào)性
極值定理
導(dǎo)數(shù)與函數(shù)凹凸性
一元函數(shù)泰勒展開

線性代數(shù)基礎(chǔ)

向量與其運算
行向量和列向量
向量加減、數(shù)乘、內(nèi)積、轉(zhuǎn)置
向量范數(shù)
特殊向量
矩陣與其運算
方陣、對稱陣、單位陣、對角陣
矩陣加減、數(shù)乘、矩陣乘法、轉(zhuǎn)置
逆矩陣
行列式

多元函數(shù)微分學

偏導(dǎo)數(shù)
高階偏導(dǎo)數(shù)
梯度
雅可比矩陣
Hessian 矩陣
極值判別法則

線性代數(shù)高級

二次型
特征值和特征向量
特征值分解
多元函數(shù)的泰勒展開
矩陣和向量的求導(dǎo)公式
奇異值分解
奇異值分解計算方式
奇異值分解性質(zhì)
SVD 用于數(shù)據(jù)壓縮
SVD 用于 PCA 降維
SVD 用于協(xié)同過濾
SVD 用于矩陣求逆

概率論

隨機事件和隨機事件概率
條件概率和貝葉斯公式
隨機事件的獨立性
隨機變量
數(shù)學期望和方差
常用隨機變量服從的分布
隨機向量
隨機變量獨立性
協(xié)方差與協(xié)方差矩陣
隨機向量的常見分布
最大似然估計

最優(yōu)化

局部最小和全局最小
迭代法求解
梯度下降法推導(dǎo)
牛頓法推導(dǎo)
坐標下降法
數(shù)值優(yōu)化算法的問題
凸集
凸函數(shù)
凸優(yōu)化問題
拉格朗日乘數(shù)法
拉格朗日對偶
KKT 條件

原文出處：人工智能算法-AI 數(shù)學知識 - 尚學堂的文章 - 知乎
https://zhuanlan.zhihu.com/p/139191156，侵刪

總結(jié)

以上是生活随笔為你收集整理的机器学习算法、深度学习算法涉及的数学知识的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。