機器學習算法的基礎知識

• 1、評估指標
• 2、偏差與方差（過擬合與欠擬合）
• 3、正則化（解決過擬合）
• 4、梯度下降算法（算法優化方式）
• 5、數據不平衡

1、評估指標

預測值01

實際	0	TN	FP
	1	FN	TP

• $accuracy=\frac{TN+TP}{TN+TP+FP+FN}$
• $precision=\frac{TP}{TP+FP}$
• $recall=\frac{TP}{TP+FN}$
• $F1=\frac{2?(pre+rec)}{pre+rec}$
• ROC曲線：$X軸：FPR=\frac{FP}{FP+TN}；Y軸：TPR=\frac{TP}{TP+FN}$

2、偏差與方差（過擬合與欠擬合）

$$Error=Bias+Variance$$

• $Error$：整個模型的準確度
• $Bias$：模型在樣本上的輸出與真實值之間的誤差（即模型本身的精度）
• $Variance$：每次輸出結果與模型輸出期望之間的誤差（即模型的穩定性）
  

3、正則化（解決過擬合）

• L1正則化產生稀疏特征
• L2產生更多特征但都會接近于0

4、梯度下降算法（算法優化方式）

5、數據不平衡

總結

以上是生活随笔為你收集整理的机器学习算法的基础知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。