交叉熵（Cross Entropy）是Shannon信息論中一個重要概念，主要用于度量兩個概率分布間的差異性信息。
若P(x)是數(shù)據(jù)的真實概率分布，q(x)是由數(shù)據(jù)計算得到的概率分布。機器學習的目的就是希望q(x)盡可能地逼近甚至等于P(x)。對q(x)的優(yōu)化就等效于求交叉熵的最小值。另外，對交叉熵求最小值，也等效于求最大似然估計
交叉熵在單分類問題中的應(yīng)用

小白都能看懂的softmax詳解

總結(jié)

以上是生活随笔為你收集整理的交叉熵的物理意义及简单公式推导的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。