網上寫得實在是太亂，整理下：

交叉熵函數：
$$H(p,q)=E_p[?logq]=?\sum _{x\in \chi }p(x)logq(x)①$$
$x$是某個類別
$\chi$是所有的類別的集合

$$H(p,q)=H(p)+D_{KL}(p||q)$$

$D_{KL}(p||q)$是KL散度,注意,在概念上:
$D_{KL}(p||q)$ ≠ $D_{KL}(q||p)$

其中
$$D_{KL}(p||q)=\sum _{x\in \chi }p(x)?log\frac{p(x)}{q(x)}$$

交叉熵損失函數：
$$L(w)=\frac{1}{N}\sum _{n=1}^{N}H(p_n,q_n)$$
$$=?\frac{1}{N}\sum _{n=1}^N[p_{n}log{q}_n+(1?p_n)log(1?q_n)]②$$
這里我們稍微停一下，似乎發現①和②的形式不太一樣？？？
注意②是特指二分類的形式。

$$q_n=\frac{1}{1+e^{?w?x_n}}$$
$w$指的是該隱藏單元的輸入權重，
$x_n$指的是與隱藏單元鏈接的輸入值
從定義可以看到，交叉熵損失函數的值總是小于１的。

其中,
$p_n$為真實分布，
$q_n$為非真實分布.

這里的$N$指的是$N$條數據，而不是$N$分類，上述公式是針對二分類的。

參考鏈接：
https://www.cnblogs.com/ljy2013/p/6432269.html#commentform

總結

以上是生活随笔為你收集整理的交叉熵(cross entropy)概念整理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。