import

解釋下給定的數(shù)據(jù)，x假設(shè)是fc layer的輸出，可以看到這里x是(3,3)的，也就是batch_size=3，n_classes=3。但是label給出了三個(gè)數(shù)，取值是0，1，因此這里必須要將label先變成one_hot的形式才能在cross_entropy函數(shù)中正確相乘。

值得注意的點(diǎn):

softmax是有exp函數(shù)的，exp對(duì)很大的數(shù)會(huì)出現(xiàn)inf，因此這里要先針對(duì)每行數(shù)字減去每行的最大值。這樣即可保證softmax的numerical stability。

cross_entropy中l(wèi)og(predictions)得到(3,3)的矩陣，target必須也是(3,3)才能對(duì)應(yīng)正確相乘，因此target要事先變成onehot

log函數(shù)在輸入=0時(shí)會(huì)出現(xiàn)錯(cuò)誤，因此log(predictions)前要對(duì)predictions進(jìn)行clip，將其中出現(xiàn)的0修改為一個(gè)很小的數(shù)字（難免predictions中有0）

總結(jié)

以上是生活随笔為你收集整理的softmax ce loss_手写softmax和cross entropy的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。