1 損失函數

定義：將隨機事件或其有關隨機變量的取值映射為非負實數以表示該隨機事件的“風險”或“損失”的函數。
應用：作為學習準則與優化問題相聯系，即通過最小化損失函數求解和評估模型。
分類：回歸問題、分類問題

2 回歸問題的損失函數

首先創建預測序列和目標序列作為張量
預測序列是(-1,1)的等差數列，目標值為0

sess = tf.Session() x_vals = tf.linspace(-1.,1.,500) target = tf.constant(0.)

2.1 L2正則損失函數

$$L=\sum _{i=1}^n(targe{t}_i?f(x_i){)}^2\text{\hspace{1em}(1)}$$
L2正則損失函數又稱歐拉損失函數，是預測值$f(x_i)$與目標值$targe{t}_i$差值的平方和。
L2正則損失函數是非常有用的損失函數，因為它在目標值附近有更好的曲度。
機器學習算法利用這點收斂，并且離目標越近收斂越慢。

l2 = tf.square(target - vals)

2.2 L1正則損失函數

$$L=\sum _{i=1}^n|targe{t}_i?f(x_i)|\text{\hspace{1em}(2)}$$
L1正則損失函數又稱絕對值損失函數，區別是L2是對差值求絕對值。
L1正則損失函數在目標值附近不平滑，不能很好地收斂。

l1 = tf.abs(target - vals)

2.3 Pseudo-Huber損失函數

Pseudo-Huber損失函數是Huber損失函數的連續、平滑估計。
它試圖利用L1和L2正則削減極值處的陡峭，使得目標值附近連續。
這個函數在目標附近是凸的，并且對數據中的游離點較不敏感。
具有上述的兩個損失函數的優點。需要一個額外的參數delta決定曲線的斜率。
它的表達式依賴參數$\delta$。后面會圖示${\delta }_1=0.25$和${\delta }_2=5$的區別：

delta1 = tf.constant(0.25) ph_y_vals1 = tf.multiply(tf.square(delta1), tf.sqrt(1. +tf.square(target - x_vals)/delta1) - 1.) delta2 = tf.constant(5) ph_y_vals2 = tf.multiply(tf.square(delta1), tf.sqrt(1. +tf.square(target - x_vals)/delta1) - 1.)

3 分類問題的損失函數

3.1 Hinge損失函數

Hinge損失函數主要用來評估SVM算法，但有時也用來評估神經網絡算法。
在本例中是計算兩個目標類(-1,1)之間的損失。
下面的代碼中，使用目標值1，所以預測值離1越近，損失函數值越小：

hinge_y_vals = tf.maximum(0.,1.-tf.multiply(target,x_vals)) hinge_y_out = sess.run(hinge_y_vals)

3.2 兩類交叉熵損失函數

兩類交叉熵損失函數又叫邏輯損失函數
當預測兩類目標0或者1時，希望度量預測值到真實分類值（0或者1）的距離，
這個距離經常是0到1之間的實數。為了度量這個距離，可以使用信息論中的交叉熵

ce_y_vals = -tf.multiply(target, tf.log(x_vals)-tf.multiply((1.-target),tf.log(1.-x_vals))) ce_y_out = sess.run(ce_y_vals)

3.3 sigmoid交叉熵損失函數

sigmoid交叉熵損失函數與上一個損失函數非常類似，
不同的是，它先把x_vals值通過sigmoid函數轉換，再計算交叉熵損失

sigmoid_y_vals = tf.nn.sigmoid_cross_entropy_with_logits(logits=x_vals,labels=targets) sigmoid_y_out = sess.run(sigmoid_y_vals)

3.4 加權交叉熵損失函數

加權交叉熵損失函數是Sigmoid交叉熵損失函數的加權，對正目標加權。
下面的例子中將正目標加權權重設為0.5

weight = tf.constant(0.5) ce_weighted_y_vals = tf.nn.weighted_cross_entropy_with_logits(x_vals, targets, weight) ce_weighted_y_out = sess.run(ce_weighted_y_vals)

3.5 Softmax交叉熵損失函數

Softmax交叉熵損失函數只針對單個目標分類的計算損失。
通過softmax函數將輸出結果轉化成概率分布，然后計算真值概率分布的損失。

unscaled_logits = tf.constant([[1.,-3.,10.]]) target_dist = tf.constant([[0.1,0.02,0.88]]) softmax_xentropy = tf.nn.softmax_cross_entropy_with_logits(logits=unscaled_logits,labels=target_dist) print(sess.run(softmax_xentropy))

3.6 稀疏Softmax交叉熵損失函數

稀疏Softmax交叉熵損失函數和上一個損失函數類似
它把目標分類為true的轉化成index
而Softmax交叉熵損失函數將目標轉成概率分布

unscaled_logits = tf.constant([[1.,-3.,10.]]) sparse_target_dist = tf.constant([2]) sparse_xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=unscaled_logits,labels=sparse_target_dist) print(sess.run(sparse_xentropy))

4 matplotlib繪制損失函數

x_array = sess.run(x_vals) plt.plot(x_array,l2_y_out,'b-',label='L2 Loss') plt.plot(x_array,l1_y_out,'r--',label='L1 Loss') plt.plot(x_array,ph_y_out1,'k-.',label='PH Loss(0.25)') plt.plot(x_array,ph_y_out2,'g:',label='PH Loss(5.0)') plt.ylim(-0.2,0.4) plt.legend(loc='lower right', prop={'size':11}) plt.show()# 三、matplotlib繪制分類算法的損失函數 plt.plot(x_array,hinge_y_out,'b-',label='Hinge Loss') plt.plot(x_array,ce_y_out,'r--',label='Cross Entropy Loss') plt.plot(x_array,sigmoid_y_out,'k-',label='Cross Entropy Sigmoid Loss') plt.plot(x_array,ce_weighted_y_out,'g:',label='Weighted Cross Entropy Loss(0.5)') plt.ylim(-1.5,3) plt.legend(loc='lower right',prop={'size':11}) plt.show()

4.1 回歸算法的損失函數圖像

4.2 分類算法的損失函數圖像

總結

以上是生活随笔為你收集整理的【TensorFlow】常用的损失函数及其TensorFlow实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。