深度学习（2）基础2 -- 分类：得分函数损失函数(损失、正则化惩罚项、梯度下降、学习率)概率
目錄
一、得分函數?
1、10分類
2、5分類
二、損失函數
0、引言
1、損失函數（數據損失）
2、損失函數應用
3、損失函數（數據損失與正則化懲罰項）
?1、數據損失
2、正則化懲罰項?
三、概率?
1、過程
2、得分 -> 概率
一、得分函數?
1、10分類
W：權重參數，類別個數（決定性參數）
b：偏置，微調參數（非決定性參數）
x：像素點個數。
3072：3072:32*32*3 = 3072（3072個像素點）
10：10個類別
每個類別都有其各自的權重。（如w1類別可以是貓，w2類別可以是狗）
2、5分類
二、損失函數
0、引言
值越大：該像素點越重要。
0：該像素點不太重要。
正值：促進。
負值：抑制。
?但是該圖卻把貓錯誤判斷成了狗，問題在哪里呢？
首先不會是數據的問題，因為數據是一個不變的量。需要改變的是W（權重），需要選擇一個合適的權重，所以需要改變這個W權重。
1、損失函數（數據損失）
損失函數：判斷得到的得分是否準確。
sj：當前圖像得分
syi：正確圖像得分
取0和(sj - syi + 1)的最大值：如果sj接近或者大于syi，則會產生損失，損失函數就不為0。
2、損失函數應用
?
第一張圖識別錯誤，做的很糟糕，產生一定的損失：
第二張圖識別的效果很好，得分比其他類別都高1，沒有損失：?
第三張圖居然得到的正確圖像是一個負分，效果相當差，損失很大：?
?
3、損失函數（數據損失與正則化懲罰項）
?1、數據損失
?數據損失：
2、正則化懲罰項?
正則化懲罰項：降低無關變量權重。
正則化：保留所有的特征變量，但是會減小特征變量的數量級（越無關的變量，減小越多），可以有效地防止過擬合的情況。
正則化懲罰項和數據關系不大，只考慮權重參數。（正則化懲罰項可以只用平方項來做）
(w1^2+W2^2?+ ... + wn^2)。
值越大：代表不希望過擬合，把正則化乘法放大。
我們希望模型不要太復雜，過擬合的模型是沒用的。
神經網絡由于過于強大，我們在研究神經網絡的過程中，不會單純的希望神經網絡太強，這樣泛化能力較差，我們希望神經網絡能再弱一點，這樣會有比較強的泛化能力。
3、梯度下降
梯度下降實質就是降低損失的過程，是目前最流行的優化方法。?
?
4、學習率
?
??
?學習率不可以過高，學習率過高可能會跳過最佳的情況。? 所以通常需要學習率低一點（0.001~0.0001即可）。
如上圖：梯度 = 學習率 * 更新梯度。?
三、概率?
1、過程
1、先得到得分
2、把得分的差異放大（e^x）
3、歸一化，得到概率
4、計算損失值
回歸：由得分計算損失
分類：由概率計算損失
2、得分 -> 概率
Softmax( )：歸一化的分類概率。
?（它的取值范圍在0~1，相當于概率值）
總結
以上是生活随笔為你收集整理的深度学习（2）基础2 -- 分类：得分函数损失函数(损失、正则化惩罚项、梯度下降、学习率)概率的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 深度学习（1）基础1 -- 深度学习与神
- 下一篇： 深度学习（3）基础3 -- 前向传播与反