batch normalization是對每個batch的數據在每一層進行z-score標準化，z-score標準化相當于讓數據符合標準正態分布

歸一化：

1、把數變為（0，1）之間的小數
主要是為了數據處理方便提出來的，把數據映射到0～1范圍之內處理，更加便捷快速。
2、把有量綱表達式變為無量綱表達式
歸一化是一種簡化計算的方式，即將有量綱的表達式，經過變換，化為無量綱的表達式，成為純量。

歸一化算法有：

1.線性轉換

　 ?y=(x-MinValue)/(MaxValue-MinValue)

２.對數函數轉換：

?????y=log10(x)

３.反余切函數轉換

?????y=atan(x)*2/PI

４.線性也與對數函數結合

?????式(1)將輸入值換算為[-1,1]區間的值，

?????在輸出層用式(2)換算回初始值，其中和分別表示訓練樣本集中負荷的最大值和最小值。

標準化

數據的標準化是將數據按比例縮放，使之落入一個小的特定區間。由于信用指標體系的各個指標度量單位是不同的，為了能夠將指標參與評價計算，需要對指標進行規范化處理，通過函數變換將其數值映射到某個數值區間。

標準化算法有：

1.z-score標準化(或零－均值標準化)（常用）

　y=(x-X的平均值)／X的標準差=(x-mean)/std?

? 優點：當X的最大值和最小值未知，或孤立點左右了最大－最小規范化時，該方法有用

2.最小－最大規范化(線性變換)

? ?y=( (x-MinValue) / (MaxValue-MinValue) )(new_MaxValue-new_MinValue)+new_minValue

３.小數定標規范化：通過移動X的小數位置來進行規范化

　 y= x/10的j次方　　(其中,j使得Max(|y|) <1的最小整數

４.對數Logistic模式：

? ? 新數據=1/（1+e^(-原數據)）

５.模糊量化模式：

? ? 新數據=1/2+1/2sin[派3.1415/（極大值-極小值）*（X-（極大值-極小值）/2）?]???????X為原數據

總結

以上是生活随笔為你收集整理的数据归一化、标准化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。