ENVI（The Environment for Visualizing Images）

RMSE

Root Mean Square Error, 均方根誤差
是觀測值與真值偏差的平方和與觀測次數(shù) m 比值的平方根。
是用來衡量觀測值同真值之間的偏差
MAE

Mean Absolute Error ，平均絕對(duì)誤差
是絕對(duì)誤差的平均值
能更好地反映預(yù)測值誤差的實(shí)際情況.
標(biāo)準(zhǔn)差

Standard Deviation ，標(biāo)準(zhǔn)差
是方差的算數(shù)平方根
是用來衡量一組數(shù)自身的離散程度

RMSE 與標(biāo)準(zhǔn)差對(duì)比：標(biāo)準(zhǔn)差是用來衡量一組數(shù)自身的離散程度，而均方根誤差是用來衡量觀測值同真值之間的偏差，它們的研究對(duì)象和研究目的不同，但是計(jì)算過程類似。

RMSE 與 MAE 對(duì)比：RMSE 相當(dāng)于 L2 范數(shù)，MAE 相當(dāng)于 L1 范數(shù)。次數(shù)越高，計(jì)算結(jié)果就越與較大的值有關(guān)，而忽略較小的值，所以這就是為什么 RMSE 針對(duì)異常值更敏感的原因（即有一個(gè)預(yù)測值與真實(shí)值相差很大，那么 RMSE 就會(huì)很大）。

RMSE引用

xloading
偏最小二乘（pls）

Unscrambler軟件

MSC

SNV

SGSmoothing

sg平滑引用

Normalize

SACNN
注意力機(jī)制

Dropout說的簡單一點(diǎn)就是：我們?cè)谇跋騻鞑サ臅r(shí)候，讓某個(gè)神經(jīng)元的激活值以一定的概率p停止工作，這樣可以使模型泛化性更強(qiáng)，因?yàn)樗粫?huì)太依賴某些局部的特征。

為什么說Dropout可以解決過擬合？
（1）取平均的作用： 先回到標(biāo)準(zhǔn)的模型即沒有dropout，我們用相同的訓(xùn)練數(shù)據(jù)去訓(xùn)練5個(gè)不同的神經(jīng)網(wǎng)絡(luò)，一般會(huì)得到5個(gè)不同的結(jié)果，此時(shí)我們可以采用 “5個(gè)結(jié)果取均值”或者“多數(shù)取勝的投票策略”去決定最終結(jié)果。例如3個(gè)網(wǎng)絡(luò)判斷結(jié)果為數(shù)字9,那么很有可能真正的結(jié)果就是數(shù)字9，其它兩個(gè)網(wǎng)絡(luò)給出了錯(cuò)誤結(jié)果。這種“綜合起來取平均”的策略通常可以有效防止過擬合問題。因?yàn)椴煌木W(wǎng)絡(luò)可能產(chǎn)生不同的過擬合，取平均則有可能讓一些“相反的”擬合互相抵消。dropout掉不同的隱藏神經(jīng)元就類似在訓(xùn)練不同的網(wǎng)絡(luò)，隨機(jī)刪掉一半隱藏神經(jīng)元導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)不同，整個(gè)dropout過程就相當(dāng)于對(duì)很多個(gè)不同的神經(jīng)網(wǎng)絡(luò)取平均。而不同的網(wǎng)絡(luò)產(chǎn)生不同的過擬合，一些互為“反向”的擬合相互抵消就可以達(dá)到整體上減少過擬合。

（2）減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系： 因?yàn)閐ropout程序?qū)е聝蓚€(gè)神經(jīng)元不一定每次都在一個(gè)dropout網(wǎng)絡(luò)中出現(xiàn)。這樣權(quán)值的更新不再依賴于有固定關(guān)系的隱含節(jié)點(diǎn)的共同作用，阻止了某些特征僅僅在其它特定特征下才有效果的情況 。迫使網(wǎng)絡(luò)去學(xué)習(xí)更加魯棒的特征 ，這些特征在其它的神經(jīng)元的隨機(jī)子集中也存在。換句話說假如我們的神經(jīng)網(wǎng)絡(luò)是在做出某種預(yù)測，它不應(yīng)該對(duì)一些特定的線索片段太過敏感，即使丟失特定的線索，它也應(yīng)該可以從眾多其它線索中學(xué)習(xí)一些共同的特征。從這個(gè)角度看dropout就有點(diǎn)像L1，L2正則，減少權(quán)重使得網(wǎng)絡(luò)對(duì)丟失特定神經(jīng)元連接的魯棒性提高。

（3）Dropout類似于性別在生物進(jìn)化中的角色：物種為了生存往往會(huì)傾向于適應(yīng)這種環(huán)境，環(huán)境突變則會(huì)導(dǎo)致物種難以做出及時(shí)反應(yīng)，性別的出現(xiàn)可以繁衍出適應(yīng)新環(huán)境的變種，有效的阻止過擬合，即避免環(huán)境改變時(shí)物種可能面臨的滅絕。

梯度消失、爆炸解決方法

• 預(yù)訓(xùn)練加微調(diào)
• 梯度剪切、權(quán)重正則（針對(duì)梯度爆炸）
• 使用不同的激活函數(shù)
• 使用batchnorm
• 使用殘差結(jié)構(gòu)
• 使用LSTM網(wǎng)絡(luò)

總結(jié)

以上是生活随笔為你收集整理的高光谱病虫害SPA x-Loading Weights MSC SNV SGSmoothing Normalize的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。