1、損失函數(shù)loss

???????? 用于定義網(wǎng)絡(luò)輸出結(jié)果與正確結(jié)果之間的誤差的函數(shù)，常用損失函數(shù)為均方差（MSE）和交叉熵（Cross Entropy）。一般均方差用于回歸問(wèn)題，交叉熵用于分類(lèi)問(wèn)題。

2、梯度

???????? 梯度下降：讓損失函數(shù)沿著負(fù)梯度方向更新神經(jīng)網(wǎng)絡(luò)參數(shù)，使得損失函數(shù)不斷減小，達(dá)到優(yōu)化網(wǎng)絡(luò)模型的目的。梯度下降方法有全局梯度下降、隨機(jī)梯度下降和小批量梯度下降，常用小批量梯度下降方法。

???????? 梯度消失：神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，loss非常小，導(dǎo)致參數(shù)難以更新，即梯度消失問(wèn)題。

???????? 梯度爆炸：神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，參數(shù)更新不起作用，loss無(wú)法收斂，即梯度消失爆炸問(wèn)題。

3、反向傳播

???????? 誤差是從輸入層-隱藏層-輸出層逐漸積累的，通過(guò)反向傳播對(duì)每一層誤差進(jìn)行展開(kāi)。使用鏈?zhǔn)椒▌t逐層求導(dǎo)，求出目標(biāo)函數(shù)對(duì)各神經(jīng)元權(quán)值的偏導(dǎo)數(shù)，進(jìn)行參數(shù)更新。

4、激活函數(shù)

???????? 激活函數(shù)將非線(xiàn)性特征引入可神經(jīng)網(wǎng)絡(luò)，讓模型可以更好的擬合復(fù)雜的非線(xiàn)性問(wèn)題。常見(jiàn)激活函數(shù)有sigmoid、tanh、relu、leakyrelu、softmax等。sigmoid出現(xiàn)較早，常用于二分類(lèi)問(wèn)題，但容易出現(xiàn)梯度消失問(wèn)題；深度學(xué)習(xí)中常用relu作為激活函數(shù)，relu計(jì)算量小，同時(shí)可避免出現(xiàn)梯度消失問(wèn)題；softmax函數(shù)可將任意實(shí)數(shù)向量映射到（0,1）之間，且總和為1，可用于表示每個(gè)類(lèi)別的概率，因此常用于多分類(lèi)問(wèn)題輸出層。

5、正則化

???????? 正則化用于在深度學(xué)習(xí)中為防止過(guò)擬合，減少泛化誤差。常用的正則化方法包括：參數(shù)約束（限制模型學(xué)習(xí)能力，L1、L2范數(shù)）、數(shù)據(jù)增強(qiáng)（訓(xùn)練數(shù)據(jù)添加噪聲等）、Dropout、早停法（earlystopping）等。

6、優(yōu)化器

???????? 在模型訓(xùn)練過(guò)程中優(yōu)化器用于加快算法收斂速度，避免局部極值，減少超參設(shè)置等。常見(jiàn)的優(yōu)化器有動(dòng)量?jī)?yōu)化器、Adam、Adagrid等，常用優(yōu)化器Adam。

7、過(guò)擬合

???????? 模型在訓(xùn)練集上表現(xiàn)優(yōu)異，但在測(cè)試集表現(xiàn)不理想。造成的原因可能有訓(xùn)練數(shù)據(jù)太少，噪聲過(guò)多，模型參數(shù)過(guò)多、訓(xùn)練過(guò)度等。可以通過(guò)數(shù)據(jù)增強(qiáng)、限制訓(xùn)練次數(shù)（earlystopping）、降低參數(shù)（Dropout）等方法解決。

8、不同類(lèi)型神經(jīng)網(wǎng)絡(luò)

???????? 卷積神經(jīng)網(wǎng)絡(luò)（CNN）：包括卷積層、池化層、全連接層，主要用于視覺(jué)方向。卷積層用于特征提取，池化層進(jìn)行重采樣增加感受野，全連接層將卷積層和池化層提取的特征進(jìn)行分類(lèi)。卷積神經(jīng)網(wǎng)絡(luò)主要用于圖像分類(lèi)，目標(biāo)檢測(cè)、分割等場(chǎng)景。

???????? 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）：是一種通過(guò)隱藏層節(jié)點(diǎn)周期性連接，捕捉序列化數(shù)據(jù)中動(dòng)態(tài)信息，對(duì)序列化數(shù)據(jù)進(jìn)行分類(lèi)的神經(jīng)網(wǎng)絡(luò)。RNN?????? 可應(yīng)用于視頻、音頻、文本分類(lèi)等場(chǎng)景。

???????? 長(zhǎng)短記憶網(wǎng)絡(luò)（LSTM）:解決RNN對(duì)長(zhǎng)時(shí)間記憶信息衰減問(wèn)題。

???????? 生成對(duì)抗網(wǎng)絡(luò)（GAN）：由生成器和判別器構(gòu)成，通過(guò)對(duì)抗過(guò)程訓(xùn)練生成器和判別器，使得判別器最終無(wú)法區(qū)分真實(shí)樣本和偽造樣本。生成對(duì)抗網(wǎng)絡(luò)可用于圖像生成、語(yǔ)義分割、數(shù)據(jù)增強(qiáng)等場(chǎng)景。

總結(jié)

以上是生活随笔為你收集整理的深度学习常见概念解析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。