DL：深度學習(神經網絡)的簡介、基礎知識(神經元/感知機、訓練策略、預測原理)、算法分類、經典案例應用之詳細攻略

?

目錄

深度學習(神經網絡)的簡介

1、深度學習浪潮興起的三大因素

深度學習(神經網絡)的基礎知識(相關概念、訓練策略)

1、神經網絡的基礎知識

2、神經元的結構

3、感知機

4、萬能逼近定理

5、神經網絡訓練

6、神經網絡學習

7、神經網絡的前饋運算與反向傳播

8、激活函數

深度學習(神經網絡)的算法分類

1、常用的神經網絡模型概覽

深度學習(神經網絡)的經典案例應用

---

?

?

深度學習(神經網絡)的簡介

? ? ? ?深度學習（Deep Learning, DL）或階層學習（hierarchical learning）是機器學習的技術和研究領域之一，通過建立具有階層結構的人工神經網絡（Artifitial Neural Networks, ANNs），在計算系統中實現人工智能 ?。由于階層ANN能夠對輸入信息進行逐層提取和篩選，因此深度學習具有表征學習（representation learning）能力 ，可以實現端到端的監督學習和非監督學習 。此外，深度學習也可參與構建強化學習（reinforcement learning）系統，形成深度強化學習 ?。

? ? ? ?深度學習所使用的階層ANN具有多種形態，其階層的復雜度被通稱為“深度” ?。按構筑類型，深度學習的形式包括多層感知器、卷積神經網絡、循環神經網絡、深度置信網絡和其它混合構筑 ?。深度學習使用數據對其構筑中的參數進行更新以達成訓練目標，該過程被通稱為“學習” ?。學習的常見方法為梯度下降算法及其變體 ，一些統計學習理論被用于學習過程的優化 [9] ?。

? ? ? ? 在應用方面，深度學習被用于對復雜結構和大樣本的高維數據進行學習，按研究領域包括計算機視覺、自然語言處理、生物信息學、自動控制等，且在人像識別、機器翻譯、自動駕駛等現實問題中取得了成功。?

1、深度學習浪潮興起的三大因素

• 海量的數據
• 不斷提升的算法能力
• 高性能計算硬件的實現：GPU、TPU

?

?

深度學習(神經網絡)的基礎知識(相關概念、訓練策略)

? ? ? ?深度學習的實質是構建具有多個隱藏層的機器學習模型，通過海量的訓練數據來學習更有用的特征，從而最終提升分類或預測的準確性。“深度模型”是手段，“表示學習”是目的。
? ? ? ?深度學習與傳統的淺層學習的不同在于：

• (1) 強調了模型結構的深度，有2層以上的隱藏層；
• (2) 明確突出了表示學習的重要性。通過逐層特征變換，將樣本在原空間的特征表示變換到一個新的特征空間，使分類或預測更加容易。

DL之DNN優化技術：神經網絡算法簡介之GD/SGD算法的簡介、代碼實現、代碼調參之詳細攻略
DL之DNN：BP類神經網絡理解之不需要額外任何文字，只需要八張圖講清楚BP類神經網絡的工作原理

?

?

1、神經網絡的基礎知識

• 神經元
• 感知機
• 激活函數：Sigmoid、tanh、ReLU、Leaky ReLU、ELU、Softmax。
• 多層感知機：
• 萬能逼近定理：

?

2、神經元的結構

生物神經元包括細胞體和突起兩個部分，突起又包括樹突(接收信號)和軸突(傳出信號)。

• 軸突記錄了神經元間聯系的強弱。只有達到一定的興奮程度，神經元才向外界傳輸信息。
• 神經元之間的信號通過突觸傳遞。

3、感知機

DL之Perceptron：Perceptron感知器(感知機/多層感知機/人工神經元)的簡介、原理、案例應用(相關配圖)之詳細攻略

?

4、萬能逼近定理

?(Universal approximation theorem)

• 只需一個包含單個隱藏層的前饋神經網絡，即可逼近任意一個連續函數。
• 盡管僅有一個隱藏層的前饋網絡足以表示任何函數，但是該隱藏層的神經元數目可能非常多，從而導致網絡無法學習或正確泛化。

?

5、神經網絡訓練

(1)、損失函數：
平均損失函數
絕對值損失函數
交叉熵損失函數：softmax回歸，獨熱編碼。

(2)、優化目標

(3)、梯度下降：

• 梯度下降批次訓練策略：
  ?? ? ? ? ??批次梯度下降(Batch Gradient Descent)、
  ?? ? ? ? ??隨機梯度下降(Stochastic Gradient Descent)、
  ?? ? ? ? ??小批次梯度下降(Mini-batch Gradient Descent)、
  DL之DNN優化技術：神經網絡算法簡介之梯度下降算法(GD算法)中相關概念(方向導數/梯度)、目標函數、其他常見損失函數求梯度(求導)案例之詳細攻略

?

• 梯度下降各種優化算法：Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam

(4)、反向傳播法：計算圖解釋

?

1、神經網絡訓練的優化目標

?

?

?

6、神經網絡學習

(1)、通過調整神經元的參數，使得網絡對給定輸入可產生期望輸出。

(2)、學習層次化的表示（表征）

? ? ?

?

7、神經網絡的前饋運算與反向傳播

前饋運算和反向傳播：在訓練網絡過程中所使用的。如果經過訓練模型，網絡穩定下來以后，就可以把參數固定下來，此時就不再需要反向傳播了，只需要前饋運算進行推理和預測即可！
?

?

?

8、激活函數

DL學習—AF：理解機器學習中常用的激活函數(sigmoid、softmax等)簡介、應用、計算圖實現、代碼實現詳細攻略

?

?

?

?

深度學習(神經網絡)的算法分類

? ? ? ? ?深度學習的形式包括多層感知器、卷積神經網絡、循環神經網絡、深度置信網絡和其它混合構筑 ?。
?? ? ? ? ?前饋神經網絡(NN)，而是和循環神經網絡(RNN)的概念是相對的。而反向傳播方法可以用在FF網絡中，此時，基于反向傳播算法的前饋神經網絡，被稱為BP神經網絡。

1、常用的神經網絡模型概覽

DL：神經網絡所有模型(包括DNN、CNN、RNN等)的簡介(概覽)、網絡結構簡介、使用場景對比之詳細攻略

1、DNN
DL之DNN：DNN深度神經網絡算法的簡介、相關論文、設計思路、關鍵步驟、實現代碼等配圖集合之詳細攻略

2、CNN
DL之CNN：計算機視覺卷積神經網絡算法CNN算法常見結構、發展、CNN優化技術、案例應用之詳細攻略

3、RNN
DL之RNN：RNN算法的簡介、相關論文、相關思路、關鍵步驟、配圖集合+TF代碼定義之詳細攻略

4、DBN

?

?

?

深度學習(神經網絡)的經典案例應用

后期更新……

?

?

?

?

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的DL：深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。