感知機神經網絡
最近十年以來，神經網絡一直處于機器學習研究和應用的前沿。深度神經網絡（DNN）、遷移學習以及計算高效的圖形處理器（GPU）的普及使得圖像識別、語音識別甚至文本生成領域取得了重大進展。
神經網絡受人類大腦的啟發，也被稱為連接模型。像人腦一樣，神經網絡是大量被稱為權重的突觸相互連接的人造神經元的集合。
就像我們通過年長者提供的例子來學習一樣，人造神經網絡通過向它們提供的例子來學習，這些例子被稱為訓練數據集。有了足夠數量的訓練數據集，人造神經網絡可以提取信息，并用于它們沒有見過的數據。
神經網絡并不是最近才出現的。第一個神經網絡模型 McCulloch Pitts（MCP）（http://vordenker.de/ggphilosophy/mcculloch_a-logical-calculus.pdf）早在 1943 年就被提出來了，該模型可以執行類似與、或、非的邏輯操作。
MCP 模型的權重和偏置是固定的，因此不具備學習的可能。這個問題在若干年后的 1958 年由 Frank Rosenblatt 解決（https://blogs.umass.edu/brain-wars/files/2016/03/rosenblatt-1957.pdf）。他提出了第一個具有學習能力的神經網絡，稱之為感知機（perceptron）。
從那時起，人們就知道添加多層神經元并建立一個深的、稠密的網絡將有助于神經網絡解決復雜的任務。就像母親為孩子的成就感到自豪一樣，科學家和工程師對使用神經網絡（https://www.youtube.com/watch?v=jPHUlQiwD9Y）所能實現的功能做出了高度的評價。
這些評價并不是虛假的，但是由于硬件計算的限制和網絡結構的復雜，當時根本無法實現。這導致了在 20 世紀 70 年代和 80 年代出現了被稱為 AI 寒冬的時期。在這段時期，由于人工智能項目得不到資助，導致這一領域的進展放緩。
隨著 DNN 和 GPU 的出現，情況發生了變化。今天，可以利用一些技術通過微調參數來獲得表現更好的網絡，比如 dropout 和遷移學習等技術，這縮短了訓練時間。最后，硬件公司提出了使用專門的硬件芯片快速地執行基于神經網絡的計算。
人造神經元是所有神經網絡的核心。它由兩個主要部分構成：一個加法器，將所有輸入加權求和到神經元上；一個處理單元，根據預定義函數產生一個輸出，這個函數被稱為激活函數。每個神經元都有自己的一組權重和閾值（偏置），它通過不同的學習算法學習這些權重和閾值：

當只有一層這樣的神經元存在時，它被稱為感知機。輸入層被稱為第零層，因為它只是緩沖輸入。存在的唯一一層神經元形成輸出層。輸出層的每個神經元都有自己的權重和閾值。
當存在許多這樣的層時，網絡被稱為多層感知機（MLP）。MLP有一個或多個隱藏層。這些隱藏層具有不同數量的隱藏神經元。每個隱藏層的神經元具有相同的激活函數：

上圖的 MLP 具有一個有 4 個輸入的輸入層，5 個分別有 4、5、6、4 和 3 個神經元的隱藏層，以及一個有 3 個神經元的輸出層。在該 MLP 中，下層的所有神經元都連接到其相鄰的上層的所有神經元。因此，MLP 也被稱為全連接層。MLP 中的信息流通常是從輸入到輸出，目前沒有反饋或跳轉，因此這些網絡也被稱為前饋網絡。
感知機使用梯度下降算法進行訓練。前面章節已經介紹了梯度下降，在這里再深入一點。感知機通過監督學習算法進行學習，也就是給網絡提供訓練數據集的理想輸出。在輸出端，定義了一個誤差函數或目標函數 J(W)，這樣當網絡完全學習了所有的訓練數據后，目標函數將是最小的。
輸出層和隱藏層的權重被更新，使得目標函數的梯度減小：

為了更好地理解它，想象一個充滿山丘、高原和凹坑的地形。目標是走到地面（目標函數的全局最小值）。如果你站在最上面，必須往下走，那么很明顯你將會選擇下山，即向負坡度（或負梯度）方向移動。相同的道理，感知機的權重與目標函數梯度的負值成比例地變化。
梯度的值越大，權值的變化越大，反之亦然。現在，這一切都很好，但是當到達高原時，可能會遇到問題，因為梯度是零，所以權重沒有變化。當進入一個小坑（局部最小值）時，也會遇到問題，因為嘗試移動到任何一邊，梯度都會增加，迫使網絡停留在坑中。
正如前面所述，針對增加網絡的收斂性提出了梯度下降的各種變種使得網絡避免陷入局部最小值或高原的問題，比如添加動量、可變學習率。
TensorFlow 會在不同的優化器的幫助下自動計算這些梯度。然而，需要注意的重要一點是，由于 TensorFlow 將計算梯度，這也將涉及激活函數的導數，所以你選擇的激活函數必須是可微分的，并且在整個訓練場景中具有非零梯度。
感知機中的梯度下降與梯度下降的一個主要不同是，輸出層的目標函數已經被定義好了，但它也用于隱藏層神經元的權值更新。這是使用反向傳播（BPN）算法完成的，輸出中的誤差向后傳播到隱藏層并用于確定權重變化。

總結

以上是生活随笔為你收集整理的感知机神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。