1,簡介
神經網絡的一個神經元又叫logistic回歸，
由兩層神經元組成的神經網絡:感知機
單層網絡只能做線性分類任務
兩層神經網絡中的后一層也是線性分類層，應該只能做線性分類任務，關鍵就是，從輸入層到隱藏層時，數據發生了空間變換。也就是說，兩層神經網絡中，隱藏層對原始的數據進行了一個空間變換，使其可以被線性分類
2，BP神經網絡
反向傳播（Backpropagation，BP）算法，解決了兩層神經網絡所需要的復雜計算量問題，在神經網絡模型中，由于結構復雜，使用梯度下降法每次計算梯度的代價很大。因此還需要使用反向傳播算法，反向傳播算法的啟示是數學中的鏈式法則，反向傳播算法不一次計算所有參數的梯度，而是從后往前。首先計算輸出層的梯度，然后是第二個參數矩陣的梯度，接著是中間層的梯度，再然后是第一個參數矩陣的梯度，最后是輸入層的梯度，從BP算法開始，研究者們更多地從數學上尋求問題的最優解。不再盲目模擬人腦網絡是神經網絡研究走向成熟的標志，正如科學家們可以從鳥類的飛行中得到啟發，但沒有必要一定要完全模擬鳥類的飛行方式，也能制造可以飛天的飛機，

3，BP續
盡管使用了BP算法，一次神經網絡的訓練仍然耗時太久，而且困擾訓練優化的一個問題就是局部最優解問題，訓練的主題仍然是優化和泛化盡管使用了BP算法，一次神經網絡的訓練仍然耗時太久，而且困擾訓練優化的一個問題就是局部最優解問題，
4，激活函數
在單層神經網絡時，我們使用的激活函數是sgn函數。到了兩層神經網絡時，我們使用的最多的是sigmoid函數。而到了多層神經網絡時，通過一系列的研究發現，ReLU函數在訓練多層神經網絡時，更容易收斂，并且預測性能更好。因此，目前在深度學習中，最流行的非線性函數是ReLU函數。ReLU函數不是傳統的非線性函數，而是分段線性函數，就是y=max(x,0)。簡而言之，在x大于0，輸出就是輸入，而在x小于0時，輸出就保持為0
5，正則化技術
Dropout技術，以及數據擴容（Data-Augmentation）技術是目前使用的最多的正則化技術
6，未來：
如果量子計算發展不力，仍然需要數十年才能使我們的計算能力得以突飛猛進的發展，那么缺少了強大計算能力的神經網絡可能會無法一帆風順的發展下去。這種情況可以類比為80-90年時期神經網絡因為計算能力的限制而被低估與忽視。假設量子計算機真的能夠與神經網絡結合，并且助力真正的人工智能技術的誕生，而且量子計算機發展需要10年的話，那么神經網絡可能還有10年的發展期。直到那時期以后，神經網絡才能真正接近實現AI這一目標。

7，總結：

神經網絡強大預測能力的根本，就是多層的神經網絡可以無限逼近真實的對應函數，從而模擬數據之間的真實關系

總結

以上是生活随笔為你收集整理的神经网络neural network简单理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。