1 神經元

1.1 概述

1.1.1 神經網絡

神經網絡：一種人工模仿動物中樞系統(tǒng)的數(shù)學模型，用于對函數(shù)進行近似估計

1.1.2 神經元

神經網絡的基本單位是神經元。

神經元是一種處理單元，是對人腦組織的神經元的某種抽象、簡化和模擬。通過神經元，人工神經網絡可以以數(shù)學模型模擬人腦神經元活動，繼而進行高效的計算以及其他處理。

1.2 計算機中的神經元系統(tǒng)

1.2.1 簡單的神經元系統(tǒng)

神經元模型便是模擬大腦神經元的運行過程，其包含輸入，輸出與計算功能，輸入可以類比為神經元的樹突，而輸出可以類比為神經元的軸突，計算則可以類比為細胞核。下圖是一個典型的神經元模型：包含有m個輸入，1個輸出，以及2個計算功能。

1.2.2 一句話理解神經網絡

所以一句話理解就是：制造一個神經網絡就是在定義一個函數(shù)集合。而訓練一個神經網絡就是在這個函數(shù)集合中找到?唯一一個函數(shù)。這個函數(shù)代表了訓練樣本的共性特征。這種共性特征稱為目標。

一個神經元的功能是求得輸入向量與權向量的內積后，經一個非線性傳遞函數(shù)得到一個標量結果。

1.2.3 神經網絡的形成

當前主要使用反向傳播的算法將模型的誤差作為刺激的信號，并沿著神經元處理信號的反方向進行逐層傳播，并更新當前層中節(jié)點的權重。

1.2.4?神經網絡的特點

神經網絡的結構與功能，使得其天生具有編程與實現(xiàn)各種高級功能的能力，只不過該編程不需要通過人腦擬合現(xiàn)實來實現(xiàn)，而是通過模型學習的方式，通過現(xiàn)實的表象來優(yōu)化其所需要的結構。

1.3 深度學習中的基礎神經網絡模型

• 全連接神經網絡：用來處理與數(shù)值相關的任務
• 卷積神經網絡：用來處理與計算機視覺相關的任務
• 循環(huán)神經網絡：用來處理與序列相關的任務

1.4 神經網絡（深度學習）到底是在干什么

1.4.1 玩色子

應該都接觸過搖色子賭大小得游戲，微信表情包就有這個，總共有六個點數(shù)，如下：

一般電視劇里用兩只碗扣在一塊，里面有三個色子，最大是18點，最小是3點，所以這里暫且以11為中位數(shù)，大于等于11的為大，小于11的為小，剛好8個大點、8個小點。

1.4.2 建模型

神經網絡包括三個部分——輸入層、隱藏層和輸出層。我們建立一個神經網絡模型來讓機器識別我們搖出來的點數(shù)是大還是小。

先搖三個點。。。

很明顯的是1+3+4 = 8 <11，

問題是隱藏層 “ ”到底做了什么？該怎么做？

1.4.3 出結果

其實這個隱藏層的函數(shù)（或者叫矩陣）就是三個值為1的常數(shù)函數(shù)。

?計算方式為點對點相乘然后相加（相當于深度學習里面的全連接層）
1×1+3×1+4×1 = 8 < 11，然后只需要一個判斷函數(shù)就可以將“小”作為結果輸出。

同樣：

3×1+5×1+6×1 = 14 >11，輸出“大”。

當然了，這個只是一個很簡單的分類模型，而且只有兩個分類結果。
一般用于實現(xiàn)數(shù)字識別或者圖像識別的隱藏層比較復雜，甚至需要很多個隱藏層，分別命名為卷積層（一個模型中可能會多次使用）、池化層（一個模型中可能會多次使用）、全連接層，還會有對應的激活函數(shù)。

看吧，其實就是一個很簡單的模型而已，只是名字唬人罷了。

2 全連接神經網絡，又稱作多層感知機（MLP）

2.1?網絡結構

• 輸入層：[特征維度，n]
• 隱含層：權重矩陣 [輸出維度，輸入維度] 或者說? [這層維度，上層維度]
• 輸出層：[類別數(shù)，n]

2.1.1 全連接層的本質

① 全連接神經網絡的本質是將低維數(shù)據(jù)向高維數(shù)據(jù)的映射，通過增加數(shù)據(jù)所在的維度空間，使得數(shù)據(jù)變得線性可分

② 可以對任何數(shù)據(jù)進行分類，缺點是需要更多的參數(shù)進行訓練。但更多的參數(shù)參與運算，將會導致訓練過程難以收斂

2.2 全連接神經網絡的設計思想

2.2.1 輸入節(jié)點根據(jù)外部的特征數(shù)據(jù)來確定

2.2.2 隱藏層的節(jié)點數(shù)，隱藏層的數(shù)量都是可以自定義設計的，但需要遵循以下兩個原則

2.2.3 設計原則

• 隱藏層的節(jié)點數(shù)決定模型的擬合能力，但是過多的節(jié)點帶了擬合能力的同時，也會使得模型的泛化能力下降。
• 隱藏層的層數(shù)決定模型的泛化能力，層數(shù)越多，模型的推理能力越強，但是隨著層數(shù)的變多，會對擬合效果產生影響

2.3 全連接神經網絡在模型中的位置

一般處于整個深層模型的最后部分，由其具有的調節(jié)維度的作用，通過指定輸入層與輸出層的節(jié)點數(shù)，就可以實現(xiàn)從原維度向任意維度的變化，一般前后層的維度控制在5倍以內。

2.3.1 小技巧

搭建多層全連接神經網絡時，對隱藏層的節(jié)點設計，應遵循先將維度擴大再縮小的方式進行，會使得模型的擬合效果更好。

總結

以上是生活随笔為你收集整理的【Pytorch神经网络理论篇】 06 神经元+神经网络模型+全连接网络模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。