1.1神經(jīng)網(wǎng)絡(luò)的基本概念

神經(jīng)網(wǎng)絡(luò)（neural network，NN），是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計(jì)算。

• 前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
• 卷積神經(jīng)網(wǎng)絡(luò)
• 卷積神經(jīng)網(wǎng)絡(luò)的文本分類

3 前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

3.1 神經(jīng)元

• 一個(gè)神經(jīng)元通常具有多個(gè)樹突，主要用來接受傳入信息；而軸突只有一條，軸突尾端有許多軸突末梢可以給其他多個(gè)神經(jīng)元傳遞信息。軸突末梢跟其他神經(jīng)元的樹突產(chǎn)生連接，從而傳遞信號(hào)。這個(gè)連接的位置在生物學(xué)上叫做“突觸”。
  

3.2 前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

• 神經(jīng)元與前饋神經(jīng)網(wǎng)絡(luò)的特點(diǎn)：連接權(quán)重；加法器；激活函數(shù)
• 前饋神經(jīng)網(wǎng)路由輸入層，隱藏層和輸出層組成。
  

4 卷積神經(jīng)網(wǎng)絡(luò)

4.1 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成

• 卷積、池化、ReLU、批歸一化、Dropout
  
• 卷積操作示意圖
  
• 卷積操作步幅：輸入圖像和輸出圖像的關(guān)系
  

4.2 池化

池化是使用某一位的相鄰輸出的總體統(tǒng)計(jì)特征來替代網(wǎng)絡(luò)在該位置的輸出

5 卷積神經(jīng)網(wǎng)絡(luò)的文本分類

5.1 文字轉(zhuǎn)化為圖片

• 卷積神經(jīng)網(wǎng)絡(luò)在處理文本數(shù)據(jù)時(shí)，可以將文字看成一副圖片，如下圖所示：
  

5.2 TextCNN的網(wǎng)絡(luò)結(jié)構(gòu)

5.3TextCNN的原理圖

• Embedding：第一層時(shí)圖中最左邊的7乘5的句子矩陣，每行是詞向量，維度=5，這個(gè)可以類比為圖像中的原始像素點(diǎn)。
• Convolution：然后經(jīng)過kernel_sizes=（2，3，4）的一維卷積，每個(gè)kernel_sizes有兩個(gè)輸出channel。
• MaxPooling：第三層是一個(gè)1-max pooling層，這樣不同長度矩陣經(jīng)過pooling層之后都能變成頂層的表示。
• Fullconnection and Softmax：最后接一層全連接的softmax層，輸出每個(gè)類別的概率。
  

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的自然语言处理之神经网络基础（四）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。