1，簡介

局部響應歸一化（Local Response Normalization，LRN），提出于2012年的AlexNet中。首先要引入一個神經生物學的概念：側抑制（lateral inhibitio），即指被激活的神經元抑制相鄰的神經元。LRN仿造生物學上活躍的神經元對相鄰神經元的抑制現象（側抑制）。歸一化（normaliazation）的目的就是“抑制”,LRN就是借鑒這種側抑制來實現局部抑制，尤其是我們使用RELU的時候，這種“側抑制”很有效 ，因而在Alexnet里使用有較好的效果。
優點有以下兩點：
（1）歸一化有助于快速收斂；
（2）對局部神經元的活動創建競爭機制，使得其中響應比較大的值變得相對更大，并抑制其他反饋較小的神經元，增強了模型的泛化能力。

2，原理實現

2.1 公式

公式中的a表示卷積層（包括卷積操作和池化操作）后的輸出結果，這個輸出結果的結構是一個四維數組[batch,height,width,channel]，（batch:批次數(每一批為一張圖片)
height:圖片高度，width：圖片寬度，channel：通道數可以理解成一批圖片中的某一個圖片經過卷積操作后輸出的神經元個數(或是理解成處理后的圖片深度)。

比如：ai(x,y)表示在這個輸出結構中的一個位置[a,b,c,d]，可以理解成在某一張圖中的某一個通道下的某個高度和某個寬度位置的點，即第a張圖的第d個通道下的高度為b寬度為c的點。

a,n/2,k,α,β分別表示函數中的input,depth_radius,bias,alpha,beta，其中n/2,k,α,β都是自定義的，特別注意一下∑疊加的方向是沿著通道方向的，即每個點值的平方和是沿著a中的第3維channel方向的，也就是一個點同方向的前面n/2個通道（最小為第0個通道）和后n/2個通道（最大為第d-1個通道）的點的平方和(共n+1個點)。

i表示第i個核在位置（x,y）運用激活函數ReLU后的輸出，n是同一位置上臨近的kernal map的數目，N是kernal的總數。參數K,n,alpha，belta都是超參數
一般設置k=2,n=5,alpha=1Xe-4,beta=0.75。

2.2 代碼示例：

import tensorflow as tf
import numpy as np
x = np.array([i for i in range(1,33)]).reshape([2,2,2,4])y = tf.nn.lrn(input=x,depth_radius=2,bias=0,alpha=1,beta=1)
with tf.Session() as sess:print(x)print('#############')print(y.eval())

LRN函數類似DROPOUT和數據增強作為relu激勵之后防止數據過擬合而提出的一種處理方法。這個函數很少使用，基本上被類似DROPOUT這樣的方法取代，見最早的出處AlexNet論文對它的定義, 《ImageNet Classification with Deep ConvolutionalNeural Networks》

總結

以上是生活随笔為你收集整理的AlexNet中的局部响应归一化（LRN）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。