先從回歸(Regression)問題說起。我在本吧已經看到不少人提到如果想實現強AI，就必須讓機器學會觀察并總結規律的言論。具體地說，要讓機器觀察什么是圓的，什么是方的，區分各種顏色和形狀，然后根據這些特征對某種事物進行分類或預測。其實這就是回歸問題。

如何解決回歸問題？我們用眼睛看到某樣東西，可以一下子看出它的一些基本特征?？墒怯嬎銠C呢？它看到的只是一堆數字而已，因此要讓機器從事物的特征中找到規律，其實是一個如何在數字中找規律的問題。

例：假如有一串數字，已知前六個是1、3、5、7，9，11，請問第七個是幾？
你一眼能看出來，是13。對，這串數字之間有明顯的數學規律，都是奇數，而且是按順序排列的。
那么這個呢？前六個是0.14、0.57、1.29、2.29、3.57、5.14，請問第七個是幾？
這個就不那么容易看出來了吧！我們把這幾個數字在坐標軸上標識一下，可以看到如下圖形：

用曲線連接這幾個點，延著曲線的走勢，可以推算出第七個數字——7。
由此可見，回歸問題其實是個曲線擬合(Curve Fitting)問題。那么究竟該如何擬合？機器不可能像你一樣，憑感覺隨手畫一下就擬合了，它必須要通過某種算法才行。
假設有一堆按一定規律分布的樣本點，下面我以擬合直線為例，說說這種算法的原理。

其實很簡單，先隨意畫一條直線，然后不斷旋轉它。每轉一下，就分別計算一下每個樣本點和直線上對應點的距離(誤差)，求出所有點的誤差之和。這樣不斷旋轉，當誤差之和達到最小時，停止旋轉。說得再復雜點，在旋轉的過程中，還要不斷平移這條直線，這樣不斷調整，直到誤差最小時為止。這種方法就是著名的梯度下降法(Gradient Descent)。為什么是梯度下降呢？在旋轉的過程中，當誤差越來越小時，旋轉或移動的量也跟著逐漸變小，當誤差小于某個很小的數，例如0.0001時，我們就可以收工(收斂, Converge)了。啰嗦一句，如果隨便轉，轉過頭了再往回轉，那就不是梯度下降法。

我們知道，直線的公式是y=kx+b，k代表斜率，b代表偏移值(y軸上的截距)。也就是說，k可以控制直線的旋轉角度，b可以控制直線的移動。強調一下，梯度下降法的實質是不斷的修改k、b這兩個參數值，使最終的誤差達到最小。
求誤差時使用 累加(直線點-樣本點)^2，這樣比直接求差距 累加(直線點-樣本點) 的效果要好。這種利用最小化誤差的平方和來解決回歸問題的方法叫最小二乘法(Least Square Method)。

問題到此使似乎就已經解決了，可是我們需要一種適應于各種曲線擬合的方法，所以還需要繼續深入研究。
我們根據擬合直線不斷旋轉的角度(斜率)和擬合的誤差畫一條函數曲線，如圖：

從圖中可以看出，誤差的函數曲線是個二次曲線，凸函數(下凸, Convex)，像個碗的形狀，最小值位于碗的最下端。如果在曲線的最底端畫一條切線，那么這條切線一定是水平的，在圖中可以把橫坐標軸看成是這條切線。如果能求出曲線上每個點的切線，就能得到切線位于水平狀態時，即切線斜率等于0時的坐標值，這個坐標值就是我們要求的誤差最小值和最終的擬合直線的最終斜率。
這樣，梯度下降的問題集中到了切線的旋轉上。切線旋轉至水平時，切線斜率=0，誤差降至最小值。

切線每次旋轉的幅度叫做學習率(Learning Rate)，加大學習率會加快擬合速度，但是如果調得太大會導致切線旋轉過度而無法收斂。 [學習率其實是個預先設置好的參數，不會每次變化，不過可以影響每次變化的幅度。]

注意：對于凹凸不平的誤差函數曲線，梯度下降時有可能陷入局部最優解。下圖的曲線中有兩個坑，切線有可能在第一個坑的最底部趨于水平。

微分就是專門求曲線切線的工具，求出的切線斜率叫做導數(Derivative)，用dy/dx或f’(x)表示。擴展到多變量的應用，如果要同時求多個曲線的切線，那么其中某個切線的斜率就叫偏導數(Partial Derivative)，用?y/?x表示，?讀“偏(partial)”。由于實際應用中，我們一般都是對多變量進行處理，我在后面提到的導數也都是指偏導數。

以上是線性回歸(Linear Regression)的基本內容，以此方法為基礎，把直線公式改為曲線公式，還可以擴展出二次回歸、三次回歸、多項式回歸等多種曲線回歸。下圖是Excel的回歸分析功能。

在多數情況下，曲線回歸會比直線回歸更精確，但它也增加了擬合的復雜程度。

直線方程y=kx+b改為二次曲線方程y=ax^2+bx+c時，參數(Parameter)由2個(分別是k、b)變為3個(分別是a、b、c)，特征(Feature)由1個(x)變為2個(x^2和x)。三次曲線和復雜的多項式回歸會增加更多的參數和特征。

前面講的是總結一串數字的規律，現實生活中我們往往要根據多個特征(多串數字)來分析一件事情，每個原始特征我們都看作是一個維度(Dimension)。例如一個學生的學習成績好壞要根據語文、數學、英語等多門課程的分數來綜合判斷，這里每門課程都是一個維度。當使用二次曲線和多變量(多維)擬合的情況下，特征的數量會劇增，特征數=維度^2/2 這個公式可以大概計算出特征增加的情況，例如一個100維的數據，二次多項式擬合后，特征會增加到100*100/2=5000個。

下面是一張50*50像素的灰度圖片，如果用二次多項式擬合的話，它有多少個特征呢？——大約有3百萬！

它的維度是50*50=2500，特征數=2500*2500/2=3,125,000。如果是彩色圖片，維度會增加到原來的3倍，那么特征數將增加到接近3千萬了！

這么小的一張圖片，就有這么巨大的特征量，可以想像一下我們的數碼相機拍下來的照片會有多大的特征量！而我們要做的是從十萬乃至億萬張這樣的圖片中找規律，這可能嗎？
很顯然，前面的那些回歸方法已經不夠用了，我們急需找到一種數學模型，能夠在此基礎上不斷減少特征，降低維度。

于是，“人工神經網絡(ANN, Artificial Neural Network)”就在這樣苛刻的條件下粉墨登場了，神經科學的研究成果為機器學習領域開辟了廣闊的道路。

神經元

有一種假說：“智能來源于單一的算法(One Learning Algorithm)”。如果這一假說成立，那么利用單一的算法(神經網絡)處理世界上千變萬化的問題就成為可能。我們不必對萬事萬物進行編程，只需采用以不變應萬變的策略即可。有越來越多的證據證明這種假說，例如人類大腦發育初期，每一部分的職責分工是不確定的，也就是說，人腦中負責處理聲音的部分其實也可以處理視覺影像

下圖是單個神經元(Neuron)，或者說一個腦細胞的生理結構：

下面是單個神經元的數學模型，可以看出它是生理結構的簡化版，模仿的還挺像：

解釋一下：+1代表偏移值(偏置項, Bias Units)；X1,X2,X2代表初始特征；w0,w1,w2,w3代表權重(Weight)，即參數，是特征的縮放倍數；特征經過縮放和偏移后全部累加起來，此后還要經過一次激活運算然后再輸出。激活函數有很多種，后面將會詳細說明。

舉例說明：

X1*w1+X2*w2+…+Xn*wn這種計算方法稱為加權求和(Weighted Sum)法，此方法在線性代數里極為常用。加權求和的標準數學符號是，不過為了簡化，我在教程里使用女巫布萊爾的符號表示，
剛好是一個加號和一個乘號的組合。

這個數學模型有什么意義呢？下面我對照前面那個 y=kx+b 直線擬合的例子來說明一下。

這時我們把激活函數改為Purelin(45度直線)，Purelin就是y=x，代表保持原來的值不變。
這樣輸出值就成了 Y直線點 = b + X直線點*k，即y=kx+b?？吹搅税?#xff0c;只是換了個馬甲而已，還認的出來嗎？下一步，對于每個點都進行這種運算，利用Y直線點和Y樣本點計算誤差，把誤差累加起來，不斷地更新b、k的值，由此不斷地移動和旋轉直線，直到誤差變得很小時停住(收斂)。這個過程完全就是前面講過的梯度下降的線性回歸。

一般直線擬合的精確度要比曲線差很多，那么使用神經網絡我們將如何使用曲線擬合？答案是使用非線性的激活函數即可，最常見的激活函數是Sigmoid(S形曲線)，Sigmoid有時也稱為邏輯回歸(Logistic Regression)，簡稱logsig。logsig曲線的公式如下：

還有一種S形曲線也很常見到，叫雙曲正切函數(tanh)，或稱tansig，可以替代logsig。

下面是它們的函數圖形，從圖中可以看出logsig的數值范圍是0~1，而tansig的數值范圍是-1~1。

自然常數e

公式中的e叫自然常數，也叫歐拉數，e=2.71828…。e是個很神秘的數字，它是“自然律”的精髓，其中暗藏著自然增長的奧秘，它的圖形表達是旋渦形的螺線。

融入了e的螺旋線，在不斷循環縮放的過程中，可以完全保持它原有的彎曲度不變，就像一個無底的黑洞，吸進再多的東西也可以保持原來的形狀。這一點至關重要！它可以讓我們的數據在經歷了多重的Sigmoid變換后仍維持原先的比例關系。

e是怎么來的？e = 1 + 1/1! + 1/2! + 1/3! + 1/4! + 1/5! + 1/6! + 1/7! + … = 1 + 1 + 1/2 + 1/6 + 1/24 + 1/120+ … ≈ 2.71828 (!代表階乘，3!=1*2*3=6)

再舉個通俗點的例子：從前有個財主，他特別貪財，喜歡放債。放出去的債年利率為100%，也就是說借1塊錢，一年后要還給他2塊錢。有一天，他想了個壞主意，要一年算兩次利息，上半年50%，下半年50%，這樣上半年就有1塊5了，下半年按1塊5的50%來算，就有1.5/2=0.75元，加起來一年是：上半年1.5+下半年0.75=2.25元。用公式描述，就是(1+50%)(1+50%)=(1+1/2)^2=2.25元。可是他又想，如果按季度算，一年算4次，那豈不是更賺？那就是(1+1/4)^4=2.44141，果然更多了。他很高興，于是又想，那干脆每天都算吧，這樣一年下來就是(1+1/365)^365=2.71457。然后他還想每秒都算，結果他的管家把他拉住了，說要再算下去別人都會瘋掉了。不過財主還是不死心，算了很多年終于算出來了，當x趨于無限大的時候，e=(1+1/x)^x≈ 2.71828，結果他成了數學家。

e在微積分領域非常重要，e^x的導數依然是e^x，自己的導數恰好是它自己，這種巧合在實數范圍內絕無僅有。

一些不同的稱呼：

e^x和e^-x的圖形是對稱的；ln(x)是e^x的逆函數，它們呈45度對稱。

神經網絡

好了，前面花了不少篇幅來介紹激活函數中那個暗藏玄機的e，下面可以正式介紹神經元的網絡形式了。
下圖是幾種比較常見的網絡形式：

• 左邊藍色的圓圈叫“輸入層”，中間橙色的不管有多少層都叫“隱藏層”，右邊綠色的是“輸出層”。
• 每個圓圈，都代表一個神經元，也叫節點(Node)。
• 輸出層可以有多個節點，多節點輸出常常用于分類問題。
• 理論證明，任何多層網絡可以用三層網絡近似地表示。
• 一般憑經驗來確定隱藏層到底應該有多少個節點，在測試的過程中也可以不斷調整節點數以取得最佳效果。

計算方法：

• 雖然圖中未標識，但必須注意每一個箭頭指向的連線上，都要有一個權重(縮放)值。
• 輸入層的每個節點，都要與的隱藏層每個節點做點對點的計算，計算的方法是加權求和+激活，前面已經介紹過了。(圖中的紅色箭頭指示出某個節點的運算關系)
• 利用隱藏層計算出的每個值，再用相同的方法，和輸出層進行計算。
• 隱藏層用都是用Sigmoid作激活函數，而輸出層用的是Purelin。這是因為Purelin可以保持之前任意范圍的數值縮放，便于和樣本值作比較，而Sigmoid的數值范圍只能在0~1之間。
• 起初輸入層的數值通過網絡計算分別傳播到隱藏層，再以相同的方式傳播到輸出層，最終的輸出值和樣本值作比較，計算出誤差，這個過程叫前向傳播(Forward Propagation)。

前面講過，使用梯度下降的方法，要不斷的修改k、b兩個參數值，使最終的誤差達到最小。神經網絡可不只k、b兩個參數，事實上，網絡的每條連接線上都有一個權重參數，如何有效的修改這些參數，使誤差最小化，成為一個很棘手的問題。從人工神經網絡誕生的60年代，人們就一直在不斷嘗試各種方法來解決這個問題。直到80年代，誤差反向傳播算法(BP算法)的提出，才提供了真正有效的解決方案，使神經網絡的研究絕處逢生。

BP算法是一種計算偏導數的有效方法，它的基本原理是：利用前向傳播最后輸出的結果來計算誤差的偏導數，再用這個偏導數和前面的隱藏層進行加權求和，如此一層一層的向后傳下去，直到輸入層(不計算輸入層)，最后利用每個節點求出的偏導數來更新權重。

為了便于理解，后面我一律用“殘差(error term)”這個詞來表示誤差的偏導數。

輸出層→隱藏層：殘差 = -(輸出值-樣本值) * 激活函數的導數
隱藏層→隱藏層：殘差 = (右層每個節點的殘差加權求和)* 激活函數的導數

如果輸出層用Purelin作激活函數，Purelin的導數是1，輸出層→隱藏層：殘差 = -(輸出值-樣本值)

如果用Sigmoid(logsig)作激活函數，那么：Sigmoid導數 = Sigmoid*(1-Sigmoid)
輸出層→隱藏層：殘差 = -(Sigmoid輸出值-樣本值) * Sigmoid*(1-Sigmoid) = -(輸出值-樣本值)輸出值(1-輸出值)
隱藏層→隱藏層：殘差 = (右層每個節點的殘差加權求和)* 當前節點的Sigmoid*(1-當前節點的Sigmoid)

如果用tansig作激活函數，那么：tansig導數 = 1 - tansig^2

殘差全部計算好后，就可以更新權重了：
輸入層：權重增加 = 當前節點的Sigmoid * 右層對應節點的殘差 * 學習率
隱藏層：權重增加 = 輸入值 * 右層對應節點的殘差 * 學習率
偏移值的權重增加 = 右層對應節點的殘差 * 學習率
學習率前面介紹過，學習率是一個預先設置好的參數，用于控制每次更新的幅度。

此后，對全部數據都反復進行這樣的計算，直到輸出的誤差達到一個很小的值為止。
以上介紹的是目前最常見的神經網絡類型，稱為前饋神經網絡(FeedForward Neural Network)，由于它一般是要向后傳遞誤差的，所以也叫BP神經網絡(Back Propagation Neural Network)。

BP神經網絡的特點和局限：
- BP神經網絡可以用作分類、聚類、預測等。需要有一定量的歷史數據，通過歷史數據的訓練，網絡可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特征，以及對應的評價數據，用這些數據來訓練神經網絡。
- BP神經網絡主要是在實踐的基礎上逐步完善起來的系統，并不完全是建立在仿生學上的。從這個角度講，實用性 > 生理相似性。
- BP神經網絡中的某些算法，例如如何選擇初始值、如何確定隱藏層的節點個數、使用何種激活函數等問題，并沒有確鑿的理論依據，只有一些根據實踐經驗總結出的有效方法或經驗公式。
- BP神經網絡雖然是一種非常有效的計算方法，但它也以計算超復雜、計算速度超慢、容易陷入局部最優解等多項弱點著稱，因此人們提出了大量有效的改進方案，一些新的神經網絡形式也層出不窮。

文字的公式看上去有點繞，下面我發一個詳細的計算過程圖。
參考這個：http://www.myreaders.info/03_Back_Propagation_Network.pdf?我做了整理

這里介紹的是計算完一條記錄，就馬上更新權重，以后每計算完一條都即時更新權重。實際上批量更新的效果會更好，方法是在不更新權重的情況下，把記錄集的每條記錄都算過一遍，把要更新的增值全部累加起來求平均值，然后利用這個平均值來更新一次權重，然后利用更新后的權重進行下一輪的計算，這種方法叫批量梯度下降(Batch Gradient Descent)。

推薦的入門級學習資源：

Andrew Ng的《機器學習》公開課:?https://class.coursera.org/ml
Coursera公開課筆記中文版（神經網絡的表示）:?http://52opencourse.com/139/coursera公開課筆記-斯坦福大學機器學習第八課-神經網絡的表示-neural-networks-representation
Coursera公開課視頻（神經網絡的學習）:?http://52opencourse.com/289/coursera公開課視頻-斯坦福大學機器學習第九課-神經網絡的學習-neural-networks-learning
斯坦福深度學習中文版：?http://deeplearning.stanford.edu/wiki/index.php/UFLDL教程

謝謝大家的支持。
今天先發個實際編程操作教程，介紹一下Matlab神經網絡工具箱的用法，后面有空再加些深入點的知識。

關于Matlab的入門教程，參看這個帖子：http://tieba.baidu.com/p/2945924081

例1：我們都知道，面積=長*寬，假如我們有一組數測量據如下：

我們利用這組數據來訓練神經網絡。（在Matlab中輸入以下的代碼，按回車即可執行）

p = [2 5; 3 6; 12 2; 1 6; 9 2; 8 12; 4 7; 7 9]’; % 特征數據X1,X2
t = [10 18 24 6 18 96 28 63]; % 樣本值
net = newff(p, t, 20); % 創建一個BP神經網絡 ff=FeedForward
net = train(net, p, t); % 用p,t數據來訓練這個網絡

出現如下的信息，根據藍線的顯示，可以看出最后收斂時，誤差已小于10^-20。

你也許會問，計算機難道這樣就能學會乘法規則嗎？不用背乘法口訣表了？先隨便選幾個數字，試試看：

s = [3 7; 6 9; 4 5; 5 7]’; % 準備一組新的數據用于測試
y = sim(net, s) % 模擬一下，看看效果
% 結果是：25.1029 61.5882 29.5848 37.5879

看到了吧，預測結果和實際結果還是有差距的。不過從中也能看出，預測的數據不是瞎蒙的，至少還是有那么一點靠譜。如果訓練集中的數據再多一些的話，預測的準確率還會大幅度提高。

你測試的結果也許和我的不同，這是因為初始化的權重參數是隨機的，可能會陷入局部最優解，所以有時預測的結果會很不理想。

例2：下面測試一下擬合正弦曲線，這次我們隨機生成一些點來做樣本。

p = rand(1,50)*7 % 生成1行50個0~7之間的隨機數
t = sin(p) % 計算正弦曲線
s = [0:0.1:7]; % 生成0~7的一組數據，間隔0.1，用于模擬測試
plot(p, t, ‘x’) % 畫散點圖

net = newff(p, t, 20); % 創建神經網絡
net = train(net, p, t); % 開始訓練

y = sim(net, s); % 模擬
plot(s, y, ‘x’) % 畫散點圖

從圖中看出，這次的預測結果顯然是不理想的，我們需要設置一些參數來調整。

下面的設置是一種標準的批量梯度下降法的配置。

% 創建3層神經網絡 [隱藏層10個節點->logsig, 輸出層1個節點->purelin] traingd代表梯度下降法
net = newff(p, t, 10, {‘logsig’ ‘purelin’}, ‘traingd’); % 10不能寫成[10 1]

% 設置訓練參數
net.trainparam.show = 50; % 顯示訓練結果(訓練50次顯示一次)
net.trainparam.epochs = 500; % 總訓練次數
net.trainparam.goal = 0.01; % 訓練目標：誤差<0.01
net.trainParam.lr = 0.01; % 學習率(learning rate)

net = train(net, p, t); % 開始訓練

注意：newff的第三個參數10不能寫成[10 1]，否則就是4層網絡，兩個隱藏層，分別是10個和1個節點。這個很容易弄錯。（輸出層的節點數程序會自動根據t的維度自動判斷，所以不用指定）

y = sim(net, s); % 模擬
plot(s, y, ‘x’) % 畫散點圖

這時的效果顯然更差了。

把精度調高一點看看。訓練次數加到9999，誤差<0.001；學習率調到0.06，希望能加快點速度。

% 創建2層神經網絡 [隱藏層10個節點->logsig, 輸出層1個節點->purelin] traingd代表梯度下降法
net = newff(p, t, 10, {‘logsig’ ‘purelin’}, ‘traingd’);

% 設置訓練參數
net.trainparam.show = 50; % 每間隔50次顯示一次訓練結果
net.trainparam.epochs = 9999; % 總訓練次數
net.trainparam.goal = 0.001; % 訓練目標：誤差<0.001
net.trainParam.lr = 0.06; % 學習率(learning rate)

net = train(net, p, t); % 開始訓練

標準的批量梯度下降法的速度確實夠慢，這次計算花了一分多鐘。

y = sim(net, s); % 模擬
plot(s, y, ‘x’) % 畫散點圖

效果比上次稍好一點。不過這條曲線顯得坑坑洼洼的很難看，這是一種過擬合(Overfitting)現象，與之相反的是欠擬合(Underfitting)。

先來解決速度問題，把traingd改為trainlm即可。trainlm使用LM算法，是介于牛頓法和梯度下降法之間的一種非線性優化方法，不但會加快訓練速度，還會減小陷入局部最小值的可能性，是Matlab的默認值。

net = newff(p, t, 10, {‘logsig’ ‘purelin’}, ‘trainlm’);
… 后面的代碼不變

這個速度比較驚嘆了，1秒鐘之內完成，只做了6輪計算，效果也好了一些。不過，LM算法也有弱點，它占用的內存非常大，所以沒把其它算法給淘汰掉。

下面解決過擬合問題，把隱藏層的節點數目設少一點就行了。

net = newff(p, t, 3, {‘logsig’ ‘purelin’}, ‘trainlm’);
… 后面的代碼不變

這回終于達到滿意的效果了。(有時會出現局部最優解，可以多試幾次)

如果節點數目太少，會出現欠擬合的情況。

關于隱藏層的節點個數，一般是要憑感覺去調的。如果訓練集的維數比較多，調節起來比較耗時間，這時可以根據經驗公式上下浮動地去調整。
下面給出幾個經驗公式供參考：

如果把輸出層改為logsig激活會是什么樣子呢？

net = newff(p, t, 3, {‘logsig’ ‘logsig’}); % 創建神經網絡
net = train(net, p, t); % 開始訓練
y = sim(net, s); % 模擬
plot(s, y, ‘x’) % 畫散點圖

可以看出，-1~0范圍之間的點都變為0了。使用logsig輸出時要想得到完整數值范圍的效果，必須先對數據進行歸一化才行。

歸一化(Normalization)，也叫標準化，就是把一堆數字按比例縮放到0~1或-1~1的范圍。
雖然用Purelin輸出可以不必歸一化，但歸一化能在一定程度上加快收斂速度，因此被許多教程定為訓練前的必須步驟。

公式為：歸一值 = (當前值x-最小值min)/(最大值max-最小值min)
如果限定了范圍，公式為：y = (ymax-ymin)*(x-xmin)/(xmax-xmin) + ymin;
0.1~0.9的范圍：(0.9-0.1)(x-min)/(max-min)(0.9-0.1)+0.1
把5, 2, 6, 3這四個數歸一化：

Matlab的歸一化命令為：mapminmax
注：網上的不少教程里用premnmx命令來歸一化，要注意Matlab版本R2007b和R2008b，premnmx在處理單列數據時有bug，Matlab已給出了警告，R2009a版才修正。因此推薦使用mapminmax。mapminmax的輸入輸出值和premnmx是行列顛倒的，使用時要注意代碼中是否添加轉置符號。

a = [5, 2, 6, 3];

b = mapminmax(a, 0, 1) % 歸一化到0~1之間
% b = 0.7500 0 1.0000 0.2500

c = mapminmax(a) % 歸一化到-1~1之間
% c = 0.5000 -1.0000 1.0000 -0.5000

反歸一化(Denormalization)就是按歸一化時的比例還原數值。

a = [5, 2, 6, 3];
[c,PS] = mapminmax(a); % PS記錄歸一化時的比例
mapminmax(‘reverse’, c, PS) % 利用PS反歸一化
% ans = 5 2 6 3

神經網絡的歸一化(0~1范圍)代碼：

p = rand(1,50)*7; % 特征數據
t = sin(p); % 樣本值
s = [0:0.1:7]; % 測試數據

[pn, ps] = mapminmax(p, 0, 1); % 特征數據歸一化
[tn, ts] = mapminmax(t, 0, 1); % 樣本值歸一化
sn = mapminmax(‘apply’, s, ps); % 測試數據，按ps比例縮放

net = newff(pn, tn, [5 1], {‘logsig’ ‘logsig’}); % 創建神經網絡
net = train(net, pn, tn); % 開始訓練

yn = sim(net, sn); % 模擬
y = mapminmax(‘reverse’, yn, ts); % 按ps的比例還原
plot(s, y, ‘x’) % 畫散點圖

神經網絡工具箱還有一個UI圖形操作界面，執行nntool就可以打開。我覺得不如寫代碼方便，所以不怎么用。我提供一個相關的教程鏈接，有興趣的可以看一下：matlab神經網絡工具箱創建神經網絡 -http://blog.新浪.com.cn/s/blog_8684880b0100vxtv.html （新浪替換成sina）

關于Sigmoid的由來，中文的網站上很少有提及的。下面簡單講一下，希望能給大家拓展一下思路。

PS: 這里的公式我都給出了求解過程，但如今這個年頭，用手工解題的人越來越少了，一般的方程用軟件來解就行了。
例如解Sigmoid微分方程，可以用Matlab去解:

dsolve(‘Dx=x*(1-x)’)
% ans = 1/(1+exp(-t)*C1)

如果想得到求解的步驟或更詳細的信息，推薦使用Wolfram：http://www.wolframalpha.com
在Wolfram的搜索框輸入 x’=x(1-x) 即可。

logsig

Sigmoid函數(S形函數，Logistic Function)是受統計學模型的啟發而產生的激活函數。
基于生物學的神經元激活函數是這樣的：

參看：http://eprints.pascal-network.org/archive/00008596/01/glorot11a.pdf

實踐證明了基于統計學的Sigmoid函數激活效果要比基于生物學的模型好，而且計算起來很方便，所以說不能以機器和人的相似度為標準來判斷AI算法的好壞。
Sigmoid函數原先是個描述人口增長的數學模型，1838提出，給出的是導數形式(概率密度)。人口增長規律：起初階段大致是指數增長；然后逐漸開始變得飽和，增長變慢；達到成熟時幾乎停止增長；整個過程形如一條S型曲線。

導數的形式知道了，那么它的原函數是什么樣子呢？已知導數求原函數，用統計學的話來講，即根據概率密度函數(PDF)求累積分布函數(CDF)，不定積分(Indefinite Integral)就是專門用來做這個的工具。
根據不定積分的知識可知，由于常數項是可變的，所以存在無數個原函數的可能。讓我們先用圖解法看一下：既然導數是函數曲線的斜率，那么可以把一定數值范圍內的斜率，都畫成一根根的短斜線，組成斜率場(Slope Fields, Direction Fields)，然后根據這些斜線的走勢，畫出積分曲線。
Matlab可以用quiver命令來畫斜率場。

從上圖中可以看出，在y軸的0~1之間是個分水嶺，0和1處的方向趨于水平。下面放大0~1的范圍看看是什么樣子的。

看到了吧，我們要的Logistic Sigmoid就在這里呢。

下面給出符號求解的過程：

tansig

雙曲正切函數(雙極S形函數, tanh, Hyperbolic Tangent)，讀tanch，18世紀就已經出現了。它的定義是：tanh(x)=sinh(x)/cosh(x)，可以由著名的歐拉公式(Euler’s formula)推導出來。
用tanh作激活函數，收斂比較快，效果比Logistic函數還要好。
歐拉公式： i是虛數(Imaginary Number)單位，它的定義是： (即i^2 = -1)
題外話：根據上面的公式變換，可以得出史上最美的數學公式：?，數學中最神秘的5個符號e、i、π、1和0，全包含在里面了。

求tanh的導數：

logsig和tansig的關系：

from:?https://blog.csdn.net/lyl771857509/article/details/78990215

總結

以上是生活随笔為你收集整理的神经网络入门（最通俗的理解神经网络）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。