1. 線性感知機

例如一個房屋價格預測問題。輸入 x 是房屋面積大小，輸出 y 是房屋的價格。如果要預測價格與面積的關系，最簡單的一種模型就是 y 與 x 近似線性相關。

如上圖所示，紅色圓圈表示真實樣本的價格與面積分布，藍色虛線表示預測線性模型。這種最簡單的線性模型被稱為線性感知機模型。線性感知機模型的基本結構如下：

其中， w 為權重系數（ Weights ）， b 為偏移量（ Bias ）。線性感知機模型表征了房屋價格與單一變量（房屋面積）的線性關系。

既然我們認為 x 和 y 滿足線性相關關系，那么線性函數： y = wx + b，就是我們的模型函數。其中 y 也可以用 f(x) 來表示。

我們要做的是綜合利用所有的訓練數據（房屋面積大小 x）求出 y = wx + b 中常數 w 和 b 的值。

在將訓練樣本的 x 逐個帶入后，得出的預測房價 y’ = wx + b 與真實房價 y 整體的差異最小。具體的一個樣本的 y 和 y’ 的差異用 (y’-y)來表示。

線性回歸 ！= 直線
線性回歸模型是：利用線性函數對一個或多個自變量 （x 或 (x1,x2,…xk)）和因變量（y）之間的關系進行擬合的模型。也就是說，線性回歸模型構建成功后，這個模型表現為線性函數的形式。

線性函數的定義是：一階（或更低階）多項式，或零多項式。當線性函數只有一個自變量時，y = f(x)。

f(x) 的函數形式是：
f(x) = a + bx （a、b 為常數，且 b≠0）—— 一階多項式
或者 f(x) = c (c 為常數，且 c≠0) —— 零階多項式
或者 f(x) = 0 —— 零多項式

但如果有多個獨立自變量，比如影響房價的還有城市、地理位置、交通分布、周邊環境等等因素。因此，y=f(x1,x2,…,xk)的函數形式則是：

f(x1,x2,…,xk)=a+b1x1+b2x2+…+bkxk

也就是說，只有當訓練數據集的特征是一維的時候，線性回歸模型可以在直角坐標系中展示，其形式是一條直線。

但如果樣本特征本身是多維的，則最終的線性模型函數是一個多維空間內的[一階|零階|零]多項式。
總結一下：

• 特征是一維的，線性模型在二維空間構成一條直線；
• 特征是二維的，線性模型在三維空間中構成一個平面；
• 若特征是三維的，則最終模型在四維空間中構成一個體，以此類推。

見下圖：

2. 單神經元

單個神經元（ Neuron ）與線性感知機的基本結構非常類似，只是在線性的基礎上增加了非線性單元，目的是為了讓模型更加復雜。

這里的非線性單元指的就是激活函數。這樣，線性感知機和非線性單元就構成了單個神經元。

單個神經元描述的是輸出與單一變量之間的關系。還是上面的例子，如果房屋價格不僅與房屋面積有關，還和房間數目、地理位置等多個因素有關。這樣，輸入 x 不再是單一變量，而是由房屋面積、房間數目、地理位置等組成的多維向量。因此，我們就可以使用多個神經元來構建一個更加復雜的模型。

3. 多神經元

如上圖所示， x1、x2、x3 表示輸入元素，[Math Processing Error]? 表示神經元。h1、h2、h3 是隱藏層神經元，之所以設置隱藏層神經元是為了分別從不同輸入中提取特征，再將這些特征經過輸出層神經元 out ，預測房價 g 。每一個隱藏層神經元與每個輸入元素都進行連接，這保證了提取信息的完整性。這個模型就是最簡單的神經網絡模型。

上面隱藏層個數為什么是 3？其實，隱藏層神經元個數不是固定的，可以是 2，也可以是 4，它是個可調參數。更深入地，上面的神經網絡模型只有單隱藏層，如果問題比較復雜，訓練樣本比較多，我們可以使用更多隱藏層，每一隱藏層的神經元個數都可以設置。一般來說，層數越多越深，神經網絡模型模型越復雜，學習能力越強。這樣的深層神經網絡就被稱為深度學習模型。

深度學習模型除了標準的神經網絡（ Neural Network ，NN）之外，還包括卷積神經網絡（ Convolutional Neural Network ，CNN）、循環神經網絡（ Recurrent Neural Network ，RNN）。

CNN 多應用于機器視覺、圖像處理， RNN 多應用于序列模型、語音處理等。

傳統的機器學習算法，例如線性回歸、邏輯回歸、支持向量機、決策樹、隨機森林等能夠處理很多問題，實際應用也非常廣泛。許多數據挖掘競賽、機器學習算法大賽、Kaggle 等，傳統的機器學習算法都有著很優秀的表現。但是，隨著互聯網的興起與蓬勃發展，每天都有海量的數據產生，如何從大數據中尋找規律建立準確的模型，深度學習逐漸發揮其優勢，呈現出比傳統機器學習更強的能力。

本文參考：
https://gitbook.cn/gitchat/column/5b447b698b5d4b11e880d287/topic/5b447df08b5d4b11e880d3e4

總結

以上是生活随笔為你收集整理的机器学习概念 — 线性感知机、线性回归、单个神经元、多层次神经元的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。