神經網絡與深度學習

第一章 緒論

第二章 機器學習概述

第三章 線性模型

深度學習是機器學習的一個分支，是指一類問題以及解決這類問題的方法。人工神經網絡，也簡稱神經網絡，是一種受人腦神經系統的工作方式啟發而構造的一種數學模型。在機器學習領域，神經網絡是指由很多人工神經元構成的網絡結構模型，這些人工神經元之間的連接強度是可學習的參數。

深度學習所要解決的問題是貢獻度分配問題，而神經網絡恰好是解決這個問題的有效模型。

損失函數是一個非負實數函數，用來量化模型預測和真實標簽之間的差異。

線性回歸是機器學習和統計學中最基礎和廣泛應用的模型，是一種對自變量和因變量之間關系進行建模的回歸分析。

計算學習理論是關于機器學習的理論基礎，其中最基礎的理論就是可能近似正確學習理論。

機器學習算法雖然種類繁多，但其中三個基本的要素為：模型、學習準則、優化算法。目前機器學習中最主流的一類方法是統計學習方法，將機器學習問題看作是統計推斷問題，并且又可以進一步分為頻率學派和貝葉斯學派。

線性模型是機器學習中應用最廣泛的模型，指通過樣本特征的線性組合來進行預測的模型。一個線性分類模型或線性分類器，是由一個（或多個）線性的判別函數 f(x; w) =wTx + b和非線性的決策函數g(·)組成。

Logistic回歸是一種概率模型，其通過使用Logistic函數來將一個實數值映射到 [0, 1] 之間。Softmax 回歸，也稱為多項或多類的Logistic回歸，是Logistic回歸在多類分類問題上的推廣。

感知器是最簡單的人工神經網絡，只有一個神經元。

支持向量機是一個經典兩類分類算法，其找到的分割超平面具有更好的魯棒性，因此廣泛使用在很多任務上，并表現出了很強優勢。

---

注意力機制與外部記憶

通過注意力機制可以實現一種“軟性”的尋址方式，即計算一個在所有記憶片段上的分布，而不是一個單一的絕對地址。類比于計算機的存儲器讀取，計算注意力分布的過程相當于是計算機的“尋址”過程，信息加權平均的過程相當于計算機的“內容讀取”過程。注意力機制可以看做是一個接口，將信息的存儲與計算分離。

神經網絡中可以存儲的信息量稱為網絡容量（Network Capacity）。

注意力一般分為兩種：一種是自上而下的有意識的注意力，稱為聚焦式注意力（Focus Attention）也常稱為選擇性注意力（Selective Attention）。聚焦式注意力是指有預定目的、依賴任務的、主動有意識地聚焦于某一對象的注 意力。另一種是自下而上的無意識的注意力，稱為基于顯著性注意力（SaliencyBased Attention）。基于顯著性的注意力是由外界刺激驅動的注意，不需要主動干預，也和任務無關。

計算在給定一個和任務相關的查詢向量q和輸入向量X 下，選擇第i個輸入向量的概率，，其中稱為注意力分布（Attention Distribution）， s(xi,q)為注意力打分函數， 可以使用以下幾種方式來計算：，。

硬性注意力需要通過強化學習來進行訓練。

指針網絡（Pointer Network）[Vinyals et al., 2015]是一種序列到序列模型，輸入是長度為 n 的向量序列，輸出是下標序列c1:m = 。

自注意力模型可以作為神經網絡中的一層來使用，既可以用來替換卷積層 和循環層[Vaswani et al., 2017]，也可以和它們一起交替使用[Shen et al., 2018]（比如X 可以是卷積層或循環層的輸出）。在單獨使用時，自注意力模型一般需要加入位置編碼信息來進行修正[Vaswani et al., 2017]。

和之前介紹的LSTM中的記憶單元相比，外部記憶可以存儲更多的信息，并 且不直接參與計算，通過讀寫接口來進行操作。外部記憶的實現途徑有兩種：一種是結構化的記憶，這種記憶和計算機中的信息存儲方法比較類似，可以分為多個記憶片段，并按照一定的結構來存儲；另一種是基于神經動力學的聯想記憶，這種記憶方式具有更好的生物學解釋性。

端到端記憶網絡（End-To-End Memory Network，MemN2N） [Sukhbaatar et al., 2015]采用一種可微的網絡結構，可以多次從外部記憶中讀取信息。在端到端記憶網絡中，外部記憶單元是只讀的。

聯想記憶模型可以看做是一種循環神經網絡，基于神經動力學來實現按內 容尋址的信息存儲和檢索。

除了作為機器學習模型外，神經網絡還可以作為一種記憶的存儲和檢索模型。

Hopfield網絡（Hopfield Network）是一種循環神經網絡模型，由一組互相連接的神經元組成。Hopfield 的檢索是基于內容尋址的檢索，具有聯想記憶能力。

目前人工神經網絡中的外部記憶模型結構還比較簡單，需要借鑒神經科學的研究成果，提出更有效的記憶模型，增加網絡容量。

總結

以上是生活随笔為你收集整理的神经网络与深度学习（邱锡鹏）-学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。