定位：深層學習在哪

1、深層學習需要什么？

數學

線性代數：是有關任意維度空間下事物狀態和狀態變化的規則。

概 ? ? ? 率：是用來衡量我們對事物在跨時間后不同狀態的確信度。

編程

操作矩陣

實現數學想法

學習的難點

其實就是學習尋找關聯函數f的過程。

難點：需要在未見過的任務上表現良好

有一種極端情況：

記憶：記住所有的高考題和對應答案。

實際：無法被窮盡，各式各樣的變體。

??

關于函數f的尋找

維度的問題：

維度越大，我們越無法獲得所有的情況。

面臨沒見過的情況，一般是將左右的情況平均一下。但是這種方法在高維數據下并不適用。

分布式表達：

原本需要8個不同情況，現在只需要6個。因為8個變體是又3種因素組合而成的。

數字表示法：解決變化的因素。

橢圓這個factor實際上也是有變體的，可以以相同的思路繼續拆分，繼續降低訓練所需數據量。

深層VS淺層

分布式表達是將變體拆分成因素。但是如果用無限節點的淺層網絡，所拆分的變體并不會在不同樣本之間形成共享。

而深層神經網絡，由于拆分的變體可以在不同樣本間共享，在淺層網絡中只負責學習自己的關聯，而在深層網絡中，那些共用相同因素的樣本也會被間接的訓練到。換句話說，深層的優勢在于節省了訓練所需的數據量。

關鍵：因素的共享

深層神經網絡

學習的過程是因素間的關系的拆分，關系的拆分是信息的回卷，信息的回卷是變體的消除，變體的消除是不確定性的縮減。

自然界兩個固有的先驗知識：

并行：新狀態是由若干舊狀態并行組合形成。

迭代：新狀態由已形成的狀態再次迭代形成。

一些技術

多任務學習muti-task learning，利用的是因素共享，多個任務共享相同的知識，這樣就會更容易確定我們真正想要的關聯f，而排除掉那些只符合訓練數據集，而不符合測試數據集的關聯。

joint learning，end-to-end learning，是因素共享+因素拆分的聯合應用。

通過縮減人工預處理和后續處理，盡可能使模型從原始輸入到最終輸出，給模型更多可以根據數據自動調節的空間，增加模型的整體契合度。

人工智能對我們的影響

from:?http://mp.weixin.qq.com/s/TwB_mPKfM_hKmJwhm1avYQ

總結

以上是生活随笔為你收集整理的深度学习入门误区的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。