定位：深層學(xué)習(xí)在哪

1、深層學(xué)習(xí)需要什么？

數(shù)學(xué)

線性代數(shù)：是有關(guān)任意維度空間下事物狀態(tài)和狀態(tài)變化的規(guī)則。

概 ? ? ? 率：是用來(lái)衡量我們對(duì)事物在跨時(shí)間后不同狀態(tài)的確信度。

編程

操作矩陣

實(shí)現(xiàn)數(shù)學(xué)想法

學(xué)習(xí)的難點(diǎn)

其實(shí)就是學(xué)習(xí)尋找關(guān)聯(lián)函數(shù)f的過(guò)程。

難點(diǎn)：需要在未見(jiàn)過(guò)的任務(wù)上表現(xiàn)良好

有一種極端情況：

記憶：記住所有的高考題和對(duì)應(yīng)答案。

實(shí)際：無(wú)法被窮盡，各式各樣的變體。

??

關(guān)于函數(shù)f的尋找

維度的問(wèn)題：

維度越大，我們?cè)綗o(wú)法獲得所有的情況。

面臨沒(méi)見(jiàn)過(guò)的情況，一般是將左右的情況平均一下。但是這種方法在高維數(shù)據(jù)下并不適用。

分布式表達(dá)：

原本需要8個(gè)不同情況，現(xiàn)在只需要6個(gè)。因?yàn)?個(gè)變體是又3種因素組合而成的。

數(shù)字表示法：解決變化的因素。

橢圓這個(gè)factor實(shí)際上也是有變體的，可以以相同的思路繼續(xù)拆分，繼續(xù)降低訓(xùn)練所需數(shù)據(jù)量。

深層VS淺層

分布式表達(dá)是將變體拆分成因素。但是如果用無(wú)限節(jié)點(diǎn)的淺層網(wǎng)絡(luò)，所拆分的變體并不會(huì)在不同樣本之間形成共享。

而深層神經(jīng)網(wǎng)絡(luò)，由于拆分的變體可以在不同樣本間共享，在淺層網(wǎng)絡(luò)中只負(fù)責(zé)學(xué)習(xí)自己的關(guān)聯(lián)，而在深層網(wǎng)絡(luò)中，那些共用相同因素的樣本也會(huì)被間接的訓(xùn)練到。換句話說(shuō)，深層的優(yōu)勢(shì)在于節(jié)省了訓(xùn)練所需的數(shù)據(jù)量。

關(guān)鍵：因素的共享

深層神經(jīng)網(wǎng)絡(luò)

學(xué)習(xí)的過(guò)程是因素間的關(guān)系的拆分，關(guān)系的拆分是信息的回卷，信息的回卷是變體的消除，變體的消除是不確定性的縮減。

自然界兩個(gè)固有的先驗(yàn)知識(shí)：

并行：新?tīng)顟B(tài)是由若干舊狀態(tài)并行組合形成。

迭代：新?tīng)顟B(tài)由已形成的狀態(tài)再次迭代形成。

一些技術(shù)

多任務(wù)學(xué)習(xí)muti-task learning，利用的是因素共享，多個(gè)任務(wù)共享相同的知識(shí)，這樣就會(huì)更容易確定我們真正想要的關(guān)聯(lián)f，而排除掉那些只符合訓(xùn)練數(shù)據(jù)集，而不符合測(cè)試數(shù)據(jù)集的關(guān)聯(lián)。

joint learning，end-to-end learning，是因素共享+因素拆分的聯(lián)合應(yīng)用。

通過(guò)縮減人工預(yù)處理和后續(xù)處理，盡可能使模型從原始輸入到最終輸出，給模型更多可以根據(jù)數(shù)據(jù)自動(dòng)調(diào)節(jié)的空間，增加模型的整體契合度。

人工智能對(duì)我們的影響

from:?http://mp.weixin.qq.com/s/TwB_mPKfM_hKmJwhm1avYQ

總結(jié)

以上是生活随笔為你收集整理的深度学习入门误区的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。