1.機(jī)器學(xué)習(xí)的分類

眾所周知，機(jī)器學(xué)習(xí)其實(shí)就是讓電腦來做點(diǎn)人事。實(shí)際上這個(gè)可以分成兩類，一個(gè)是kernel（也有人將其稱為SVM）、一個(gè)是神經(jīng)網(wǎng)絡(luò)（我這里將深層神經(jīng)網(wǎng)絡(luò)和淺層神經(jīng)網(wǎng)絡(luò)都放在這里了）。我個(gè)人理解這兩個(gè)東西的區(qū)別主要是有下面兩個(gè)：
1.kernel也就是核方法是固定的一種方法，不用有太多的操作，也不用靈活設(shè)計(jì)，就可以產(chǎn)生很好的效果。但是每次應(yīng)用于新的內(nèi)容的時(shí)候，這需要重新再進(jìn)行計(jì)算。需要的額外運(yùn)算很大。
深度神經(jīng)網(wǎng)絡(luò)我們則需要我們使用梯度下降的方法，不斷進(jìn)行計(jì)算，來優(yōu)化我們的模型，當(dāng)我們需要應(yīng)用于新的內(nèi)容的時(shí)候，我們則僅僅需要把這個(gè)模型拿過來調(diào)用就行了，需要的運(yùn)算很小。
2.kernel這個(gè)東西對(duì)調(diào)參數(shù)不怎么敏感，而深度學(xué)習(xí)則對(duì)于調(diào)參比較敏感。那么有人說了，這個(gè)調(diào)參敏感不是更好嗎？我看其實(shí)不一定，我們用淺層神經(jīng)網(wǎng)絡(luò)和核方法比較，淺層神經(jīng)網(wǎng)絡(luò)和核方法比起來效果并不好。得需要調(diào)參才能達(dá)到類似的效果。所以這個(gè)調(diào)參敏感其實(shí)也是一個(gè)方法本身還有不足的表現(xiàn)。

2.機(jī)器學(xué)習(xí)的發(fā)展過程

2.1大致階段

大約大家普遍認(rèn)為：
1990—2000，是神經(jīng)網(wǎng)絡(luò)的10年（這個(gè)時(shí)期是淺層神經(jīng)網(wǎng)絡(luò)）
2000—2012，是kernel方法的10年（AlexNet的提出終結(jié)了這一切）
2012—今，又回到神經(jīng)網(wǎng)絡(luò)的天地。（這個(gè)時(shí)期是深層神經(jīng)網(wǎng)絡(luò)）

2.2理解原因

1.一開始神經(jīng)網(wǎng)絡(luò)的興盛應(yīng)該說其實(shí)是梯度下降方法立的功。因?yàn)樵谶@一時(shí)期，硬件的條件有限，所以不能很好的支持kernel方法的進(jìn)行。其實(shí)并不是神經(jīng)網(wǎng)絡(luò)本身的發(fā)力。
2.隨著硬件的發(fā)展，計(jì)算能力的提升，淺層神經(jīng)網(wǎng)絡(luò)的不足逐漸展現(xiàn)出來，所以這一階段kernel的優(yōu)勢(shì)逐漸展現(xiàn)。淺層神經(jīng)網(wǎng)絡(luò)逐漸退出歷史舞臺(tái)。
3.隨著計(jì)算能力的進(jìn)一步發(fā)展，逐漸可以支持我們進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化，神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)真正的發(fā)力，所以取代了原有的kernel方法。

3.未來的事

隨著計(jì)算能力的進(jìn)一步提升，很有可能有新的東西發(fā)展起來。
但是目前來看，深度神經(jīng)網(wǎng)絡(luò)還要繼續(xù)發(fā)展一段時(shí)間。我們參考上一次神經(jīng)網(wǎng)絡(luò)高度發(fā)達(dá)的時(shí)期，我們不難發(fā)現(xiàn)，這種階段很多人都會(huì)進(jìn)行對(duì)應(yīng)計(jì)算設(shè)備的開發(fā)。DPU這種單指令多組數(shù)據(jù)處理的計(jì)算設(shè)備的大熱，其實(shí)也反映了業(yè)界對(duì)于這種可以提升深度神經(jīng)網(wǎng)絡(luò)運(yùn)算效果的設(shè)備的期待。
所以這個(gè)階段FPGA的的開發(fā)很有可能再次大熱。

總結(jié)

以上是生活随笔為你收集整理的机器学习的发展和硬件发展的关系的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。