相關(guān)視頻（B站）

2021-（上）-機(jī)器學(xué)習(xí)基本概念簡(jiǎn)介
2021-（下）-深度學(xué)習(xí)基本概念簡(jiǎn)介

說(shuō)明

李宏毅老師的機(jī)器學(xué)習(xí)課程主要內(nèi)容是深度學(xué)習(xí)，傳統(tǒng)機(jī)器學(xué)習(xí)內(nèi)容推薦吳恩達(dá)老師的機(jī)器學(xué)習(xí)課程。
由于我先學(xué)過(guò)吳恩達(dá)老師的機(jī)器學(xué)習(xí)課程，所以該課程筆記很多地方就簡(jiǎn)單記錄一下。

一、2021-（上）-機(jī)器學(xué)習(xí)基本概念簡(jiǎn)介

這節(jié)內(nèi)容就是簡(jiǎn)單介紹一下機(jī)器學(xué)習(xí)的概念，講了機(jī)器學(xué)習(xí)的三大步驟。（這三大步驟放在深度學(xué)習(xí)同樣適用，畢竟深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子集）

1.機(jī)器學(xué)習(xí)是什么？

機(jī)器學(xué)習(xí)就是讓機(jī)器具備找一個(gè)函式的能力。

2.ML三大任務(wù)

• Regression，回歸問(wèn)題（輸出為連續(xù)數(shù)值）
• Classification，分類問(wèn)題（輸出為離散數(shù)值）
• Structured learning，結(jié)構(gòu)學(xué)習(xí)（輸出為一個(gè)有結(jié)構(gòu)的內(nèi)容，如一張圖畫、一段文字）

3.機(jī)器學(xué)習(xí)步驟

• Function with unknown parameters(寫出一個(gè)帶有未知參數(shù)的函數(shù))
  （Ex. Linear Model y=wx+b. 這里y即是一個(gè)model，w、b為待訓(xùn)練的參數(shù)）

• Define loss fun from training data(定義loss函數(shù))

• Optimization(優(yōu)化的方法為Gradient decent)

4.Error Surface

不同的w跟b的組合,都去計(jì)算它的Loss,然后就可以畫出以下這一個(gè)等高線圖

在這個(gè)等高線圖上面,越偏紅色系,代表計(jì)算出來(lái)的Loss越大,就代表這一組w跟b越差,如果越偏藍(lán)色系,就代表Loss越小,就代表這一組w跟b越好.

4.Domain Knowledge

通常一個(gè)模型的修改來(lái)自你對(duì)這個(gè)問(wèn)題的理解，即Domain Knowledge。

二、2021-（下）-深度學(xué)習(xí)基本概念簡(jiǎn)介

這一節(jié)解釋了深度學(xué)習(xí)為什么能擬合非線性函數(shù)

1.擬合一條分段折線

對(duì)于下面這條紅線（piecewise linear curve），你永遠(yuǎn)不能用Linear Model來(lái)很好的擬合它。所以我們需要一個(gè)更加有彈性的，有未知參數(shù)的Function。

我們可以觀察一下紅色的這一條曲線,它可以看作是一個(gè)常數(shù),再加上一群藍(lán)色的這樣子的 Function,.
這個(gè)藍(lán)色的 Function,它的特性是

• 當(dāng)輸入的值,當(dāng) x 軸的值小於某一個(gè)這個(gè) Treshold 的時(shí)候,它是某一個(gè)定值
• 大於另外一個(gè) Treshold 的時(shí)候,又是另外一個(gè)定值,
• 中間有一個(gè)斜坡
  
  那么這條紅線就可以由這四條藍(lán)線相加得到。事實(shí)上，
• 任何piecewise linear curve（分段線性線段）都可以看作是一個(gè)常數(shù)，再加上一堆藍(lán)色的Function。
• 任何連續(xù)曲線，你只要取足夠多的轉(zhuǎn)折點(diǎn)，你都能用piecewise linear curve去逼近他

2.怎么表示這個(gè)藍(lán)色折線呢？

那么如何來(lái)表示這個(gè)藍(lán)色的折線呢（即Hard Sigmoid）？這里用了Sigmoid函數(shù)，它可以逼近Hard Sigmoid。

我們只需要調(diào)整w、b、c的值就可以制造不同形狀的Sigmoid Function。

所以你只要有不同的 w 不同的 b 不同的 c，你就可以製造出不同的 Sigmoid Function，把不同的Sigmoid Function 疊起來(lái)以后，你就可以去逼近各種不同的Piecewise Linear 的 Function，然后Piecewise Linear 的 Function，可以拿來(lái)近似各種不同的 Continuous 的 Function。

3.再多考慮多個(gè)輸入的特征

上面我們僅僅考慮了一個(gè)feature，那么再多考慮多個(gè)輸入的特征要怎么做呢？我們這里用

• i來(lái)表示不同的sigmoid函數(shù)
• j來(lái)表示Feature的編號(hào)。

這邊本來(lái)是

我們把Sigmoid替換掉里面的東西，得到

這里用圖形的方式來(lái)展示，其實(shí)就是單層的神經(jīng)網(wǎng)絡(luò)。

4.深度學(xué)習(xí)

如果我們這里把輸出的a1、a2、a3作為input，再多做幾次，那其實(shí)就是Deep Learning了。

5.ReLU（額外內(nèi)容）

Hard Sigmoid的表示方法這里一定要用Sigmoid嗎？其實(shí)也可以用ReLU函數(shù)。一個(gè)Hard Sigmoid就是兩個(gè)ReLU相加得到的。

ReLU的式子寫作

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记（李宏毅 2021/2022）——第一节：基本概念的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。