【清華AI自強(qiáng)計(jì)劃】-第三講課程筆記-1

數(shù)據(jù)歸一化中的“一”是什么意思？

將不同變量的量綱都轉(zhuǎn)化為1，消除單位的影響。
幾種歸一化方法：
1、范圍（-1,1）

2、范圍（-1,1）

3、

以\mu為均值，以\sigma為方差

明確課程定位：

垂直行業(yè)從業(yè)者&愛好者：

聽課目標(biāo)：0->0.5 定性理解，專注落地

算法科學(xué)家：

聽課目標(biāo)：0->1 初步入門，加強(qiáng)算法
提升方法：共享論文

AI工程師：

需要的代碼工程能力更強(qiáng)，和真實(shí)業(yè)務(wù)環(huán)境相結(jié)合，如大量數(shù)據(jù)需要并行計(jì)算，有項(xiàng)目需要上線
聽課目標(biāo)：0->1 初步入門，加強(qiáng)代碼 能力
提升方法：工程問題，做作業(yè)的時候?qū)⒚總€函數(shù)都弄清楚，再做些上下游的工作，如數(shù)據(jù)是怎么爬取的，將項(xiàng)目上線等。

第三講目標(biāo)：訓(xùn)練“識別手寫數(shù)字”的算法

數(shù)據(jù)集介紹：
MNIST:
M 指是modified，原來數(shù)據(jù)集用高中生和公務(wù)員的手寫數(shù)字分別作為測試集和訓(xùn)練集，modified版本將其混合，即將測試集和訓(xùn)練集混合。

如何用邏輯回歸解決這一問題？（用二分類解決十分類的問題，One vs All）
訓(xùn)練10個分類器，每個分類器只打1個類別，想解決10分類的問題，訓(xùn)練10個分類器即可。（A defense of one-vs-all classification）
計(jì)算機(jī)看圖是一個數(shù)字矩陣：

60000個圖片樣本，每個樣本對應(yīng)2828的維度，形成上圖右邊的輸入矩陣。
訓(xùn)練結(jié)果：樣本數(shù)量設(shè)置為55000時，最后輸出預(yù)測精度剛超過50%：泛化能力不行。
而當(dāng)訓(xùn)練樣本數(shù)為500時，預(yù)測精度反而達(dá)到90%。
為什么樣本數(shù)量少，精度反而更高呢？
擬合出來的模型相當(dāng)于在2828維度的空間中畫出決策邊界，樣本數(shù)非常少，以至于隨便畫條線都可以很好把樣本分隔開。

NN神經(jīng)網(wǎng)絡(luò)的歷史淵源：
生物學(xué)神經(jīng)元衍生出數(shù)學(xué)模型：

小于一個閾值不激活，大于一個閾值將數(shù)據(jù)往后傳。
神經(jīng)元多了–>感知機(jī)——>(有監(jiān)督)BP神經(jīng)網(wǎng)絡(luò)
無監(jiān)督：布爾計(jì)算機(jī)

如何了解一個新模型？

1、了解模型是什么樣子的——參數(shù)是什么，參數(shù)怎么輸入
2、了解參數(shù)的更新方式
觸及到核心知識時是沒有任何捷徑的，要仔細(xì)弄懂每個符號，每個運(yùn)算過程。

神經(jīng)元結(jié)構(gòu)圖

只有輸出沒有輸入的圓圈代表偏置，作用是讓擬合曲線離開原點(diǎn)。
輸入層和輸出層的神經(jīng)元個數(shù)是確定的。

輸入層：輸入層神經(jīng)元個數(shù)為特征個數(shù)
輸出層：二分類輸出層只有一個，多分類情況下分類類別等于輸出層神經(jīng)元個數(shù)。
隱藏層：神經(jīng)元個數(shù)任意指定。

前饋傳播示意圖解析：
上圖中字母上角標(biāo)括號內(nèi)的數(shù)字代表層數(shù)
a,z,x下角標(biāo)為在此層中的序號
w為模型參數(shù)，下角標(biāo)有兩位，前面一位為指向神經(jīng)元的序號， 后面一位是自己的序號。
全連接：前層每一個神經(jīng)元和下一層所有神經(jīng)元都要相連

變量及參數(shù)解析：

信號傳導(dǎo)下一層神經(jīng)元先加和到z，再經(jīng)過激活函數(shù)輸出a。

矩陣化表示，更加簡潔：
第二層的z等于第一層的權(quán)值乘以數(shù)值。

總結(jié)

以上是生活随笔為你收集整理的【清华AI自强计划-计算机视觉课程-第三讲课程笔记1】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。