深度学习——02、深度学习入门 1-7
01深度學習與人工智能簡介
什么是人工智能？
觀察周圍的世界，把看到的事物加以理解，最后通過理解進行一系列的決策。
感知+理解+決策。
學習的能力，是智能的本質！
大數據時代
大數據時代造就了人工智能的高速發展
深度學習
上世紀九十年代就已經存在。
2012年Alex-net在ImageNet圖像分類比賽中一炮打響。
2016年阿爾法狗戰勝李世石說明人工智能時代來臨。
百度繪制傳統AI算法與深度學習算法對比
深度學習述說圖片的故事
無人駕駛汽車
1.物體檢測
2.行人檢測
3.標志識別
4.速度識別
……
02計算機視覺面臨挑戰與常規套路
圖像分類：計算機視覺核心任務
圖像在計算機中長什么樣呢？
一張圖片被表示成三維數組的形式，每個像素的值從0到255。
像素點可以直接與亮度掛鉤，像素點越大，亮度越高。
挑戰：照射角度
挑戰：光照強度
挑戰：形狀改變
挑戰：部分遮蔽
挑戰：背景混入
深度學習的套路
1.收集數據并給定標簽
2.訓練一個分類器
3.測試，評估
03用K近鄰來進行圖像分類
1.如果K=3，綠色圓點的最近3個鄰居是2個紅色小三角形和1個藍色小正方形，少數服從多數，基于統計的方法，判定綠色的這個待分類點屬于紅色的三角形一類。
2. 如果K=5，綠色圓點的最近5個鄰居是2個紅色小三角形和3個藍色小正方形，少數服從多數，基于統計的方法，判定綠色的這個待分類點屬于藍色的正方形一類。
對于未知類別屬性數據集中的點：
1.計算已知類別數據集中的點與當前點的距離
2.按照距離依次排序
3.選取與當前距離最小的K個點
（K最好選為奇數）
4.確定前K個點所在類別的出現概率
5.返回前K個點出現概率最高的類別作為當前點的預測分類
K-近鄰概述
KNN算法本身簡單有效，它是一種lazy-learning算法。
分類器不需要使用訓練集進行訓練，訓練時間復雜度為0。
KNN分類的計算復雜度和訓練集中的文檔數目成正比，也就是說，如果訓練集中文檔總數為n，那么KNN的分類時間復雜度為O（n）。
K-近鄰缺陷
K值的選擇，距離度量和分類決策規劃是該算法的三個基本要素。
問題：該算法在分類時有個主要的不足是，當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居大容量類的樣本占多數。
解決，不同的樣本給予不同權重項。
數據庫樣例：CIFAR-10
10類標簽
50000個訓練數據
10000個測試數據
大小均為32*32
如何計算
04超參數與交叉驗證
超參數
問題：
1.對于距離如何設定？
2.對于K近鄰的K該如何選擇？
3.如果有的話，其他超參數該怎么設定？
解決：
找到最好的參數：多次用測試數據實驗，找到做好的一組參數組合。
但這是錯誤的想法，因為測試數據只能最終使用。
交叉驗證
參見：python人工智能——機器學習——模型選擇與調優
背景主導導致不能用K-近鄰進行圖片分類
總結
1.選取超參數的正確方法是：將原始訓練集分為訓練集和驗證集，我們在驗證集上嘗試不同的超參數，最后保留表現最好那個。
2.如果訓練數據量不夠，使用交叉驗證方法，它能幫助我們在選取最優超參數的時候減少噪音。
3.一旦找到最優的超參數，就讓算法以該參數在測試集跑且只跑一次，并根據測試結果評價算法。
4.最近鄰分類器能夠在CIFAR-10上得到將近40%的準確率。該算法簡單易實現，但需要存儲所有訓練數據，并且在測試的時候過于耗費計算能力。
5.最后，僅僅使用L1和L2范數來進行像素比較是不夠的，圖像更多的是按照背景和顏色被分類，而不是語義主體分身。
6.預處理你的數據：對你數據中的特征進行歸一化（normalize），讓其具有零平均值（zero mean）和單位方差（unit variance）。
7.如果數據是高維數據，考慮使用降維方法，比如PCA。
8.將數據隨機分入訓練集和驗證集。按照一般規律，70%-90% 數據作為訓練集。
9.在驗證集上調優，嘗試足夠多的k值，嘗試L1和L2兩種范數計算方式。
05線性分類
假設有這么一張我學校的校徽圖片，對應大小為[32323]，然后有十個標簽， 想要找一組比較好的權重參數w，得出當前的權重參數對每個分類的得分。
轉換為矩陣形式：
將32323=3072個像素點進行拉伸，轉換成一個列向量：30721的矩陣，結果是101的矩陣， 則w為3072*10的二維矩陣，每個元素都是一個權重參數，跟圖像轉換的矩陣進行組合，就可以算出得分。
06損失函數
07正則化懲罰項
w1只關注第一個像素點，w2對每個像素點一視同仁，雖然結果相同，但是對于w1是不可取的。
由此可得，損失函數終極版：
總結
以上是生活随笔為你收集整理的深度学习——02、深度学习入门 1-7的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： AI 质检学习报告——实践篇——第二步：
- 下一篇： 深度学习——02、深度学习入门 8-14