參考鏈接https://www.cnblogs.com/maybe2030/p/5597716.html
梯度檢測


確認沒有錯誤之后就關掉這個梯度檢測，否則會變得很慢，因為他比反向傳播慢的很

選擇神經網絡的架構 輸入層與輸出層是與特征的維度與類別的數目相關的。 對于隱藏層，如果大于1隱藏單元的數目應該是相等。


欠擬合：高偏差
過擬合： 高方差
交叉驗證： 分為訓練集 測試集以及交叉驗證集
判別辦法 橫坐標d是維度 d為1的時候 訓練誤差和交叉誤差都很大。當d很大的時候訓練誤差是小的
但是交叉誤差是大的

線性回歸正則化 對λ的選擇

太大了 θ都是0，一條直線 欠擬合
如果λ太大了的話，就會有比如0，就會造成過擬合

對于正則化λ的選擇，嘗試不同的λ的值，求出最小代價函數對應的θ，用這個theta帶入交叉驗證中進行驗正。然后再交叉呀鄭重選擇了θ5 然后帶入到測試集中進行測試

---

正則化

對于這個圖形，對于訓練集來說，λ從小到大，小的時候對應的θ是高階的因此訓練集擬合的好，可能存在過擬合對于那個交叉驗證集所以誤差大。 隨著λ增大，θ變小了，因此相當于一次項了，然后欠擬合，這時候誤差也是大的，只有選擇一個合適的λ，才能降低新的數據的誤差。改變lamda-交叉誤差和訓練誤差的變化。

學習曲線

訓練集對訓練集上學習代價的曲線變化以及交叉測試集上的曲線變化，對于訓練集 ，數目越少擬合越好，數目多了誤差增加。對于交叉訓練集，原來的訓練集的數目越多他的性能越好

增大訓練效果沒有用的粒子

高偏差（欠擬合）

當交叉訓練集隨著訓練的數目增大的時候，誤差不會下降，保持一個較高的穩定的值，這個時候有再多的數據也是沒有什么效果的。右圖顯示的是，如果只有兩個參數，那么數據集數據再多，這個直線也是無法擬合的（訓練集和交叉驗證集隨著樣本越來越大誤差都很大的時候）
這哥時候收集再多數據沒有用

高方差（過擬合）

如果λ十分的小，而且θ十分的大，那么就會過擬合。訓練集隨著數目的增多，還是會稍微有點誤差但是始終很小。但是對于交叉訓練集，就是有很大的誤差，隨著樣本數目的下降，稍微有點降低，但是和訓練集之間的誤差是很大的，隨著樣本數目的增加，測試集的誤差是下降的因此在高方差中，增加樣本數量是可行的

對于不同的錯誤的修復

特征向量：對于一個文本，存在的單詞特征向量中為1，不存在的為0

對于一個垃圾分類器

有這些方法進行改進

先簡單暴力的實現一個最快的算法 然后檢測 對不正確的進行分類看 那種問題最多 然后修改原則。

對于一個分類模型：精度和recall 都是重要的檢測
精度：預測患了癌癥且真的有癌癥的人/ 預測的所有患癌癥的
recall： 預測且真的患有癌癥的人/ 真實中所有得癌癥的人

這種定義是因為我們希望的真正的患有癌癥的人很少的時候。如果y=0 預測一直為0，那么那么recall 是0 是不正確的。 skewed class . 偏斜類。有好的精確度和召回率的算法是好的算法

精度和召回率的一個比例。
如果閾值 0.99 那么精度高，但是會漏下許多，因此召回率不高。如果閾值時0.3 ，那么精度較低，因為把很多都判斷為患有癌癥。 但是召回率高

選擇一個好的模型，有好的召回率和好的精度。

svm

通過c的選擇可以有更大的間距。 large margin classification

θ0=0 綠線是分類線，藍線是θ，紅叉點向上面投影，得到p的長度，如果大于1，那么θ數值要大。
SVM 核函數

選擇標記點


svm與核函數


高斯核函數 線性核函數 莫塞爾定理

KNN

降維

pca：找低維平面。找一條直線進行投影，使得投影誤差最小。如果是n維到k維，那么就是找k個向量。最小化平方投影

數據處理
特征-平均值
如果特征有不同的尺度：特征收縮：特征-平均值/max-min or 特征-平均值/標準差

使用PCA 進降維，用最少的k 使得與原來的方差比還是99%
壓縮重現：

僅僅在測試集上面運用PCA


pca 不是一個好的防止過擬合的做法。即使你的方差保留到99%，但是仍然存在一些有價值的信息被拋棄的行為。
因此一個好的做法還是進行正則化。pca 提高算法速度比較好

只有需要壓縮數據的時候使用pca, 不要盲目的使用pca，除非你硬盤 內存不夠了才需要壓縮數據的時候。

異常檢測

評估算法

異常檢測算法

異常檢測算法和監督學習算法

通過對數據的變化，使其分布，數據的特征分布更加類似于高斯。可以通過開根，log 等等進行

推薦系統，協同過濾


協同過濾算法
低秩矩陣分解

找到最近的電影

均值規范化

歸一化算法：使用其對未進行任何評分的電影進行評分

批量梯度下降，解決梯度下降中數量太多的問題

如果有3億人，

總結

以上是生活随笔為你收集整理的机器学习第五章 神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。