什么是Grid Search 網格搜索？

網格搜素是一種常用的調參手段，是一種窮舉方法。給定一系列超參，然后再所有超參組合中窮舉遍歷，從所有組合中選出最優的一組超參數，其實就是暴力方法在全部解中找最優解。

為什么叫網格搜索，因為假設有兩個超參，每個超參都有一組候選參數。這兩組候選參數可以兩兩組合，把所有組合列出來就是一個二維的網格（多個超參兩兩組合可以看作是崗高維空間的網格），遍歷網格中的所有節點，選出最優解。所以叫網格搜索。

存在的問題

使用網格搜索會導致，測試集上的表現效果比真實情況要好一些，因為測試集是用來對參數進行調整，參數會最終被調整為在測試集上表現效果最優的情況，而測試集樣本量小，真實情況的樣本量應該會遠大于測試集的情況，所以測試集的樣本數據分布情況與真實的樣本數據分布情況有所偏差。

解決辦法

對數據集多一次劃分，模擬真實數據集的情況。將數據集劃分為訓練集、驗證集、測試集。訓練集是用于模型訓練，驗證集用于模型調參，測試集用于衡量調參后模型的好壞。這里有個疑問，如果驗證集劃分的太小，那么驗證集對整體數據集的表現越弱，越具有偶然性，那么調參的結果可能對于整體數據集更差。這里可以引入交叉驗證的方法減少偶然性。

使用場景

網格搜索可以使用在機器學習算法調參中，而很少使用在深度神經網絡的調參中。因為網絡搜索其實并沒有什么特別的優化方法，就是簡單的窮舉。這種方法不使用網格搜索手動去窮舉也是可以實現的，只不過網格搜索自動化一些，不需要手工的去一個一個嘗試參數。本質就是把所有參數的可能都運行了一遍，對于深度神經網絡來說，運行一遍需要很長時間，窮舉的去調參，效率太低，更何況隨著超參數數量的增加，超參組合呈幾何增長。而對于機器學習的算法來說，運行時間相對較短，甚至對于樸素貝葉斯這種算法不需要去多次迭代所有樣本，訓練時間很快，可以使用網格搜索來調參。

總結

以上是生活随笔為你收集整理的Grid Search 网格搜索 介绍「建议收藏」的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。