今天筆者來介紹一下和調(diào)參有關(guān)的一些事情，作為算法工程師，調(diào)參是不可避免的一個工作。在坊間算法工程師有時候也被稱為：調(diào)參俠。但是一個合格的算法工程師，調(diào)參這部分工作不能花費太多的氣力，因為還有很多艱深的問題等著你去克服，怎么能在調(diào)參這塊花大力氣呢。所以自動調(diào)參的學習是一項必須學會的技能。這里筆者就介紹一個調(diào)參神器——貝葉斯調(diào)參

貝葉斯調(diào)參簡介

說到自動調(diào)參大家首先會想到的就是網(wǎng)格搜索（網(wǎng)格搜索：“遍歷所以的參數(shù)組合,從而選出最優(yōu)的參數(shù)組合”)。筆者之前也經(jīng)常會用到這個方法，但是后來搜索空間變大之后，發(fā)現(xiàn)網(wǎng)格搜索的速度太慢，所以轉(zhuǎn)而投靠貝葉斯調(diào)參。接下來筆者簡要介紹一下貝葉斯調(diào)參相對于網(wǎng)格搜索的優(yōu)勢：

• 貝葉斯調(diào)參采用高斯過程，會考慮到之前的參數(shù)信息，不斷地更新先驗；網(wǎng)格搜索則不會考慮先驗信息。
• 貝葉斯調(diào)參迭代次數(shù)少，速度快；網(wǎng)格搜索會遍歷所有的可能的參數(shù)組合，所以速度慢,參數(shù)多時易導致維度爆炸
• 貝葉斯調(diào)參針對非凸問題依然穩(wěn)健；網(wǎng)格搜索針對非凸問題易得到局部最優(yōu)。

當然貝葉斯調(diào)參背后涉及的高斯過程等一些數(shù)學知識，這里筆者水平有限，之后理解后再和大家詳說，但是貝葉斯調(diào)參的思想就是:利用已有的先驗信息去找到使目標函數(shù)達到全局最大的參數(shù)。

筆者通過實戰(zhàn)也確實發(fā)現(xiàn)，貝葉斯調(diào)參確實能夠很快的幫助我們發(fā)現(xiàn)一組還不錯的參數(shù)。

實戰(zhàn)部分

數(shù)據(jù)準備，隨機產(chǎn)生一千個2分類的數(shù)據(jù)，每條數(shù)據(jù)的特征維度為10。

 

from sklearn.datasets import make_classifi

總結(jié)

以上是生活随笔為你收集整理的调参神器贝叶斯优化（bayesian-optimization）实战篇的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。