LVW特征选择算法简单介绍
LVW(Las Vegas Wrapper)是一種典型的包裹式特征選擇方法,它在拉斯維加斯方法框架下使用隨機策略來進行子集搜索,并以最終分類器的誤差為特征子集評價準則。
與過濾式特征選擇不考慮后續(xù)學(xué)習(xí)器不同,包裹式特征選擇直接把最終要使用的學(xué)習(xí)器的性能作為特征子集的評價準則,換言之,包裹式特征選擇的目的就是為了給定學(xué)習(xí)器選擇最有利于其性能,量身定做的特征子集。
算法描述:
?
紅色箭頭:交叉驗證學(xué)習(xí)器之間的誤差。
紅色框框:判斷條件,是不是該保留這個子集。
LVW 基于拉斯維加斯方法的框架,假設(shè)數(shù)據(jù)集為?D,特征集為?A,則 LVW 每次從特征集?A?中隨機產(chǎn)生一個特征子集?A′,然后使用交叉驗證的方法(偽代碼的第 8 步),在這里也就確定了學(xué)習(xí)器,估計學(xué)習(xí)器在特征子集?A′?上的誤差,若該誤差小于之前獲得的最小誤差,或者與之前的最小誤差相當?shù)?A′中包含的特征數(shù)更少,則將?A′保留下來。
由于 LVW 算法每次評價子集?A′時,都需要重新訓(xùn)練學(xué)習(xí)器,計算開銷很大,因此設(shè)置了參數(shù)?T?來控制停止條件。但當特征數(shù)很多(即?|A|很大)并且?T設(shè)置得很大時,可能算法運行很長時間都不能停止。
【參考文獻】?
《機器學(xué)習(xí)》周志華著.–北京:清華大學(xué)出版社
??
總結(jié)
以上是生活随笔為你收集整理的LVW特征选择算法简单介绍的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: GZIP pre-compression
- 下一篇: 洛谷——P1033 自由落体