在學習AdaBoosting和online Boosting, 最好有bagging和boosting基礎(chǔ)，這樣看起來比較會比較順。有空再補上。

AdaBoost 算法的主要思想之一就是在訓練集上維護一套權(quán)重分布,初始化時 ,Adaboost 為訓練集的每個訓練例指定相同的權(quán)重 1/m。接著調(diào)用弱學習算法進行迭代學習。每次迭代后更新訓練集上不同樣本的權(quán)值,對訓練失敗的樣本賦以較大的權(quán)重,也就是讓學習算法在后續(xù)的學習過程中集中對比較難的訓練例進行學習

首先給定一個弱學習算法和訓練集 ( x1 , y1 ), ( x2 , y2 ),..., ( xN , y N ) ,xi ∈ X , 表示某個X實例空間; yi ∈ Y = {1, ?1} ,Y 表示一個帶類別標志的集合。在每一步的迭代中,弱學
弱假設(shè) ht 的性能由習算法根據(jù)訓練樣本的分布及權(quán)重 Dt 產(chǎn)生一個弱假設(shè) ht :X→{1,-1}。
它的誤差 ε m來衡量:

誤差 ε m 的大小與訓練弱學習算法所依賴的樣本分布 Dt 相關(guān),可以理解為對于權(quán)值較大
的樣本錯分會導致較大的誤差增量。這樣設(shè)計誤差函數(shù)的目的正如前文所描述的,在
于使學習算法在后續(xù)的學習過程中集中對比較難的訓練例進行學習。AdaBoost 算法根
據(jù)每次迭代后得到的預測結(jié)果,為每個弱分類器根據(jù)預測的結(jié)果賦予一個權(quán)值,最終
的預測結(jié)果由每個弱分類器通過帶權(quán)重的投票方式產(chǎn)生。

?

online Adaboost

和online算法對應是offline算法（在線學習算法和離線學習算法），以前我學的大多數(shù)都是offline算法，例如，svm，神經(jīng)網(wǎng)絡(luò)等算法

offline算法最明顯的特征是：首先訓練模型，模型訓練完就預測，預測得到一個結(jié)果，沒有考慮到預測的樣本對模型的影響。

而online算法：首先也要訓練一個簡單的模型，其主要在預測的過程中學習，由于預測的樣本沒有保存在內(nèi)存中，只有一次的學習機會。

online adaboost, 這篇文章發(fā)表于CVPR2006引用率蠻高，在tracking方面特別牛逼。

下面來介紹一下這篇文章的主要思想，這篇文章最好最好要有online boosting基礎(chǔ)。也和online boosting差不多。先看算法的流程。

?

首先介紹一下選擇選擇器（selectors）和分類器(classifier).

在算法的開始，每個選擇器里面都有m個弱分類器，算法的目的就是每個選擇器在m個分類器中找出最優(yōu)的一個分類器。然后再把n個選擇器組合起來。這種思想確實和adbooost一樣。m個弱分類器可以自己建立，也可以在每一維上建立分類器。

λ的作用是樣本在每個分類上的權(quán)重。當?shù)谝粋€選擇器分類正確是，λ的值就回減少，否則就增加，這也和adboost有點像。

αn表示每個選擇器的權(quán)重，是按選擇器錯誤率來定權(quán)的，這也和adboost有點像。所以online adoosting就是offline adboosting算法的山寨版。

?

這幾年的cvpr上的幾篇做tracking的文章以這個idea為基礎(chǔ)。tracking的方法是用最近比較流行的tracking-by-detection的方法。簡答的說就是在tracking的時候，observation model這一塊是用一個在線訓練的分類器。tracking的過程如下圖所示（圖中還有一步是用跟蹤的結(jié)果作為訓練器的新的輸入）：

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/realkate1/p/5154790.html

總結(jié)

以上是生活随笔為你收集整理的AdaBoosting 3的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。