在進(jìn)入detectMultiScal函數(shù)之前，首先需要對CascadeClassifier做初始化。

1.???? 初始化——read函數(shù)

CascadeClassifier的初始化很簡單：

cv::CascadeClassifier classifier;

classifier.load(“cascade.xml”); //這里的xml是訓(xùn)練得到的分類器xml

?

CascadeClassifier類中既有l(wèi)oad也有read函數(shù)，二者是相同的，load將引用read函數(shù)。

1.1?? xml的結(jié)構(gòu)

訓(xùn)練得到的分類器以xml形式保存，整體上它包括stageType、featureType、height、width、stageParams、featureParams、stages、features幾個(gè)節(jié)點(diǎn)。

圖1. 分類器的Xml文件整體結(jié)構(gòu)

除stages和features外，其他主要是一些分類器的參數(shù)。

Stages中包含15個(gè)stage（訓(xùn)練程序設(shè)定），每個(gè)stage中包含多個(gè)weakClassifiers，而每個(gè)weakClassifier中又包含一個(gè)internalNodes和一個(gè)leafValues。internalNodes中四個(gè)變量代表一個(gè)node，分別為node中的left/right標(biāo)記、特征池中的ID和threshold。leafValues中兩個(gè)變量代表一個(gè)node，分別為left leaf的值和right leaf的值。

圖2. 分類器的Xml文件具體結(jié)構(gòu)

而features是分類器的特征池，每個(gè)特征包含一個(gè)矩形和要提取的特征序號（0~35）。

圖3. features的具體結(jié)構(gòu)

1.2?? read的過程

下面是read代碼，主要包括從xml中獲取兩部分內(nèi)容：data和featureEvaluator的讀取。

bool?CascadeClassifier::read(constFileNode&root)

{

????if( !data.read(root) )//data成員變量的讀取

????????return?false;

?

????// load features---特征的讀取

????featureEvaluator=?FeatureEvaluator::create(data.featureType);

????FileNodefn?=root[CC_FEATURES];

????if(?fn.empty() )

????????return?false;

?

????return?featureEvaluator->read(fn);

}

1.2.1?????????data成員變量的讀取

data的讀取中同樣可以分為兩部分：分類器參數(shù)讀取和stage分類樹的建立。

首先是參數(shù)部分的獲取。

static?constfloatTHRESHOLD_EPS= 1e-5f;

?

// load stage params

// stageType為BOOST類型

????string?stageTypeStr?= (string)root[CC_STAGE_TYPE];

????if(?stageTypeStr?==?CC_BOOST)

????????stageType=?BOOST;

????else

????????return?false;

????//?這里以HOG特征分類器為例，featureType=2（HOG）

????string?featureTypeStr?= (string)root[CC_FEATURE_TYPE];

????if(?featureTypeStr?==?CC_HAAR)

????????featureType=?FeatureEvaluator::HAAR;

????else?if(?featureTypeStr==?CC_LBP?)

????????featureType=?FeatureEvaluator::LBP;

????else?if(?featureTypeStr==?CC_HOG?)

????????featureType=?FeatureEvaluator::HOG;

?

????else

????????return?false;

????//檢測窗口的最小size，也就是正樣本的size

????origWinSize.width?= (int)root[CC_WIDTH];

????origWinSize.height?= (int)root[CC_HEIGHT];

????CV_Assert(origWinSize.height> 0 &&origWinSize.width?> 0 );

????//我訓(xùn)練得到的HOG分類器為true，還不清楚這里的意思

????isStumpBased= (int)(root[CC_STAGE_PARAMS][CC_MAX_DEPTH])== 1 ?true?:?false;

?

// load feature params

//?載入特征參數(shù)，HOG分類器下包括兩個(gè)參數(shù)：maxCatCount和featSize，featSize很透明，就是特征的種類數(shù)，這里為36，是指每個(gè)block中4個(gè)cell、每個(gè)cell9個(gè)梯度方向的直方圖。例如特征號為3時(shí)，計(jì)算的是當(dāng)前窗口中劃分為4個(gè)cell后第一個(gè)cell中所有點(diǎn)在120°方向（可能是，這要視起始角度而定）上分量的和，然后經(jīng)過歸一化后的值。對于第二個(gè)參數(shù)maxCatCount，這里為0，尚不清楚（這是指代表一個(gè)弱分類器的樹的類別數(shù)量，用來計(jì)算一棵樹的節(jié)點(diǎn)大小也就是nodeStep）

? ??FileNode?fn?=?root[CC_FEATURE_PARAMS];

????if(?fn.empty() )

????????return?false;

?

????ncategories=?fn[CC_MAX_CAT_COUNT];

????int?subsetSize?= (ncategories+ 31)/32,

???????nodeStep?= 3 + (?ncategories>0 ??subsetSize: 1 );

至此分類器參數(shù)讀取完畢。

?

接下來是建立分類樹，也就是stage部分的載入。

// load stages

????fn?=?root[CC_STAGES];

????if(?fn.empty() )

????????return?false;

?

????stages.reserve(fn.size());//stages包含15個(gè)節(jié)點(diǎn)，fn.size()==15

????classifiers.clear();

????nodes.clear();

?

????FileNodeIteratorit?=fn.begin(),it_end=fn.end();

?

????for(?int?si?= 0;?it?!=?it_end;?si++, ++it?)//遍歷stages

??? {

????????FileNodefns?= *it;

????????Stagestage;//stage結(jié)構(gòu)中包含threshold、ntrees和first三個(gè)變量

????????stage.threshold?= (float)fns[CC_STAGE_THRESHOLD]-THRESHOLD_EPS;

????????fns=?fns[CC_WEAK_CLASSIFIERS];

????????if(fns.empty())

????????????returnfalse;

????????stage.ntrees?= (int)fns.size();

????????stage.first?= (int)classifiers.size();//ntrees和first指出該stage中包含的樹的數(shù)目和起始位置

????????stages.push_back(stage);//stage被保存在stage的vector（也就是stages）中

????????classifiers.reserve(stages[si].first?+stages[si].ntrees);//相應(yīng)地?cái)U(kuò)展classifiers的空間，它存儲的是這些stage中的weak classifiers，也就是weak trees

?

????????FileNodeIteratorit1?=fns.begin(),it1_end=fns.end();//遍歷weak classifier

????????for( ;?it1?!=?it1_end;++it1?)// weaktrees

??????? {

????????????FileNodefnw?= *it1;

????????????FileNodeinternalNodes?=fnw[CC_INTERNAL_NODES];

????????????FileNodeleafValues?=fnw[CC_LEAF_VALUES];

????????????if(internalNodes.empty()||leafValues.empty())

????????????????returnfalse;

?

????????????DTreetree;

????????????tree.nodeCount?= (int)internalNodes.size()/nodeStep;

????????????classifiers.push_back(tree);//一個(gè)弱分類器或者說一個(gè)weak tree中只包含一個(gè)int變量，用它在classifiers中的位置和自身來指出它所包含的node個(gè)數(shù)

?

????????????nodes.reserve(nodes.size() +tree.nodeCount);

????????????leaves.reserve(leaves.size() +leafValues.size());//擴(kuò)展存儲node和leaves的vector結(jié)構(gòu)空間

????????????if(subsetSize?> 0 )

????????????????subsets.reserve(subsets.size() +tree.nodeCount*subsetSize);

?

????????????FileNodeIteratorinternalNodesIter?=internalNodes.begin(),internalNodesEnd=internalNodes.end();

//遍歷nodes

????????????for(;?internalNodesIter?!=?internalNodesEnd; )//nodes

??????????? {

????????????????DTreeNodenode;//一個(gè)node中包含left、right、threshold和featureIdx四個(gè)變量。其中left和right是其對應(yīng)的代號，left=0，right=-1；featureIdx指的是整個(gè)分類器中使用的特征池中某個(gè)特征的ID，比如共有108個(gè)特征，那么featureIdx就在0~107之間；threshold是node的。同時(shí)可以看到這里的HOG分類器中每個(gè)弱分類器僅包含一個(gè)node，也就是僅對某一個(gè)特征做判斷，而不是多個(gè)特征的集合

????????????????node.left?= (int)*internalNodesIter; ++internalNodesIter;

????????????????node.right?= (int)*internalNodesIter; ++internalNodesIter;

????????????????node.featureIdx?= (int)*internalNodesIter; ++internalNodesIter;

????????????????if(subsetSize?> 0 )

??????????????? {

????????????????????for(intj?= 0;j?<subsetSize;j++, ++internalNodesIter)

? ??????????????????????subsets.push_back((int)*internalNodesIter);

????????????????????node.threshold?= 0.f;

??????????????? }

????????????????else

??????????????? {

????????????????????node.threshold?= (float)*internalNodesIter; ++internalNodesIter;

??????????????? }

????????????????nodes.push_back(node);//得到的node將保存在它的vector結(jié)構(gòu)nodes中

??????????? }

?

????????????internalNodesIter=leafValues.begin(),internalNodesEnd?=leafValues.end();

?

????????????for(;?internalNodesIter?!=?internalNodesEnd; ++internalNodesIter)// leaves

????????????????leaves.push_back((float)*internalNodesIter);//leaves中保存相應(yīng)每個(gè)node的left leaf和right leaf的值，因?yàn)槊總€(gè)weak tree只有一個(gè)node也就分別只有一個(gè)left leaf和right leaf，這些將保存在leaves中

??????? }

??? }

通過stage樹的建立可以看出最終是獲取stages、classifiers、nodes和leaves四個(gè)vector變量。其中的nodes和leaves共同組成一系列有序節(jié)點(diǎn)，而classifiers中的變量則是在這些節(jié)點(diǎn)中查詢來構(gòu)成一個(gè)由弱分類器組，它僅僅是把這些弱分類器組合在一起，最后stages中每一個(gè)stage也就是一個(gè)強(qiáng)分類器，它在classifiers中查詢得到自己所屬的弱分類器都有哪些，從而構(gòu)成一個(gè)強(qiáng)分類器的基礎(chǔ)。

1.2.2?????????featureEvaluator的讀取

完成data部分的載入后，接下來就是特征計(jì)算器（featureEvaluator）的載入了。上面每一個(gè)node中都會計(jì)算特征池中的某一個(gè)特征，這個(gè)特征以featureIdx出現(xiàn)在node中。現(xiàn)在來看看這些featureIdx背后的內(nèi)容。

首先要?jiǎng)?chuàng)建某種特征類型的特征計(jì)算器，這里支持的是Haar、LBP和HOG三種。

featureEvaluator =FeatureEvaluator::create(data.featureType);

create中生成一個(gè)HaarEvaluator/LBPEvaluator/HOGEvaluator對象并返回指針而已。那HOGEvaluators中包含什么內(nèi)容呢？

這里暫不提其他成員，先介紹一個(gè)vector<Feature>的指針 features，也就是存儲了一系列Feature對象：

struct?Feature

??? {

????????Feature();

????????float?calc(?int?offset?)const;

????????void?updatePtrs(?const?vector<Mat>&_hist,constMat?&_normSum);

????????bool?read(?const?FileNode&node);?

?

????????enum?{?CELL_NUM?= 4,?BIN_NUM= 9 };

?

????????Rectrect[CELL_NUM];

????????int?featComponent;?//componentindex from 0 to 35

????????const?float*?pF[4];?//for feature calculation

????????const?float*?pN[4];?//for normalization calculation

};

這里的vector<Feature>將是計(jì)算特征的核心，并且featureEvaluator的讀入部分主要就是對這個(gè)vector變量的內(nèi)容作初始化，因此在此展示一下。

?

?featureEvaluator創(chuàng)建之后在xml中的features節(jié)點(diǎn)下開始讀入。

bool?HOGEvaluator::read(?const?FileNode&?node)

{

????features->resize(node.size());//node.size()為整個(gè)分類器中使用到的特征數(shù)量，以我訓(xùn)練的HOG分類器為例包含108個(gè)特征

????featuresPtr= &(*features)[0];

????FileNodeIteratorit?=node.begin(),it_end=node.end();

????for(inti?= 0;it?!=it_end;++it,i++)

??? {

????????if(!featuresPtr[i].read(*it))//遍歷所有features并讀入到featureEvaluator的features中

????????????returnfalse;

??? }

????return?true;

}

Feature的讀入程序：

bool?HOGEvaluator::Feature?::?read(const?FileNode&node?)

{

????FileNodernode?=node[CC_RECT];//rect節(jié)點(diǎn)下包括一個(gè)矩形和一個(gè)特征類型號featComponent

????FileNodeIteratorit?=rnode.begin();

????it>>?rect[0].x>>?rect[0].y>>?rect[0].width>>?rect[0].height>>?featComponent;//featComponent范圍在[0,35]，36類特征中的一個(gè)

????rect[1].x?=rect[0].x?+rect[0].width;

????rect[1].y?=rect[0].y;

????rect[2].x?=rect[0].x;

????rect[2].y?=rect[0].y?+rect[0].height;

????rect[3].x?=rect[0].x?+rect[0].width;

????rect[3].y?=rect[0].y?+rect[0].height;

????rect[1].width?=rect[2].width?=rect[3].width?=rect[0].width;

rect[1].height=rect[2].height=rect[3].height=rect[0].height;

//xml中的rect存儲的矩形信息與4個(gè)矩形之間的關(guān)系如下圖4所示

?

????return?true;

}

圖4. Rect數(shù)組與xml中矩形的關(guān)系

這樣經(jīng)過特征讀取這一步后，獲得了一個(gè)特征池，池中每一個(gè)特征表示在圖中某個(gè)矩形位置提取ID為0到35的某個(gè)特征量。

?

1.3?? read的結(jié)果

read的結(jié)果一是初始化了分類器的特征類型、最小檢測窗口size等參數(shù)；二是建立級聯(lián)的分類器樹；三是提取了xml中的特征池。

2.???? detectMultiscale函數(shù)

在load分類器之后，可以調(diào)用該函數(shù)對一幅圖像做多尺度檢測。

2.1?? 函數(shù)自身

//輸入?yún)?shù)：image—Mat類型的圖像

???????????objects—檢測得到的矩形

???????????rejectLevels—如果不符合特征的矩形，返回級聯(lián)分類器中符合的強(qiáng)分類器數(shù)

???????????levelWeights—

??????????scaleFactor—圖像縮放因子

???????????minNeighbors—

??????????flags—

???????? ??minObjectSize—最小檢測窗口大小

???????????maxObjectSize—最大檢測窗口大小

???????????outputRejectLevels—是否輸出rejectLevels和levelWeights，默認(rèn)為false

voidCascadeClassifier::detectMultiScale(constMat&image,vector<Rect>&objects,vector<int>&rejectLevels,vector<double>&levelWeights,doublescaleFactor,intminNeighbors,intflags,SizeminObjectSize,SizemaxObjectSize,booloutputRejectLevels)

{

????const?double?GROUP_EPS?=0.2;

?

????CV_Assert(scaleFactor?> 1 &&image.depth()==CV_8U?);//256灰度級且當(dāng)前縮放因子大于1

?

????if(?empty() )//沒有載入

????????return;

?

????if(?isOldFormatCascade() )//這里是指haarTraining得到的分類器或者老版本的OpenCV，我不確定，但是這里可以跳過，因?yàn)橛?xùn)練與檢測所使用的OpenCV版本是一致的

??? {

????????MemStoragestorage(cvCreateMemStorage(0));

????????CvMat_image?=image;

????????CvSeq*_objects?=cvHaarDetectObjectsForROC(&_image,oldCascade,storage,rejectLevels,levelWeights,scaleFactor,

??????????????????????????????????????????????minNeighbors,?flags,minObjectSize,maxObjectSize,outputRejectLevels?);

????????vector<CvAvgComp>vecAvgComp;

????????Seq<CvAvgComp>(_objects).copyTo(vecAvgComp);

????????objects.resize(vecAvgComp.size());

????????std::transform(vecAvgComp.begin(),vecAvgComp.end(),objects.begin(),getRect());

????????return;

??? }

?

????objects.clear();

//mask的應(yīng)用尚不清楚

????if?(!maskGenerator.empty()){

????????maskGenerator->initializeMask(image);

??? }

?

?

????if(?maxObjectSize.height== 0 ||?maxObjectSize.width?== 0 )//很明顯不能為0

????????maxObjectSize=?image.size();//默認(rèn)最大檢測size為圖像size

?

????Mat?grayImage?=?image;

????if(?grayImage.channels()> 1 )//如果是三通道轉(zhuǎn)換為灰度圖

??? {

????????Mat?temp;

????????cvtColor(grayImage,temp,CV_BGR2GRAY);

????????grayImage=?temp;

??? }

?

????Mat?imageBuffer(image.rows?+ 1,image.cols?+ 1,CV_8U);

????vector<Rect>candidates;//每個(gè)尺度下的圖像的檢測結(jié)果裝在該vector中

?

????for(?double?factor?= 1;;?factor?*=?scaleFactor)//對每個(gè)尺度下圖像檢測

??? {

????????SizeoriginalWindowSize?=getOriginalWindowSize();//最小檢測窗口size

?

????????SizewindowSize(cvRound(originalWindowSize.width*factor),cvRound(originalWindowSize.height*factor) );//當(dāng)前檢測窗口size

????????SizescaledImageSize(cvRound(grayImage.cols/factor?),cvRound(grayImage.rows/factor?) );//縮放后圖像size

????????SizeprocessingRectSize(scaledImageSize.width?-originalWindowSize.width?+ 1,scaledImageSize.height?-originalWindowSize.height?+ 1 );//滑動窗口在寬和高上的滑動距離

?

????????if(?processingRectSize.width<= 0 ||?processingRectSize.height?<= 0 )

????????????break;

????????if(?windowSize.width>?maxObjectSize.width||?windowSize.height>?maxObjectSize.height)

????????????break;

????????if(?windowSize.width<?minObjectSize.width||?windowSize.height<?minObjectSize.height)

????????????continue;

?

????????Mat?scaledImage(?scaledImageSize,CV_8U,imageBuffer.data?);

????????resize(grayImage,scaledImage,scaledImageSize, 0, 0,CV_INTER_LINEAR?);//將灰度圖resize到scaledImage中，size為當(dāng)前尺度下的縮放圖像

?

????????int?yStep;//滑動窗口的滑動步長,x和y方向上相同

????????if(?getFeatureType() ==?cv::FeatureEvaluator::HOG)

??????? {

????????????yStep= 4;

??????? }

????????else

??????? {

????????????yStep=?factor?> 2. ? 1 : 2;//當(dāng)縮放比例比較大時(shí)，滑動步長減小

??????? }

?

????????int?stripCount,?stripSize;

?

????#ifdef?HAVE_TBB

??????? const intPTS_PER_THREAD = 1000;

??????? stripCount =((processingRectSize.width/yStep)*(processingRectSize.height + yStep-1)/yStep +PTS_PER_THREAD/2)/PTS_PER_THREAD;

??????? stripCount =std::min(std::max(stripCount, 1), 100);

??????? stripSize =(((processingRectSize.height + stripCount - 1)/stripCount +yStep-1)/yStep)*yStep;

????#else

????????stripCount= 1;

????????stripSize=?processingRectSize.height;//y方向上的滑動距離

????#endif

?

????????if( !detectSingleScale(scaledImage,stripCount,processingRectSize,stripSize,yStep,factor,candidates,

????????????rejectLevels,levelWeights,outputRejectLevels) )//對單尺度圖像做檢測

????????????break;

??? }

?

?

????objects.resize(candidates.size());

????std::copy(candidates.begin(),candidates.end(),objects.begin());//將每個(gè)尺度下的檢測結(jié)果copy到輸出vector中

?

????if(?outputRejectLevels?)//默認(rèn)為false，不輸出rejectLevels

??? {

????????groupRectangles(objects,rejectLevels,levelWeights,minNeighbors,GROUP_EPS?);

??? }

????else

??? {

????????groupRectangles(objects,minNeighbors,GROUP_EPS?);//尚未去看

??? }

}

?

可以看到detectMultiscale只是對detectSingleScale做了一次多尺度的封裝。在單一尺度的圖像中detectSingleScale是如何檢測的呢？

2.2??detectSingleScale函數(shù)

//函數(shù)參數(shù)設(shè)置可以參見detectMultiScale函數(shù)

boolCascadeClassifier::detectSingleScale(constMat&image,intstripCount,SizeprocessingRectSize,intstripSize,intyStep,doublefactor,vector<Rect>&candidates,vector<int>&levels,vector<double>&weights,booloutputRejectLevels)

{

????if( !featureEvaluator->setImage(image,data.origWinSize?) )//setImage函數(shù)為特征計(jì)算做準(zhǔn)備，

????????return?false;

?

????Mat?currentMask;

????if?(!maskGenerator.empty()){

????????currentMask=maskGenerator->generateMask(image);

??? }//仍然不解mask的應(yīng)用，好像沒用到？

?

????ConcurrentRectVectorconcurrentCandidates;//在每個(gè)平行粒子中訪問的檢測輸出空間

????vector<int>rejectLevels;

????vector<double>levelWeights;

????if(?outputRejectLevels?)//這里選擇的默認(rèn)false，不返回

??? {

????????parallel_for(BlockedRange(0,stripCount),CascadeClassifierInvoker(*this,processingRectSize,stripSize,yStep,factor,

????????????concurrentCandidates,rejectLevels,levelWeights,true,currentMask));

????????levels.insert(levels.end(),rejectLevels.begin(),rejectLevels.end() );

????????weights.insert(weights.end(),levelWeights.begin(),levelWeights.end() );

??? }

????else

??? {

????????parallel_for(BlockedRange(0,stripCount),CascadeClassifierInvoker(*this,processingRectSize,stripSize,yStep,factor,concurrentCandidates,rejectLevels,levelWeights,false,currentMask));//這里是檢測過程中的關(guān)鍵，使用parallel_for是為了TBB加速中使用，生成stripCount個(gè)平行線程（每個(gè)線程生成一個(gè)CascadeClassifierInvoker），在每個(gè)CascadeClassifierInvoker中對當(dāng)前圖像做一次檢測，這是TBB利用多線程做的加速計(jì)算

??? }

????candidates.insert(candidates.end(),concurrentCandidates.begin(),concurrentCandidates.end() );//將檢測結(jié)果加入到輸出中

?

????return?true;

}

2.2.1?????????featureEvaluators的setImage函數(shù)

?? 此處仍以HOG為例，其他兩個(gè)特征的計(jì)算可能與之有所不同。

bool?HOGEvaluator::setImage(?const?Mat&?image,Size?winSize)

{

????int?rows?=?image.rows?+ 1;

????int?cols?=?image.cols?+ 1;

????origWinSize=?winSize;//最小檢測窗口size

????if(?image.cols?<origWinSize.width||image.rows<origWinSize.height)

????????return?false;

????hist.clear();//hist為存儲Mat類型的vector

????for(?int?bin?= 0;?bin?<?Feature::BIN_NUM;bin++)//BIN_NUM=9，梯度方向分為9個(gè)，所以統(tǒng)計(jì)得到的Mat個(gè)數(shù)應(yīng)當(dāng)為9個(gè)

??? {

????????hist.push_back(Mat(rows,cols,CV_32FC1) );

??? }

????normSum.create(rows,cols,CV_32FC1);//歸一化的norm存儲空間

?

????integralHistogram(image,hist,normSum,Feature::BIN_NUM?);//計(jì)算歸一化后的直方圖

?

????size_t?featIdx,?featCount=?features->size();

//遍歷更新特征池中每個(gè)特征的HOG特征計(jì)算所需要的矩形四個(gè)頂點(diǎn)上對應(yīng)積分圖的指針

????for(?featIdx?= 0;?featIdx<?featCount;?featIdx++)

??? {

????????featuresPtr[featIdx].updatePtrs(hist,normSum);

??? }

????return?true;

}

這里的updatePtrs函數(shù)是要根據(jù)梯度直方圖和歸一圖來更新每個(gè)Feature中保存的四個(gè)指針，例如某Feature在xml中的形式為0 0 8 8 13，那么它所在的矩形就是cvRect（0,0,16,16），同時(shí)featComponent=13，binIdx=featComponent%9=4，cellIdx=featComponent/9=1.那么這個(gè)特征就是要計(jì)算矩形（8,0,8,8）中梯度方向160°方向上的分量總和。要計(jì)算這個(gè)特征我們只需要在hist中的第4個(gè)Mat中查找出矩形四個(gè)頂點(diǎn)上的值就可以了。而Feature中的四個(gè)float型指針正是指向hist中這四個(gè)值的指針。UpdatePtrs的作用就是要更新這四個(gè)指針。具體程序如下：

inline?voidHOGEvaluator::Feature?::updatePtrs(constvector<Mat> &_hist,constMat&_normSum?)

{

????int?binIdx?=?featComponent%?BIN_NUM;//計(jì)算要更新的角度

????int?cellIdx?=?featComponent/?BIN_NUM;//計(jì)算要更新的cell是哪一個(gè)

????Rect?normRect?=?Rect(rect[0].x,rect[0].y,2*rect[0].width,2*rect[0].height);

?

????const?float*?featBuf?= (constfloat*)_hist[binIdx].data;

????size_t?featStep?=?_hist[0].step?/sizeof(featBuf[0]);

?

????const?float*?normBuf?= (constfloat*)_normSum.data;

????size_t?normStep?=?_normSum.step?/sizeof(normBuf[0]);

?

????CV_SUM_PTRS(pF[0],pF[1],pF[2],pF[3],featBuf,rect[cellIdx],featStep);//更新四個(gè)直方積分圖中的指針

????CV_SUM_PTRS(pN[0],pN[1],pN[2],pN[3],normBuf,normRect,normStep?);//更新四個(gè)歸一圖中的指針

}

2.2.2?????????CascadeClassifierInvoker類的實(shí)例化

每個(gè)線程中會生成該類的一個(gè)對象，但是這里沒有做TBB加速，因而是單線程。該對象的operator中對當(dāng)前縮放尺度下的圖像以滑窗形式掃描，在每個(gè)點(diǎn)上做分類器級聯(lián)檢測；如果有TBB加速，每個(gè)對象僅檢測一行，通過多行一起掃描來加速。

void?operator()(constBlockedRange&range)const

??? {

????????Ptr<FeatureEvaluator>evaluator=classifier->featureEvaluator->clone();//復(fù)制featureEvaluator的指針

?

????????SizewinSize(cvRound(classifier->data.origWinSize.width*scalingFactor),cvRound(classifier->data.origWinSize.height*scalingFactor));//當(dāng)前檢測窗口的size，其實(shí)這里是通過縮放圖像來做的，而不是窗口大小的改變

?

????????int?y1?=?range.begin() *stripSize;//range的變化范圍為[0,1)

????????int?y2?=?min(range.end() *stripSize,processingRectSize.height);//y方向上的行數(shù)不可能超過滑動距離

????????for(?int?y?=?y1;y?<y2;y?+=yStep?)//遍歷所有行

??????? {

????????????for(intx?= 0;x?<processingRectSize.width;x?+=yStep?)//遍歷一行

??????????? {

//依然是尚未搞懂的mask

????????????????if( (!mask.empty())&& (mask.at<uchar>(Point(x,y))==0)) {

????????????????????continue;

??????????????? }

?

????????????????doublegypWeight;

????????????????intresult?=classifier->runAt(evaluator,Point(x,y),gypWeight);//在當(dāng)前點(diǎn)提取每個(gè)stage中的特征并檢驗(yàn)是否滿足分類器，result是通過的stage個(gè)數(shù)的相反數(shù)，如果全部通過則為1

????????????????if(rejectLevels?)//默認(rèn)為false

??????????????? {

????????????????????if(result?== 1 )

????????????????????????result?=? -(int)classifier->data.stages.size();

????????????????????if(classifier->data.stages.size() +result?< 4 )

??????????????????? {

????????????????????????rectangles->push_back(Rect(cvRound(x*scalingFactor),cvRound(y*scalingFactor),winSize.width,winSize.height));

????????????????????????rejectLevels->push_back(-result);

????????????????????????levelWeights->push_back(gypWeight);

??????????????????? }

??????????????? }

????????????????elseif(result> 0 )

????????????????????rectangles->push_back(Rect(cvRound(x*scalingFactor),cvRound(y*scalingFactor),winSize.width,winSize.height));

????????????????if(result?== 0 )//保存當(dāng)前的窗口

????????????????????x+=?yStep;

??????????? }

??????? ??}

? }

這個(gè)程序中唯一需要解釋的是CascadeClassifier::runAt函數(shù)。對于isStumpBased=true的HOG分類器，返回的結(jié)果是predictOrderedStump<HOGEvaluator>(*this, evaluator, weight )this指針是當(dāng)前CascadeClassifier的指針，evaluator是featureEvaluator的指針，weight為double類型。predictOrderedStump函數(shù)如下：

?

template<classFEval>

inline?intpredictOrderedStump(CascadeClassifier&cascade,Ptr<FeatureEvaluator> &_featureEvaluator,double&sum)

{

????int?nodeOfs?= 0,?leafOfs= 0;//node和leaf的整體序號

????FEval&featureEvaluator?= (FEval&)*_featureEvaluator;

????float*?cascadeLeaves?= &cascade.data.leaves[0];//定義指向leaves首地址的指針

????CascadeClassifier::Data::DTreeNode*cascadeNodes?= &cascade.data.nodes[0];//定義指向nodes首地址的指針

????CascadeClassifier::Data::Stage*cascadeStages?= &cascade.data.stages[0];//定義指向stages首地址的指針

?

????int?nstages?= (int)cascade.data.stages.size();

????for(?int?stageIdx?= 0;?stageIdx?<?nstages;stageIdx++ )

??? {

????????CascadeClassifier::Data::Stage&stage?=cascadeStages[stageIdx];//遍歷每個(gè)stage

????????sum= 0.0;//該stage中的葉節(jié)點(diǎn)的和

?

????????int?ntrees?=?stage.ntrees;

????????for(?int?i?= 0;?i?<?ntrees;?i++,?nodeOfs++,leafOfs+= 2 )

??????? {

????????????CascadeClassifier::Data::DTreeNode&node?=cascadeNodes[nodeOfs];//獲取當(dāng)前stage的各個(gè)node

????????????doublevalue?=featureEvaluator(node.featureIdx);//這里node的featureIdx指出要計(jì)算的是哪一個(gè)特征，也就是xml中的哪一個(gè)rect，在生成一個(gè)HOGEvaluator時(shí)就會在operator中根據(jù)傳入的featureIdx計(jì)算特征值，引用到HOGEvaluator中的calc函數(shù)

????????????sum+=?cascadeLeaves[?value<?node.threshold??leafOfs?:?leafOfs+ 1 ];//根據(jù)node中的threshold得到左葉子或者右葉子的值，加到該stage中的總和

??????? }

?

????????if(?sum?<?stage.threshold?)//如果總和大于stage的threshold則通過，小于則退出，并返回當(dāng)前stage的相反數(shù)

????????????return-stageIdx;

??? }

????return?1;

}

Feature中的calc很簡單，因?yàn)榍懊嬉呀?jīng)更新了四個(gè)對應(yīng)于矩形頂點(diǎn)處積分圖的指針已經(jīng)被更新，歸一圖中的指針也已經(jīng)被更新。

這里表達(dá)的計(jì)算如下圖所示：

圖5. 積分圖計(jì)算示意

要計(jì)算D中的值，在積分圖中四個(gè)頂點(diǎn)的指針?biāo)赶虻膬?nèi)容分別為A，A+B，A+C和A+B+C+D。因此中間兩項(xiàng)與其余兩項(xiàng)的差就是要求的D區(qū)域了。其中的offset變量是根據(jù)滑動窗口的位置確定的，代表上圖中D矩形的左上頂點(diǎn)在全圖中的位置。程序如下：

首先由如下定義

#define?CALC_SUM_(p0,p1,p2,p3,offset)

??? ((p0)[offset] - (p1)[offset] - (p2)[offset] + (p3)[offset])??

???

#define?CALC_SUM(rect,offset)CALC_SUM_((rect)[0], (rect)[1],(rect)[2], (rect)[3],offset)

然后是Feature中的calc函數(shù)

inline?floatHOGEvaluator::Feature?::calc(intoffset?)const

{

????float?res?=?CALC_SUM(pF,offset);

????float?normFactor?=?CALC_SUM(pN,offset);

????res?= (res?> 0.001f) ? (res/ (normFactor?+ 0.001f) ) : 0.f;

????return?res;

}

總結(jié)

以上是生活随笔為你收集整理的分类器是如何做检测的？（1）——CascadeClassifier中的detectMultiScale函数解读的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。