1 背景

LBP(Local Binary Pattern，局部二值模式)是一種用來描述圖像局部紋理特征的算子，具有旋轉不變形和灰度值不變形等顯著優點。主要用于紋理特征提取，在人臉識別部分有較好的效果。

2???? LBP特征原理

2.1概述

從94年T. Ojala, M.Pietik?inen, 和D. Harwood提出至今，LBP大致經歷了三個版本。下面按照時間順序進行介紹。(下面的First-LBP、Second-LBP..均為自己定義，只是為寫技術文檔方便，LBP作者并未定義。)

2.2First-LBP原理

最初的LBP算子通過定義一個3x3的窗口，以窗口內中心點的像素值為標準，對比窗口內另8個點像素值的大小，大于為1，小于為0。8個點形成一個二進制數字(通常轉換為十進制表示)即為中心點的LBP特征值。詳細計算如下圖：

通過上面得到的LBP算子具有很多缺點，后研究人員在LBP基礎上進行不斷改進。

2.3 Second-LBP原理

原始LBP算子計算區域為像素點的周圍8個點，在圖像尺寸發生改變時會出現很大的偏差，不能正確反映像素點周圍的紋理信息。為適應不同尺寸紋理特征，LBP原作者將圓形鄰域代替正方形鄰域。同時增加了旋轉不變的特性，在對LBP特征值的存儲部分，也進行了改進。詳細如下文。

2.3.1圓形LBP算子

圓形LBP算子計算中，以像素點為圓心，R為半徑，提取半徑上P個采樣點，根據2.2中像素值比較方法，進行像素值大小的比較，得到該點的LBP特征值。其中提取采樣點的方法如下：

xt =xd + Rcos(2πp/P)

yt = yd? - Rsin(2πp/P)

(xt,yt)為某個采樣點，(xd,yd)為鄰域中心點，p為第P個采樣點，P為采樣點的個數。得到采樣點的坐標可能為小數，改進后的LBP采用雙線性插值法進行計算該點的像素值：

幾種不同半徑不同采樣點數量的LBP算子：

2.3.2旋轉不變LBP特征：

上面通過采取圓形鄰域的計算，一定程度上削弱了尺度改變的影響。研究人員在上面的基礎上進一步擴展，使具備旋轉不變的特征。

首先，在確定半徑大小和采樣點數目后，不斷旋轉圓形鄰域內采樣點的位置，得到一系列的LBP特征值，從這些LBP特征值中選擇最小的值作為LBP中心像素點的LBP特征值，具體如下圖：

通過不斷旋轉，取最小值，使具備旋轉不變特性。

2.3.3 Uniform Pattern LBP特征：

Uniform Pattern LBP特征也稱為等價模式或均勻模式。對LBP特征值的存儲方式上，進行了優化。詳細如下。

假設對于半徑為R的圓形鄰域內提取P個采樣點，會產生2p種二進制表達方法，隨著鄰域內采樣點數目的增加，二進制模式的種類以指數形式增加，不利于LBP特征值的存儲、提取、分類和識別。LBP原作者提出一種“等價模式”對LBP算子進行降維。詳細如下。

在實際圖像中，絕大多數LBP模式只包括從0到1或從0到1的轉變，LBP原作者將“等價模式”定義為當某個LBP特征值所對應的二進制數從0到1或從1到0的轉變最多有兩次時，該LBP所對應的二進制就稱為一個等價模式。如00000000(0次跳變)、00000011(1次跳變)、10001111

(2次跳變)均為等價模式類。除等價模式類外均歸為混合模式類。上述算法，使得模式數量由原來的2p種減少為P(P-1)+2+1種(P代表采樣點的數量)。

實例介紹：

如采樣點數為8，即256種LBP特征值，根據等價模式可分為59類：跳變0次——2個，跳變1次——0個，跳變2次——56個，跳變3….8次——1個。(跳變1次為0個是因為LBP作者把LBP二進制數字看做一個圓性的序列，故跳變1次為0個)

2.3.4 MB-LBP特征：

MB-LBP特征，全稱為Multiscale Block LBP,由中科院的研究人員研究發表，原理與HOG特征提取有相似之處，接掃MB-LBP僅用于了解，下面是原理介紹。

首先將圖像分為分為多個塊，再將每個小塊分成多個區域，每個區域的灰度值為該區域內灰度值的平均值。在一個塊內，將中心區域的灰度值大小與周圍區域的灰度值大小進行比較形成LBP特征值。如下圖：

作者對得到的MB-LBP特征值同樣進行均值編碼。首先，對得到的特征值采用直方圖進行表示，計算每一種特征值的數量，進行排序，將排序在前63為的特征值看作是等價模式類，其他的為混合模式類，共64類。

2.4???????? Third-LBP原理

LBP的最后一步改進為LBPH即LBP特征統計直方圖的使用，可用于機器學習特征的提取。這種表示方法由Ahonen等人提出，將LBP特征圖像分成m個局部塊，提取每個局部塊的直方圖，并依次連接在一起形成LBP特征的統計直方圖。具體過程如下：

(1)???????? 計算圖像中每一像素點的LBP特征值。

(2)???????? 圖像進行分成多塊。(Opencv中默認將LBP特征

圖像分為8行8列64塊區域。

(3)????? 計算每塊區域的LBP特征值的直方圖，并將直方圖進行歸一化。(橫坐標為LBP特征值的表示方式，縱坐標為數量)

(4) ??將上面計算的每塊區域特征圖像的直方圖按順序依次排列成一行，形成LBP特征向量。

(5) ??用機器學習方法對LBP特征向量進行訓練。

舉例說明LBPH的維度：

采樣點為8個，如果用的是原始的LBP或Extended LBP特征，其LBP特征值的模式為256種，則一幅圖像的LBP特征向量維度為：64*256=16384維， 而如果使用的UniformPatternLBP特征，其LBP值的模式為59種，其特征向量維度為：64*59=3776維，可以看出，使用等價模式特征，其特征向量的維度大大減少， 這意味著使用機器學習方法進行學習的時間將大大減少，而性能上沒有受到很大影響。

代碼環節：

目前，Opencv內，暫無LBP簡便的接口函數，如若使用，可觀看下面源代碼或使用下面代碼。

LBP在人臉識別部分的應用：

#include

#include

#include

#include

#include"opencv2/face.hpp"

using namespace std;

using namespace cv;

int main(int argc,char* argv[])

{

vector images;

vector labels;

char tdt[10];

for(int i=1;i<8;i++)

{

sprintf(tdt,"0%d.jpg",i);

Mat image = imread(tdt);

Mat grayImage;

cvtColor(image,grayImage,COLOR_BGR2GRAY);

images.push_back(grayImage);

labels.push_back(1);

}

for(int i=8;i<12;i++)

{

sprintf(tdt,"0%d.jpg",i);

Mat image = imread(tdt);

Mat grayImage;

cvtColor(image,grayImage,COLOR_BGR2GRAY);

images.push_back(grayImage);

labels.push_back(2);

}

Ptr<:face::facerecognizer> p ;

p->train(images,labels);

Mat test= imread("12.jpg");

Mat grayImage;

cvtColor(test,grayImage,COLOR_BGR2GRAY);

int result = p->predict(grayImage);

cout<

system("pause");

return 0;

}

原始LBP特征計算代碼：

template

voidgetOriginLBPFeature(InputArray _src,OutputArray _dst)

{

Mat src=_src.getMat();

_dst.create(src.rows-2,src.cols-2,CV_8UC1);

Mat dst=_dst.getMat();

dst.setTo(0);for(int i=1;i

{for(int j=1;j

{

_tp center= src.at<_tp>(i,j);

unsignedchar lbpCode = 0;

lbpCode|= (src.at<_tp>(i-1,j-1) > center) << 7;

lbpCode|= (src.at<_tp>(i-1,j ) > center) << 6;

lbpCode|= (src.at<_tp>(i-1,j+1) > center) << 5;

lbpCode|= (src.at<_tp>(i ,j+1) > center) << 4;

lbpCode|= (src.at<_tp>(i+1,j+1) > center) << 3;

lbpCode|= (src.at<_tp>(i+1,j ) > center) << 2;

lbpCode|= (src.at<_tp>(i+1,j-1) > center) << 1;

lbpCode|= (src.at<_tp>(i ,j-1) > center) << 0;

dst.at(i-1,j-1) =lbpCode;

}

}

}

圓形LBP特征計算：

template

void getCircularLBPFeature(InputArray _src,OutputArray _dst,int radius,intneighbors)

{

Mat src=_src.getMat();//LBP特征圖像的行數和列數的計算要準確

_dst.create(src.rows-2*radius,src.cols-2*radius,CV_8UC1);

Mat dst=_dst.getMat();

dst.setTo(0);//循環處理每個像素

for(int i=radius;i

{for(int j=radius;j

{//獲得中心像素點的灰度值

_tp center = src.at<_tp>(i,j);

unsignedchar lbpCode = 0;for(int k=0;k

{//根據公式計算第k個采樣點的坐標，這個地方可以優化，不必每次都進行計算radius*cos，radius*sin

float x = i + static_cast(radius * cos(2.0 * CV_PI * k /neighbors));float y = j - static_cast(radius * sin(2.0 * CV_PI * k /neighbors));//根據取整結果進行雙線性插值，得到第k個采樣點的灰度值//1.分別對x，y進行上下取整

int x1 = static_cast(floor(x));int x2 = static_cast(ceil(x));int y1 = static_cast(floor(y));int y2 = static_cast(ceil(y));//2.計算四個點(x1,y1),(x1,y2),(x2,y1),(x2,y2)的權重//下面的權重計算方式有個問題，如果四個點都相等，則權重全為0，計算出來的插值為0//float w1 = (x2-x)*(y2-y);//(x1,y1)//float w2 = (x2-x)*(y-y1);//(x1,y2)//float w3 = (x-x1)*(y2-y);//(x2,y1)//float w4 = (x-x1)*(y-y1);//(x2,y2)//將坐標映射到0-1之間

float tx = x -x1;float ty = y -y1;//根據0-1之間的x，y的權重計算公式計算權重

float w1 = (1-tx) * (1-ty);float w2 = tx * (1-ty);float w3 = (1-tx) *ty;float w4 = tx *ty;//3.根據雙線性插值公式計算第k個采樣點的灰度值

float neighbor = src.at<_tp>(x1,y1) * w1 + src.at<_tp>(x1,y2) *w2 + src.at<_tp>(x2,y1) * w3 +src.at<_tp>(x2,y2) *w4;//通過比較獲得LBP值，并按順序排列起來

lbpCode |= (neighbor>center) <

}

dst.at(i-radius,j-radius) =lbpCode;

}

}

}//圓形LBP特征計算，效率優化版本，聲明時默認neighbors=8

template

void getCircularLBPFeatureOptimization(InputArray _src,OutputArray _dst,int radius,intneighbors)

{

Mat src=_src.getMat();//LBP特征圖像的行數和列數的計算要準確

_dst.create(src.rows-2*radius,src.cols-2*radius,CV_8UC1);

Mat dst=_dst.getMat();

dst.setTo(0);for(int k=0;k

{//計算采樣點對于中心點坐標的偏移量rx，ry

float rx = static_cast(radius * cos(2.0 * CV_PI * k /neighbors));float ry = -static_cast(radius * sin(2.0 * CV_PI * k /neighbors));//為雙線性插值做準備//對采樣點偏移量分別進行上下取整

int x1 = static_cast(floor(rx));int x2 = static_cast(ceil(rx));int y1 = static_cast(floor(ry));int y2 = static_cast(ceil(ry));//將坐標偏移量映射到0-1之間

float tx = rx -x1;float ty = ry -y1;//根據0-1之間的x，y的權重計算公式計算權重，權重與坐標具體位置無關，與坐標間的差值有關

float w1 = (1-tx) * (1-ty);float w2 = tx * (1-ty);float w3 = (1-tx) *ty;float w4 = tx *ty;//循環處理每個像素

for(int i=radius;i

{for(int j=radius;j

{//獲得中心像素點的灰度值

_tp center = src.at<_tp>(i,j);//根據雙線性插值公式計算第k個采樣點的灰度值

float neighbor = src.at<_tp>(i+x1,j+y1) * w1 + src.at<_tp>(i+x1,j+y2) *w2 + src.at<_tp>(i+x2,j+y1) * w3 +src.at<_tp>(i+x2,j+y2) *w4;//LBP特征圖像的每個鄰居的LBP值累加，累加通過與操作完成，對應的LBP值通過移位取得

dst.at(i-radius,j-radius) |= (neighbor>center) <

}

}

}

}

旋轉不變圓形LBP特征計算：

template

void getRotationInvariantLBPFeature(InputArray _src,OutputArray _dst,int radius,intneighbors)

{

Mat src=_src.getMat();//LBP特征圖像的行數和列數的計算要準確

_dst.create(src.rows-2*radius,src.cols-2*radius,CV_8UC1);

Mat dst=_dst.getMat();

dst.setTo(0);for(int k=0;k

{//計算采樣點對于中心點坐標的偏移量rx，ry

float rx = static_cast(radius * cos(2.0 * CV_PI * k /neighbors));float ry = -static_cast(radius * sin(2.0 * CV_PI * k /neighbors));//為雙線性插值做準備//對采樣點偏移量分別進行上下取整

int x1 = static_cast(floor(rx));int x2 = static_cast(ceil(rx));int y1 = static_cast(floor(ry));int y2 = static_cast(ceil(ry));//將坐標偏移量映射到0-1之間

float tx = rx -x1;float ty = ry -y1;//根據0-1之間的x，y的權重計算公式計算權重，權重與坐標具體位置無關，與坐標間的差值有關

float w1 = (1-tx) * (1-ty);float w2 = tx * (1-ty);float w3 = (1-tx) *ty;float w4 = tx *ty;//循環處理每個像素

for(int i=radius;i

{for(int j=radius;j

{//獲得中心像素點的灰度值

_tp center = src.at<_tp>(i,j);//根據雙線性插值公式計算第k個采樣點的灰度值

float neighbor = src.at<_tp>(i+x1,j+y1) * w1 + src.at<_tp>(i+x1,j+y2) *w2 + src.at<_tp>(i+x2,j+y1) * w3 +src.at<_tp>(i+x2,j+y2) *w4;//LBP特征圖像的每個鄰居的LBP值累加，累加通過與操作完成，對應的LBP值通過移位取得

dst.at(i-radius,j-radius) |= (neighbor>center) <

}

}

}//進行旋轉不變處理

for(int i=0;i

{for(int j=0;j

{

unsignedchar currentValue = dst.at(i,j);

unsignedchar minValue =currentValue;for(int k=1;k

{//循環左移

unsigned char temp = (currentValue>>(neighbors-k)) | (currentValue<

{

minValue=temp;

}

}

dst.at(i,j) =minValue;

}

}

}

均勻(等價)模式：

template

void getUniformPatternLBPFeature(InputArray _src,OutputArray _dst,int radius,intneighbors)

{

Mat src=_src.getMat();//LBP特征圖像的行數和列數的計算要準確

_dst.create(src.rows-2*radius,src.cols-2*radius,CV_8UC1);

Mat dst=_dst.getMat();

dst.setTo(0);//LBP特征值對應圖像灰度編碼表，直接默認采樣點為8位

uchar temp = 1;

uchar table[256] = {0};for(int i=0;i<256;i++)

{if(getHopTimes(i)<3)

{

table[i]=temp;

temp++;

}

}//是否進行UniformPattern編碼的標志

bool flag = false;//計算LBP特征圖

for(int k=0;k

{if(k==neighbors-1)

{

flag= true;

}//計算采樣點對于中心點坐標的偏移量rx，ry

float rx = static_cast(radius * cos(2.0 * CV_PI * k /neighbors));float ry = -static_cast(radius * sin(2.0 * CV_PI * k /neighbors));//為雙線性插值做準備//對采樣點偏移量分別進行上下取整

int x1 = static_cast(floor(rx));int x2 = static_cast(ceil(rx));int y1 = static_cast(floor(ry));int y2 = static_cast(ceil(ry));//將坐標偏移量映射到0-1之間

float tx = rx -x1;float ty = ry -y1;//根據0-1之間的x，y的權重計算公式計算權重，權重與坐標具體位置無關，與坐標間的差值有關

float w1 = (1-tx) * (1-ty);float w2 = tx * (1-ty);float w3 = (1-tx) *ty;float w4 = tx *ty;//循環處理每個像素

for(int i=radius;i

{for(int j=radius;j

{//獲得中心像素點的灰度值

_tp center = src.at<_tp>(i,j);//根據雙線性插值公式計算第k個采樣點的灰度值

float neighbor = src.at<_tp>(i+x1,j+y1) * w1 + src.at<_tp>(i+x1,j+y2) *w2 + src.at<_tp>(i+x2,j+y1) * w3 +src.at<_tp>(i+x2,j+y2) *w4;//LBP特征圖像的每個鄰居的LBP值累加，累加通過與操作完成，對應的LBP值通過移位取得

dst.at(i-radius,j-radius) |= (neighbor>center) <

if(flag)

{

dst.at(i-radius,j-radius) = table[dst.at(i-radius,j-radius)];

}

}

}

}

}//計算跳變次數

int getHopTimes(intn)

{int count = 0;

bitset<8> binaryCode =n;for(int i=0;i<8;i++)

{if(binaryCode[i] != binaryCode[(i+1)%8])

{

count++;

}

}returncount;

}

MB-LBP代碼：

//MB-LBP特征的計算

void getMultiScaleBlockLBPFeature(InputArray _src,OutputArray _dst,intscale)

{

Mat src=_src.getMat();

Mat dst=_dst.getMat();//定義并計算積分圖像

int cellSize = scale / 3;int offset = cellSize / 2;

Mat cellImage(src.rows-2*offset,src.cols-2*offset,CV_8UC1);for(int i=offset;i

{for(int j=offset;j

{int temp = 0;for(int m=-offset;m

{for(int n=-offset;n

{

temp+= src.at(i+n,j+m);

}

}

temp/= (cellSize*cellSize);

cellImage.at(i-cellSize/2,j-cellSize/2) =uchar(temp);

}

}

getOriginLBPFeature(cellImage,dst);

}

MB-LBP編碼的計算：

//求SEMB-LBP

void SEMB_LBPFeature(InputArray _src,OutputArray _dst,intscale)

{

Mat dst=_dst.getMat();

Mat MB_LBPImage;

getMultiScaleBlockLBPFeature(_src,MB_LBPImage,scale);//imshow("dst",dst);

Mat histMat;int histSize = 256;float range[] = {float(0),float(255)};const float* ranges ={range};//計算LBP特征值0-255的直方圖

calcHist(&MB_LBPImage,1,0,Mat(),histMat,1,&histSize,&ranges,true,false);

histMat.reshape(1,1);

vector histVector(histMat.rows*histMat.cols);

uchar table[256];

memset(table,64,256);if(histMat.isContinuous())

{//histVector = (int *)(histMat.data);//將直方圖histMat變為vector向量histVector

histVector.assign((float*)histMat.datastart,(float*)histMat.dataend);

vectorhistVectorCopy(histVector);//對histVector進行排序，即對LBP特征值的數量進行排序，降序排列

sort(histVector.begin(),histVector.end(),greater());for(int i=0;i<63;i++)

{for(int j=0;j

{if(histVectorCopy[j]==histVector[i])

{//得到類似于Uniform的編碼表

table[j]=i;

}

}

}

}

dst=MB_LBPImage;//根據編碼表得到SEMB-LBP

for(int i=0;i

{for(int j=0;j

{

dst.at(i,j) = table[dst.at(i,j)];

}

}

}

LBPH特征圖像的計算：

//計算LBP特征圖像的直方圖LBPH

Mat getLBPH(InputArray _src,int numPatterns,int grid_x,int grid_y,boolnormed)

{

Mat src=_src.getMat();int width = src.cols /grid_x;int height = src.rows /grid_y;//定義LBPH的行和列，grid_x*grid_y表示將圖像分割成這么些塊，numPatterns表示LBP值的模式種類

Mat result = Mat::zeros(grid_x *grid_y,numPatterns,CV_32FC1);if(src.empty())

{return result.reshape(1,1);

}int resultRowIndex = 0;//對圖像進行分割，分割成grid_x*grid_y塊，grid_x，grid_y默認為8

for(int i=0;i

{for(int j=0;j

{//圖像分塊

Mat src_cell = Mat(src,Range(i*height,(i+1)*height),Range(j*width,(j+1)*width));//計算直方圖

Mat hist_cell = getLocalRegionLBPH(src_cell,0,(numPattern-1),true);//將直方圖放到result中

Mat rowResult =result.row(resultRowIndex);

hist_cell.reshape(1,1).convertTo(rowResult,CV_32FC1);

resultRowIndex++;

}

}return result.reshape(1,1);

}//計算一個LBP特征圖像塊的直方圖

Mat getLocalRegionLBPH(const Mat& src,int minValue,int maxValue,boolnormed)

{//定義存儲直方圖的矩陣

Mat result;//計算得到直方圖bin的數目，直方圖數組的大小

int histSize = maxValue - minValue + 1;//定義直方圖每一維的bin的變化范圍

float range[] = { static_cast(minValue),static_cast(maxValue + 1) };//定義直方圖所有bin的變化范圍

const float* ranges ={ range };//計算直方圖，src是要計算直方圖的圖像，1是要計算直方圖的圖像數目，0是計算直方圖所用的圖像的通道序號，從0索引//Mat()是要用的掩模，result為輸出的直方圖，1為輸出的直方圖的維度，histSize直方圖在每一維的變化范圍//ranges，所有直方圖的變化范圍(起點和終點)

calcHist(&src,1,0,Mat(),result,1,&histSize,&ranges,true,false);//歸一化

if(normed)

{

result/= (int)src.total();

}//結果表示成只有1行的矩陣

return result.reshape(1,1);

}

總結

以上是生活随笔為你收集整理的java lbp_LBP特征提取原理及代码实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。