LBP（續）

圓形LBP算子

基本的LBP算子的最大缺陷在于它只覆蓋了一個固定半徑范圍內的小區域，這顯然不能滿足不同尺寸和頻率紋理的需要。為了適應不同尺度的紋理特征，并達到灰度和旋轉不變性的要求，Ojala等對LBP算子進行了改進，將3x3鄰域擴展到任意鄰域，并用圓形鄰域代替了正方形鄰域，改進后的LBP算子允許在半徑為R的圓形鄰域內有任意多個像素點。從而得到了諸如半徑為R的圓形區域內含有P個采樣點的LBP算子。比如下圖定了一個5x5的鄰域：

上圖內有八個黑色的采樣點，每個采樣點的值可以通過下式計算：

xp=xc+Rcos(2πpP)yp=yc?Rsin(2πpP)xp=xc+Rcos?(2πpP)yp=yc?Rsin?(2πpP)

通過上式可以計算任意個采樣點的坐標，但是計算得到的坐標未必完全是整數，所以可以通過雙線性插值來得到該采樣點的像素值：

f(x,y)≈[1?xx][f(0,0)f(1,0)f(0,1)f(1,1)][1?yy]f(x,y)≈[1?xx][f(0,0)f(0,1)f(1,0)f(1,1)][1?yy]

LBP等價模式

一個LBP算子可以產生不同的二進制模式，對于半徑為R的圓形區域內含有P個采樣點的LBP算子將會產生2p2p種模式。很顯然，隨著鄰域集內采樣點數的增加，二進制模式的種類是急劇增加的。例如：5×5鄰域內20個采樣點，有220220＝1,048,576種二進制模式。如此多的二值模式無論對于紋理的提取還是對于紋理的識別、分類及信息的存取都是不利的。

同時，過多的模式種類對于紋理的表達是不利的。例如，將LBP算子用于紋理分類或人臉識別時，常采用LBP模式的統計直方圖來表達圖像的信息，而較多的模式種類將使得數據量過大，且直方圖過于稀疏。因此，需要對原始的LBP模式進行降維，使得數據量減少的情況下能最好的代表圖像的信息。

為了解決二進制模式過多的問題，提高統計性，Ojala提出了采用一種“等價模式”（Uniform Pattern）來對LBP算子的模式種類進行降維。Ojala等認為，在實際圖像中，絕大多數LBP模式最多只包含兩次從1到0或從0到1的跳變。因此，Ojala將“等價模式”定義為：當某個LBP所對應的循環二進制數從0到1或從1到0最多有兩次跳變時，該LBP所對應的二進制就稱為一個等價模式類。如00000000（0次跳變），00000111（只含一次從0到1的跳變），10001111（先由1跳到0，再由0跳到1，共兩次跳變）都是等價模式類。除等價模式類以外的模式都歸為另一類，稱為混合模式類。

通過這樣的改進，二進制模式的種類大大減少，而不會丟失任何信息。模式數量由原來的2p2p種減少為p(p?1)+2p(p?1)+2種。這種丟掉2次以上跳變信息的方法，實際上就是一種高頻濾波。

LBP特征匹配

如果將以上得到的LBP值直接用于人臉識別，其實和不提取LBP特征沒什么區別，會造成計算量準確率等一系列問題。我們可以將一副人臉圖像分為7x7的子區域，并在子區域內根據LBP值統計其直方圖，以直方圖作為其判別特征。這樣做的好處是在一定范圍內避免圖像沒完全對準的情況，同時也對LBP特征做了降維處理。

對于得到的直方圖特征，有多種方法可以判別其相似性。常見的有Histogram intersection和Chi square statistic。

Histogram intersection

Histogram intersection出自以下論文：

《The Pyramid Match Kernel: Discriminative Classification with Sets of Image Features》

Kristen Grauman，Boston College本科（2001）+MIT碩士（2003）+MIT博士（2006），University of Texas at Austin教授，Marr Prize（2011）。導師是Trevor Darrell。
絕對的美女，靠臉吃飯都沒問題的那種。
個人主頁：
http://www.cs.utexas.edu/~grauman/
從她的主頁來看，她手下有很多亞裔學生。還有一些在線課程，其中有部分是博士課程，只適合高手挑戰。

David Courtnay Marr，1945～1980，英國神經學家和生理學家。Trinity College, Cambridge博士（1972），MIT教授。35歲死于白血病。他在神經科學，尤其是視覺方面有重大貢獻。
Marr Prize由International Conference on Computer Vision頒發，2年一次，是CV界的最高榮譽。何愷明是去年（2017）的新晉得主。

假設圖像或其他數據的特征可以構成直方圖，根據直方圖間距的不同可以得到多種類型的直方圖：

Ψ(x)=[H?1(x),H0(x),…,HL(x)]Ψ(x)=[H?1(x),H0(x),…,HL(x)]

H的下標每增加1,則直方圖間距變為原來的兩倍。H?1H?1表示每個樣本都有自己的bin，而HLHL表示所有的樣本都在一個bin中。

兩個數據集的相似度可以用下式來匹配：

KΔ(Ψ(y),Ψ(z))=∑i=0LwiNiKΔ(Ψ(y),Ψ(z))=∑i=0LwiNi

其中，wi=12i,Ni=I(Hi(y),Hi(z))?I(Hi?1(y),Hi?1(z))wi=12i,Ni=I(Hi(y),Hi(z))?I(Hi?1(y),Hi?1(z))。

I的計算方法如下圖所示：

(a)里的y和z代表兩種數據分布，三幅圖代表三層金字塔，每一層里有間距相等的虛線。

可以看到紅點藍點的位置是固定的，但是根據直方圖寬度的不同可以劃到不同的直方圖里，如(b)所示。

(c)圖就是L的計算結果，是通過(b)里兩種直方圖取交集得來的。

注意：這里的I表示的是交集里元素的個數（即(a)中的連線數），而不是交集的個數（即(c)中的綠條個數）。

Chi square statistic

在《數學狂想曲（五）》中，我們給出了χ2χ2檢驗的原理和公式。這里僅對于直方圖相似度給出最后的公式：

χ2w(S,M)=∑i,jwj(Si,j?Mi,j)2Si,j+Mi,jχw2(S,M)=∑i,jwj(Si,j?Mi,j)2Si,j+Mi,j

其中，i為圖像的某塊小區域，j為小區域內直方圖的某一列的值。wjwj是每塊小區域的權重，比如在人臉區域中，眼睛、嘴巴等區域包含的信息量更為豐富，那么這些區域的權重就可以設置的大一些。

參考

http://blog.csdn.net/smartempire/article/details/23249517

LBP方法

http://blog.csdn.net/dujian996099665/article/details/8886576

LBP算法的研究及其實現

https://mp.weixin.qq.com/s/iFlnZ8z5baUdWCZxIGkq5g

機器學習實戰——LBP特征提取

Fisherface

Fisherface由Peter N. Belhumeur, Joao P. Hespanha和David J. Kriegman于1997年提出。

Peter N. Belhumeur，Brown University本科（1985）+Harvard University博士（1993）,Yale University和Columbia University教授。

Joao P. Hespanha，Instituto Superior Técnico, Lisbon, Portugal本碩（1991,1993）+ Yale University博士。UCSB教授。

David J. Kriegman，Princeton University本科（1983）+Stanford University碩博（1984,1989）。UCSD教授。

論文：

《Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection》

Eigenfaces的主要原理基于PCA，而Fisherface的主要原理基于LDA（參見《機器學習（三十一）》）。這里不再贅述。

參考：

http://blog.csdn.net/smartempire/article/details/23377385

Fisherface（LDA）

Viola-Jones

Viola-Jones方法由Paul Viola和Michael Jones于2001年提出。

Paul Viola，MIT本科（1988）+博士（1995）。先后在微軟、Amazon擔任研究員。

Michael Jones，MIT博士（1997）。現為Mitsubishi electric research laboratories研究員。

論文：

《Rapid Object Detection using a Boosted Cascade of Simple Features》

《Robust real-time face detection》

《An Extended Set of Haar-like Features for Rapid Object Detection》

《Learning Multi-scale Block Local Binary Patterns for Face Recognition》

《Implementing the Viola-Jones Face Detection Algorithm》

概述

和之前的方法不同，Viola-Jones不僅是一個算法，更是一個框架，前DL時代的人臉檢測一般都采用該框架。其準確度也由Fisherface時代的不到70%，上升到90%以上。當然，這里所用的數據集以今天的眼光來看，只能算作玩具了——基本都是正面、無遮擋的標準照，光照也比較理想。但不管怎么說，這也是第一個進入商業實用階段的目標檢測框架，目前大多數的商業化產品仍然基于該框架。

Viola-Jones框架主要有三個要點：

1.Haar-like特征，AdaBoost算法和Cascade結構。Haar-like特征利用積分圖像（Integral Image）快速的計算矩形區域的差分信號；

2.AdaBoost算法選擇區分能力強的特征結合Stump函數做弱分類器，然后把若干這些弱分類器線性組合在一起增強分類性能；

3.Cascade結構做Early decision快速拋棄明顯不是人臉的掃描窗口。

下面我們分別描述一下這幾個要點。

Integral image

Integral image一種計算差分數據的快速方法。

上圖左側是圖像的像素值，右側是相應的積分圖。

由

46–22–20+10=1446–22–20+10=14 ，我們可以很快計算出左側藍色區域的像素值之和。

參考：

http://www.mathworks.com/help/vision/ref/integralimage.html

Integral image

Cascade分類器

Cascade分類器，簡單來說，就是先將幾個通過Adaboost方法得到的強分類器進行排序，排序原則是簡單的放在前邊。因為通常來說人臉只占一小部分，所以可以很放心地在前幾層分類器就拒絕掉大部分非人臉區域。只要前一級拒絕了，就不在進入下一級分類器，這可以大大提高速度。其本質是一顆退化決策樹。

參考

https://www.jianshu.com/p/024ad859c8de

人臉檢測的Viola-Jones方法

http://c.blog.sina.com.cn/profile.php?blogid=ab0aa22c890006v0

從Viola&Jones的人臉檢測說起

http://www.cnblogs.com/hrlnw/archive/2013/10/23/3374707.html

Viola Jones Face Detector

ORB

ORB（Oriented FAST and Rotated BRIEF）特征，從它的名字中可以看出它是對FAST特征點與BREIF特征描述子的一種結合與改進，這個算法是由Ethan Rublee,Vincent Rabaud,Kurt Konolige以及Gary R.Bradski在2011年一篇名為“ORB：An Efficient Alternative to SIFT or SURF”的文章中提出。

參考：

http://www.cnblogs.com/ronny/p/4083537.html

ORB特征點檢測

直方圖反向投影

http://www.cnblogs.com/zsb517/archive/2012/06/20/2556508.html

opencv直方圖反向投影

總結

以上是生活随笔為你收集整理的图像处理理论（七）——LBP, Fisherface, Viola-Jones的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。