優勢： 人臉識別系統更加直接，友好，使用者無心理障礙，并且通過人臉的表情/姿態分析，還能獲得其他識別系統難以得到的一些信息

人臉識別的研究內容：

人臉識別一般可描述為：給定一靜止或動態圖像，利用已有的人臉數據庫來確認圖像中的一個或多個人。從廣義上來講：研究內容包括以下五個方面：

1）? 人臉檢測

2）? 人臉表征——即確定表示檢測出的人臉和數據庫中的已知人臉的描述方式。通常的表示方法有幾何特征（如歐氏距離，曲率，角度等）、代數特征（如矩陣特征矢量）、固定特征模板、特征臉、云紋圖等。

3）? 人臉鑒別——即通常所說的人臉識別，核心是選擇適當的人臉表示方式與匹配策略。

4）? 表情分析——即對待識別人臉地表情進行分析，并對其加以分類。

5）? 物理分類——

首先是人臉檢測與定位。受到以下因素的影響：1）人臉在圖像中的位置、旋轉角度和尺度不固定；2）發型和化妝會遮蓋某些特征；3）圖像中出現的噪聲。

其次是特征提取。一般做預處理如幾何歸一化和灰度歸一化。

最后是人臉識別。

在用靜態圖像或視頻圖像做人臉識別的領域中，國際上形成了以下幾類主要的人臉識別方法：

1）基于幾何特征的人臉識別方法，主要代表是MIT的Brunelli和Poggio小組，他們采用改進的積分投影法提取出用歐氏距離表征的35維人臉特征矢量用于模式分類；

2）基于模板匹配的 人臉識別方法，主要代表是Harvard大學Smith-Kettlewell研究中心的Yuille，采用彈性模板來提取眼睛和嘴巴的輪廓，

3）基于K-L變換的特征臉方法，MIT媒體實驗室的Pentland小組，在此基礎上出現了各種改進方法，如Yale大學的belhumeur提出的Fisher臉方法；

4）隱馬爾科夫模型方法，主要代表有Cambridge大學的Samaria小組和Georgia 技術研究所的Nefian小組；

5）神經網絡識別方法，如Poggio小組提出的HyperBF神經網絡識別方法，英國Sussex大學的Buxton和Howell小組提出的RBF網絡識別方法等。

6）基于動態鏈接結構的彈性圖匹配方法，主要研究者是由C。Von der Malsburg領導的德國Bochum大學和美國SouthernCalifornia大學的聯合小組

7）利用運動和顏色信息對動態圖像序列進行人臉識別方法，主要代表是Queen Mary和Westfield大學的ShaogangGong小組。

?

主要應用：

1）? 刑偵破案

2）? 證件驗證

3）? 入口檢查

4）? 視頻監控

?

實際產品：?

公司	創建人	產品名稱	時間	備注
Mirio	Michael Kuperst	1)TrueFace Cyber Watch 2）TrueFace Gate Watch	?	1）? 第一套用于計算機、網絡和數據安全保障的軟件 2）? 專用的入口控制系統
Plettac	?	Face ＶＡＣＳ	1998	入口控制，可用于ATM，或計算機口令
FaceKey	?	FaceKey	?	與指紋識別結合，使錯誤接收率為百萬分之一
Visionics	?	FaceIt	1994	PCA-〉局部特征分析
Zn BochumGmbh	?	1)????? Zn-Face 2)????? ZN-Phantomas 3)????? Zn-SmartEye	?	1)????? 入口控制 2)????? 人臉搜索 3)????? 視頻監控
Viisage	?	1）? FaceFinder 2）? FaceTools 3）? FaceNet 4）? FacePin	基于特征臉方法	?
?	?	?	?	?

其他還有FaceWare、PassFace、Eyematic、BioID

?

第三章：

根據輸入圖像的性質，人臉識別方法分為靜止圖像的識別和圖像序列的識別兩大類。

輸入的靜止圖像分為側面和正面兩個方面

?

人臉側影識別

? 90年以前使用

使用立方B樣條函數

識別步驟：1。圖像獲取? 2．特征提取? 3。識別

?

基于幾何特征的人臉識別方法

基本原理：人臉特征的整個幾何結構足夠用于識別。

識別歸結為特征矢量之間的匹配。基于歐氏距離的判決是最常用的方法。

識別步驟：

1．? 歸一化? 一種獲得尺度和旋轉補變性的方法是設定兩眼之間的距離和方向軸。

首先基于模板匹配，

2．? 特征提取

積分投影法： 圖像I[x,y]在舉行窗口[x1,x2]*[y1,y2]上的垂直積分投影定義為

????????????????????? V(x) = ???? H(y) = ??

一旦眼睛用模板匹配定位了，其他特征的搜索就可利用人臉五官分布的先驗知識。

最后一共可抽取35個幾何特征用于識別。

3．? 識別?? 用35維的特征向量表示，用貝葉斯分類器進行識別。假設每個人的特征向量服從高斯分布，因此不同的人僅均值有所不同。為了估計高斯分布的形狀，用學習集的所有樣本估計協方差矩陣：????????????????????????? = ??

優點：1）符合人類識別人臉的機理，易于理解，識別率高2）對每幅圖像只需存儲一個特征矢量，存儲量小；3）對光照變化不太敏感；4）特征提取工作只依賴于本幅圖像，可用于只有單個樣本的識別

缺點：1）抽取穩定的特征比較困難，2）對強烈的表情變化或姿態變化的魯棒性較差；3）特征點只能從灰度變化劇烈的地方抽取，因此不宜考慮人臉的三維結構；4）一般幾何特征之描述了部件的基本形狀與結構關系，忽略了局部細微特征，

?

3．3 基于模板匹配的人臉識別方法

?????? 大多是用歸一化互相關，直接計算兩幅圖像之間的匹配程度。預處理要做尺度歸一和灰度歸一的工作。

?????? 彈性模板由一組根據特征形狀的先驗知識設計的可調參數所定義。為了求出這組參數，需要利用圖像的邊緣、峰值、谷值和強度信息及特征形狀的先驗知識設計合適的能量函數。

?

人臉輪廓的橢圓模型

眼睛模板

Yuille 提出的眼睛模版。采用最速下降法最小化能量，依次尋找眼睛的各重要特征點，

?

嘴唇模版 分為閉模板和開模板

?

3.4 等灰度線?

?????? 基本原理：灰度圖象中具有相同灰度值區域的邊界。

?????? 識別步驟：

1．? 預處理 分為5步進行：１）取人臉輪廓邊緣，可采用Sobel算子S0，2）消除邊緣噪聲 3）連接邊緣輪廓上的小間隙，反復使用擴張和收縮操作， 4）剪出圖像中的人臉區域，5）平滑輪廓線及歸一化人臉區域

?

2．? 提取等灰度線? 作出直方圖，把直方圖分為8個區域，每個區域的大小可有所不同，

?

第四章 現代人臉識別方法

?

4.1 特征臉方法

特征臉方法是從主成分分析（PCA）導出的一種人臉識別和描述技術。

識別過程就是將人臉圖像映射到由特征臉張成的字空間上，比較其與已知人臉在特征臉空間中的位置，具體步驟如下：

? 1）初始化?? 2）輸入新的人臉圖像，將其映射到特征臉空間，得到一組權值。 3）判斷是否為人臉。 4）若是人臉，判斷是數據庫中的哪個人 5）學習

特征臉的優點： 1）圖像的原始灰度數據直接用來學習和識別，不需要任何低級或中級處理　２）不需要人臉的幾何和反射知識　　３）通過低維子空間表示對數據進行壓縮 4）簡單有效。

? 它依賴于訓練集和測試集圖像的灰度相關性，而且要求測試圖像與訓練集比較像，有很大的局限性：? 1）對尺度變化很敏感 2）只能處理正面人臉圖像，在姿態、發型和光照等發生變化時識別率明顯下降? 3）要求背景單一? 4）學習時間長，只能離線計算

?

改進： 雙子空間法，相形歧義分析方法，Fisher臉方法。

?Fisher 臉方法又稱為線性判別分析（LDA）方法，它選擇與類內散布正交的矢量作為特征臉空間，從而能壓制圖像之間的與識別信息無關的差異，對光照及人臉表情變化都不太敏感。

與K-L變換的思想比較相近但不是從統計角度出發的另一種變換是奇異值分解（SVD）方法，即將圖像矩陣的奇異值作為模式的特征矢量。同時擁有代數與幾何兩方面的不變性，即對圖像灰度值的比例變化、平移、旋轉和伸縮具有不變性。

奇異值分解的論文 ：

?

?

?

?

雙子空間法?? Peng H ，Zhang D Dual eigenspace method for human face recognition? Electronics Letters 1997 33(4) 283-284

相形歧義分析方法

?

Fisher臉方法

?

? 4.2 隱馬爾可夫模型

? 論文：

HMM有三個主要問題：評估、估計及解碼。 評估用于解決識別問題，一般采取比較有效的“向前—向后”法；? 估計問題用來產生用于識別的各個單元的HMM，采取 Baum-Welch方法。 Viterbi算法用以求取給定觀測序列的最佳狀態序列。

1．? HMM的表示? 主要由以下元素組成：1）模型中的狀態總數N ?2）初始狀態分布 Π ?3）狀態轉移概率矩陣Ａ，即Ａ＝｛ａij｝ 4) 狀態概率矩陣B

2．? 前向—后向算法

3．? Baum-Welch算法

4．? Viterbi算法? 以最大值取代包括最大值之內的所有可能項之和。是計算得分的近似方法。

?

4.3??????? 基于神經網絡的方法

有其特殊的優勢，不需要一套由人確定的規則，同時避免了復雜的特征提取工作，能根據有代表性的樣本自我學習，具有魯棒性和自適應性。

論文

?

用神經網絡進行人臉識別主要有以下三種結構：

1）? 為所有已知人臉建立一個神經網絡?

2）? 為每一個人臉建立一個神經網絡

3）? 為每一對人臉建立一個神經網絡

多層感知器（MLP）?

?? 模型特點：MLP是一個多層前饋神經網絡，由輸入層、一個或多個隱層以及一個輸出層組成。采用BP算法。

RBF網絡

? 模型描述 ：ＲＢＦ網絡可視為由一個隱層所構成的前饋神經網絡，其隱節點輸出是ｐ維輸入特征矢量Ｘ與特征空間中的固定點Ｃｉ＝（．．）　

ＨｙｐｅｒＢＦ　網絡

其他的神經網絡模型

?

4.4??????? 彈性圖匹配方法

一種基于動態鏈接結構的方法，它將人臉用格狀的稀疏圖表示，圖中的節點用圖像位置的Gabor小波分解得到的特征向量標記（稱為jet），圖的邊用連接節點的距離向量標記。匹配過程如下：首先尋找與輸入圖像最相似的模型圖，在對圖中的每個節點位置進行最佳匹配，這樣產生一個變形的圖，其節點逼近模型圖的對應點的位置。

彈性圖匹配方法對光照、位移、旋轉及尺度變化都不敏感，是一種優于特征臉的人臉識別方法。

相關論文：

主要缺點是對每個存儲的人臉需計算其模型圖，因此計算復雜，存儲量大，利用聚束圖匹配就可部分克服這個缺點。有關聚束圖的論文如下

用Gabor小波預處理 。Gabor小波是以任意一個高斯函數作為窗函數的窗口Fourier變換。一個圖像像素與不同方向和頻率的Gabor核卷積后的系數集合稱為一個jet。

?

人臉表示：

1．? 個人人臉? 2。人臉聚束圖??

?

彈性聚束圖匹配產生人臉表征?

手動定義，產生系統的初始圖。每種姿態一個圖，并且產生不同姿態圖的對應節點的指針一旦有了一個聚束圖，新輸入圖像的聚束圖就可通過彈性聚束圖匹配得到。

?? 1．手動定義圖? 2。 圖的相似性函數?

3。匹配過程? 從粗到細：第一步，尋找人臉的近似位置； 第二步，精化人臉位置和大小。第三步，精化尺寸和尋找縱橫比； 第四步， 局部變形

?

識別：

?

4.5??????? 其他人臉識別方法

?

Jia 和 Nixon 指出：單靠擴展單一種類的特征數目是不夠的，而要擴展與原特征集正交的其他種類特征，他們采用的擴展特征矢量有四種特征集：正面人臉的幾何特征、側面輪廓特征、眼睛形狀特征以及人臉輪廓特征。? 其中側面輪廓特征是從正面人臉圖像中獲得的，方法是Walsh變換描述人臉對稱軸處局部灰度值得水平積分投影曲線。論文有

目前研究最多的識別方法基本上都是針對二維灰度圖象的，除此之外，還有深度人臉圖像數據

Curva-ture. Proce4edings of SPIE 1991 Vol.1570 ,pp 234-247

和紅外人臉圖像數據

?

另外，可以使用多CCD攝像機系統，得到三維信息模型，論文如下：

?Recognition Killington 1996

利用多種生物特征，如把人臉識別與指紋識別結合，或者與語音識別結合

?

?

第五章 圖像序列中的人臉識別方法

論文

圖像序列與靜止圖像的人臉識別相比，優勢如下：

1）? 圖像序列提供了多幀人臉圖像，因此可以從中選擇質量較好的幾幀圖像進行分類識別。

2）? 圖像序列具有時間連續性，

3）? 可以補償人臉的表情和姿態的變化。

困難如下：

1）? 質量一般都較低

2）? 尺寸較小

?

圖像序列中的人臉識別系統一般包括3個模塊：人臉檢測、人臉跟蹤和人臉識別模塊。? 檢測和分割人臉大多利用視頻流里的人臉的運動信息來分割人臉。論文：

人臉跟蹤算法，主要 分為基于運動的跟蹤方法和基于模型的跟蹤方法。論文

兩種思路：

1）? 利用對整個頭部進行跟蹤，利用頭部形狀特征（近似橢圓）對其進行跟蹤。

2）? 對臉部重要器官的特征跟蹤

同上 ，32，61

跟蹤的同時需要對運動進行預測。廣泛采用的是Kalman濾波

人臉姿態的估計

?Recognitioin ，Killington 1996

處理人臉深度旋轉主要有三種方法 ：

圖像序列中的人臉識別方法主要有2種方案：一種是從圖像序列中選擇幾幀質量較好的圖像，然后用靜止圖像的人臉識別方法進行匹配，大多數系統都采用這種方法進行識別。第二種是對所有跟蹤幀應用計算方法識別，不斷調整識別概率。

5.2 基于運動和顏色的人臉識別方法

Springer， 1998

5.2.1 運動目標檢測

利用運動序列中每幀的像素與時間濾波卷積可檢測運動輪廓：

5.2.2????????? 人臉膚色模型

不同人之間的差異主要存在于亮度而不是在色彩上。可以用于人臉檢測的粗定位環節。論文如下：

Recognitioin ，Killington 1996

5.2.3????????? 人臉檢測

5.2.4????????? 人臉跟蹤

5.2.5????????? 人臉識別

?

首先在較高級分辨率圖像上配準人臉，再將人臉圖像用人臉空間中的一組向量表示，人臉空間由PCA或線性判別分析（Linear Discriminant Analysis，LDA）得到。識別就可用最近鄰方法在人臉空間上匹配人臉。

?

從圖像序列中判斷人臉可以用高斯概率分布來做，從一系列的人臉圖像中匹配，看哪個人的概率比較高，

第六章 人臉是別系統的評價

?

人臉識別系統評價必須注意以下幾點：1）必須有足夠用于評價的大量測試樣本；2）樣本圖像應與實際應用中出現的圖像盡可能相似，而且要有代表性；3）除了討論系統的錯誤接受率外，還應該考慮系統的錯誤拒絕率。

評價人臉識別系統的標準，

1）? 系統識別率 = 100% - 錯誤接受率 –錯誤拒絕率

2）? 對樣本的約束

3）? 速度和硬件要求

4）? 人機界面?

5）? 其他： 系統識別人數，系統地學習能力以及處理噪聲的能力

論文

?

6．2 人臉數據庫

?????? 1．英國ORL（Olivetti Research Laboratory） 使用最廣泛的人臉數據庫???? 2。英國Manchester 人臉數據庫? 3。美國 FERET(FacE Recognition Technology) 最大的人臉數據庫? 4。日本ATR數據庫? 5。歐洲 M2VTS多模型人臉數據庫

6.3? 系統可靠性檢驗

錯誤拒絕率——在數據庫中的人臉被錯誤拒絕FRR

錯誤接受率——不在數據庫中的人臉被錯誤接受 FAR

必須選擇合適的閾值， 使得FRR和FAR 取得一個折中。

?

第七章 總結與展望

應用最廣泛的一種全局特征描述方法是基于K-L變換的特征臉方法，局部特征描述則需用到人臉器官形狀和分布的先驗知識。 人臉識別與其他生物統計學鑒別系統如指紋識別、語音識別等相結合，能提供很高的正確識別率，可用于安全性能要求較高的系統。

圖像序列中利用整個跟蹤序列來識別人臉的關鍵是進行運動估計和人臉跟蹤。

人臉識別的一個重要步驟是系統評價，必須選擇標準數據庫和足夠多的測試樣本，而且要同時考慮系統地錯誤接受率和錯誤拒絕率。

自動識別人臉系統最大兩個問題是如何處理光照變化和姿態變化的影響。

目前需要解決的3個主要技術是：

1）人臉檢測與定位

2）特征選擇與提取? 人臉是塑性變形體，更適合用彈性模型來描述。

3）人臉識別? 將多種方法有效綜合將是以后研究的一個趨勢。另外可以與基于其他生物特征的鑒別系統結合以提高識別率。

?

?

?

總結

以上是生活随笔為你收集整理的人脸检测及识别下一步的工作安排：的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。