图像处理知识点总结
2019.10.09更新……
圖像：可以用矩陣表示，行列表示圖像的長高，矩陣的元素值可以表示灰度值的大小。
圖像深度：指存儲每個像素所用的位數，例如：位深度為1的圖像的像素有兩個可能的值：白色或者黑色；如果為位深度為8，則有2^8=256種顏色或者灰度等級（一般情況下位深度取8夠用了）。
區域：表示一幅圖像中一個任意的像素子集，不就是ROI嘛？？？
一般圖像處理過程：讀圖、灰度化、縮放、閾值找到ROI區域、構建濾波函數、在頻域進行濾波然后轉到時域、通過灰度變換（增強對比度）、通過閾值各種特征選擇即可找出目標。
一、預處理
一般的預處理流程為：1灰度化->2幾何變換->3圖像增強。
1、灰度化：
灰度化，在RGB模型中，如果R=G=B時，則彩色表示一種灰度顏色，其中R=G=B的值叫灰度值，因此，灰度圖像每個像素只需一個字節存放灰度值（又稱強度值、亮度值），灰度范圍為0-255（位深度為8時）。
- 分量法 ：將彩色圖像中的三分量的亮度作為三個灰度圖像的灰度值，可根據應用需要選取一種灰度圖像。
- 最大值法：將彩色圖像中的三分量亮度的最大值作為灰度圖的灰度值。
- 平均值法：將彩色圖像中的三分量亮度求平均得到一個灰度值。
- 加權平均法：根據重要性及其它指標，將三個分量以不同的權值進行加權平均。
2、幾何變換：
圖像幾何變換又稱為圖像空間變換，通過平移、轉置、鏡像、旋轉、縮放等幾何變換對采集的圖像進行處理，用于改正圖像采集系統的系統誤差和儀器位置（成像角度、透視關系乃至鏡頭自身原因）的隨機誤差。此外，還需要使用灰度插值算法，因為按照這種變換關系進行計算，輸出圖像的像素可能被映射到輸入圖像的非整數坐標上。通常采用的方法有最近鄰插值、雙線性插值和雙三次插值。
3、圖像增強：
增強圖像中的有用信息，它可以是一個失真的過程，其目的是要改善圖像的視覺效果，針對給定圖像的應用場合，有目的地強調圖像的整體或局部特性，將原來不清晰的圖像變得清晰或強調某些感興趣的特征，擴大圖像中不同物體特征之間的差別，抑制不感興趣的特征，使之改善圖像質量、豐富信息量，加強圖像判讀和識別效果，滿足某些特殊分析的需要。（其實就是為了突出自己感興趣的部分）圖像增強算法可分成兩大類：空間域法和頻率域法。
- 空間域法：
空間域法是一種直接圖像增強算法，分為點運算算法和鄰域去噪算法。點運算算法即灰度級校正、灰度變換（又叫對比度拉伸）和直方圖修正等。鄰域增強算法分為圖像平滑和銳化兩種。平滑常用算法有均值濾波、中值濾波、空域濾波。銳化常用算法有梯度算子法、二階導數算子法、高通濾波、掩模匹配法等。 - 頻率域法：
頻率域法是一種間接圖像增強算法，常用的頻域增強方法有低通濾波器和高通濾波器。低頻濾波器有理想低通濾波器、巴特沃斯低通濾波器、高斯低通濾波器、指數濾波器等。高通濾波器有理想高通濾波器、巴特沃斯高通濾波器、高斯高通濾波器、指數濾波器。
空間濾波和頻域濾波的對比：
前者空間域法中具有代表性的算法有局部求平均值法和中值濾波（取局部鄰域中的中間像素值）法等，它們可用于去除或減弱噪聲。
后者把圖像看成一種二維信號，對其進行基于二維傅里葉變換的信號增強。采用低通濾波（即只讓低頻信號通過）法，可去掉圖中的噪聲；采用高通濾波法，則可增強邊緣等高頻信號，使模糊的圖片變得清晰。
二、特征提取
模式識別中進行匹配識別或者分類器分類識別時，判斷的依據就是圖像特征。用提取的特征表示整幅圖像內容，根據特征匹配或者分類圖像目標。常見的特征提取算法主要分為以下3類：
- ①基于顏色特征：如顏色直方圖、顏色集、顏色矩、顏色聚合向量等；
- ②基于紋理特征：如Tamura紋理特征、自回歸紋理模型、Gabor變換、小波變換、MPEG7邊緣直方圖等；
- ③基于形狀特征：如傅立葉形狀描述符、不變矩、小波輪廓描述符等；
1、LBP特征提取算法：
原理：LBP的基本思想是定義于像素的8鄰域中, 以中心像素的灰度值為閾值, 將周圍8 個像素的值與其比較, 如果周圍的像素值小于中心像素的灰度值, 該像素位置就被標記為0, 否則標記為1. 圖像中的每一個像素都得到一個二進制組合, 這些組合作為特征就可以用來表示原始圖像。
LBP（Local Binary Patterns，局部二值模式）是提取局部特征作為判別依據的，為一種有效的紋理描述算子，度量和提取圖像局部的紋理信息，對光照具有不變性。有多種改進型，LBP結合BP神經網絡已經用于人臉識別等領域。
改進：
- 改進的圓形鄰域LBP：為了適應不同尺度的紋理特征, 并達到灰度不變性的要求, 相關學者對 LBP 算子進行了改進, 將 3×3鄰域擴展到任意鄰域, 并用圓形鄰域代替了正方形鄰域。這樣如果一個在圓上的點不在圖像坐標上, 用它周圍的像素值內插得到。
- 旋轉不變LBP：從 LBP 的定義可以看出, LBP 算子是灰度不變的, 但卻不是旋轉不變的. 圖像的旋轉就會得到不同的 LBP值。有關學者將 LBP 算子進行了擴展, 提出了具有旋轉不變性的 LBP 算子， 即不斷旋轉圓形鄰域得到一系列初始定義的 LBP 值, 取其最小值作為該鄰域的 LBP 值。
應用：LBP主要應用在紋理分類、人臉分析等。LBP特征提取結果還是大小相同的一幅圖像，但一般都不直接將LBP圖譜作為特征向量用于分類識別，而是采用LBP特征譜的統計直方圖作為特征向量用于分類識別。
2、HOG特征提取算法：
原理：所檢測的局部物體外形能夠被光強梯度或邊緣方向的分布所描述（本質：梯度的統計信息，而梯度主要存在于邊緣的地方），HoG算法提取的是圖像各個像素梯度的統計直方圖，一般會將這些梯度直方圖轉化成一個向量，用于分類器的訓練輸入。
方向梯度直方圖（Histogram of Oriented Gradient, HOG）特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。它通過計算和統計圖像局部區域的梯度方向直方圖來構成特征。
應用：Hog特征結合SVM分類器已經被廣泛應用于圖像識別中，尤其在行人檢測中獲得了極大的成功。需要提醒的是，HOG+SVM進行行人檢測的方法是法國研究人員Dalal在2005的CVPR上提出的，而如今雖然有很行人檢測算法不斷提出，但基本都是以HOG+SVM的思路為主。
不變性：具有光照不變性，不具有尺寸和旋轉不變性。
3、Haar特征提取算子：（參考）
原理：haar特征分成了四類：邊緣特征、線性特征、中心特征和對角線特征，這些特征組成了特征模板。這些模板的特征值的組合就是白色矩形區域像素值之和減去黑色矩形像素和。haar特征值反映了圖像的灰度變化情況。
應用：人臉檢測
4、Harris角點特征提取算法：（參考）
在現實世界中，角點對應于物體的拐角，道路的十字路口、丁字路口等。從圖像分析的角度來定義角點可以有以下兩種定義：
- 角點可以是兩個邊緣的角點；
- 角點是鄰域內具有兩個主方向的特征點；
原理：使用一個固定窗口在圖像上進行任意方向上的滑動，比較滑動前與滑動后兩種情況，窗口中的像素灰度變化程度，如果存在任意方向上的滑動，都有著較大灰度變化，那么我們可以認為該窗口中存在角點。如果只在一個方向上有著較大的變化，則可能是一條直線。
5、DoG特征提取算法：
原理： DOG（Difference of Guassian）：簡稱 高斯函數的差分，將兩幅圖像在不同參數下的高斯濾波結果相減，得到DoG圖。是一階邊緣提取。
通過將圖像與高斯函數進行卷積得到一幅圖像的低通濾波結果，即去噪過程，這里的Gaussian和高斯低通濾波器的高斯一樣，是一個函數，即為正態分布函數。
6、LoG特征提取算法：
原理：LoG（Laplacian of Gaussian）：簡稱 高斯-拉普拉斯，Laplace算子對通過圖像進行操作實現邊緣檢測的時，對離散點和噪聲比較敏感。于是，首先對圖像進行高斯卷積濾波進行降噪處理，再采用Laplace算子進行邊緣檢測，就可以提高算子對噪聲抗干擾能力, 是二階邊緣提取。
7、SIFT特征提取算子：（參考）
原理：是一種檢測局部特征的算法，該算法通過求一幅圖中的特征點及其有關尺寸和方向的描述子得到特征并進行圖像特征點匹配，獲得了良好效果。每個特征點的SIFT特征是128維向量，因此計算量巨大。不變性：具有尺寸和旋轉不變性。
改進：PCA-SIFT，如名稱所說“主成分SIFT特征”，主要提取了128維特征向量中的20個特征，大大減少了計算。
8、SURF特征提取算法：（參考）
SURF是SIFT角點檢測算法的改進版，主要體現在速度上，SURF是SIFT速度的3倍。SIFT在尺度和旋轉變換的情況下匹配效果比SURF好，而SURF在亮度變化下匹配效果比較好。
Sift采用的是DOG圖像，而surf采用的是Hessian矩陣行列式近似值圖像。
9、待續……
三、圖像處理常見問題匯總
1、常用的圖像插值方法？
- 最鄰近插值：在待求象素的四鄰象素中，將距離待求象素最近的鄰象素灰度賦給待求象素；
- 雙線性插值：雙線性內插法是利用待求象素四個鄰象素的灰度在兩個方向上作線性內插；具有低通濾波性質，使高頻分量受損，圖像輪廓可能會有一點模糊。
- 三次內插法：利用三次多項式進行逼近插值函數，計算量大，效果最好。
2、常用的圖像壓縮方法？
- 冗余度壓縮方法：（無損壓縮），在數學上可逆：哈夫曼編碼-算術編碼-行程編碼-Lempel-zev 編碼
- 信息量壓縮方法：（有損壓縮），解碼圖像與原始圖像有差：預測編碼-頻率域方法（正交變換編碼如DCT、子帶編碼）-空間域方法（統計分塊編碼）-模型方法（分形編碼、模型編碼）-基于重要性（粒子、子采樣、比特分配、矢量量化）
3、HSI是什么？
- 用色調（H）、飽和度（S）、亮度（I）來描述物體的顏色；
- 這種彩色描述對人來說是自然而直觀的。
4、腐蝕、膨脹、開運算、閉運算、數學形態學梯度？
- 腐蝕(erode)：通過結構元素與覆蓋的圖像元素進行 and 操作，即都為1時結果圖像才為1，否則為0。（作用：二值圖像向內縮小一圈。）
- 膨脹(dilate)：通過結構元素與覆蓋的圖像元素進行 or 操作，即存在1時結果圖像就為1，否則為0。（作用：二值圖像向外擴增一圈。）
- 開運算(opening) ：先腐蝕后膨脹；（作用：保持目標原有大小不變，通常用于去除小粒噪聲）
- 閉運算(closing) ：先膨脹后腐蝕，（作用：保持目標原有大小不變，通常用于消除內部細小空洞）
- 數學形態學梯度：=圖像膨脹 - 圖像腐蝕，（作用：獲取到圖像的邊緣）
5、
待續……
總結
