第一部分是圖像處理與分析,第一部分部分是計算機視覺,第三部分是醫學圖像.

文章目錄

• ?《第一部分》
• 一、第一次課
• • 1.1 讀取bmp圖片
• 二、 第二次課
• • 2. 1 dpi(dot per inch)計算
  • 2.2 灰度直方圖（histogram）
  • • 2.2.1 定義
    • 2.2.2 編程實現灰度直方圖
  • 2.3 灰度變換(均衡化)
  • 2.4 二值化
• 三、 第三次課
• • 3.1 點運算
  • 3.2 代數運算
  • • 3.2.1 加法運算
    • 3.2.2 減法運算
  • 3.3 幾何運算
  • • 3.3.1 實現幾何運算有兩種方法
    • 3.3.2 仿射變換
    • 3.3.3 透視變換(Perspective Transformation)
  • 3.4 鄰域運算
• 四、圖像平滑
• • 4.1 圖像噪聲
  • 4.2 圖像平滑
• 五、邊緣檢測
• 六、圖像分割
• 七、物體測量與特征抽取
• • 1.測量周長、面積
  • 2.外接矩形
  • 3.特征提取
• 八、圖像的頻域變換
• ?《第二部分》計算機視覺
• • 計算機視覺課程內容
  • 10-25 梁棟老師代課內容
• ?《第三部分》醫學圖像
• • 醫學圖像來源

?《第一部分》

一、第一次課

1.1 讀取bmp圖片

參考

簡單bmp圖片處理工具——python實現
https://www.cnblogs.com/zyp4614/p/6917943.html
Python Struct讀取bmp圖片信息
https://blog.csdn.net/zoujin6649/article/details/81357696
Python中struct.pack()和struct.unpack()用法詳細說明
https://blog.csdn.net/weiwangchao_/article/details/80395941

Python版

from struct import unpackwith open('./bmp_19201080.bmp','rb') as f:s = f.read(30)print(unpack('<ccIIIIIIHH', s)) ''' (b'B', b'M', 6220854, 0, 54, 40, 1920, 1080, 1, 24) b'B、b'M說明是Windows位圖 一個4字節整數：位圖大小 一個4字節整數：保留位，始終為0 一個4字節整數：實際圖像的偏移量 一個4字節整數：Header的字節數 一個4字節整數：圖像寬度 一個4字節整數：圖像高度 一個2字節整數：始終為1 一個2字節整數：顏色數 '''def bmp_info():unpackbuf = unpack('<ccIIIIIIHH',s)if (unpackbuf[0]!=b'B' or unpackbuf[1]!=b'M'):return Noneelse:return {'width':unpackbuf[6],'height':unpackbuf[7],'color':unpackbuf[9]} bi = bmp_info()print(bi['width'],'*',bi['height'],bi['color'])

C版

#include "stdafx.h" #include "ImgAlg.h" #include <math.h> #include <stdio.h>//printf for linux #include <stdlib.h>//abs for linux #include <string.h>//memset for linux#define PI 3.141592653589 int Load8bitBmp(const char* FileName,BYTE* img,int& width,int& height) {FILE* fp=fopen(FileName,"rb");if(fp==NULL){Message("open file error"); return 0;}BITMAPFILEHEADER FileHeader;if( fread(&FileHeader,sizeof(BITMAPFILEHEADER),1,fp)!=1 ){Message("read file error"); return 0;}if( FileHeader.bfType != 0x4d42 ){Message("no bmp file format"); return 0;}BITMAPINFOHEADER InfoHeader;if( fread(&InfoHeader,sizeof(BITMAPINFOHEADER),1,fp)!=1 ){Message("read file error"); return 0;}if(InfoHeader.biBitCount != 8){Message("no 8 bit bmp file"); return 0;}if(InfoHeader.biCompression != 0){Message("compression mode"); return 0;}width = InfoHeader.biWidth ;height= InfoHeader.biHeight ;fseek(fp,FileHeader.bfOffBits ,SEEK_SET);for(int i=height-1;i>=0 ;i--){if( fread(img+i*width,width,1,fp)!= 1 ){Message("read file error"); return 0;} if(width%4!=0)fseek(fp,4-width%4,SEEK_CUR);}fclose(fp);return 1; }

二、 第二次課

2. 1 dpi(dot per inch)計算

(1) dpi(dot per inch)計算

(2$\times$ 1200 + 4 $\times$ 1200)$\times$ 3
解釋:1200dpi意思是每英寸可采集1200個像素點,現在照片橫向2英寸,縱向4英寸,所以總共是(2$\times$ 1200 + 4 $\times$ 1200), 然后24位彩色,1像素 = 3 bytes.

(2) 掃描完后 如果用600dpi打印出來,問打印出來的照片尺寸?(不縮放)
2400 / 600 = 4
4800 / 600 = 8

2.2 灰度直方圖（histogram）

2.2.1 定義

灰度直方圖（histogram）是灰度級的函數，是圖象的最基本的統計特征。它表示圖象中有每種灰度級的象素的個數，反映圖象中每種灰度出現的頻率。如下圖所示，
橫坐標：灰度－r , 縱坐標：為某一灰度值ri的像素個數ni,或是灰度出現的概率P( r)

從概率的觀點來理解，灰度出現的頻率可看作其出現的概率，這樣直方圖就對應于概率密度函數pdf(probability density function)，而概率分布函數就是直方圖的累積和，即概率密度函數的積分，如下圖所示：

2.2.2 編程實現灰度直方圖

方法一:逐個點掃描

unsigned long hist[256]; unsigned char *pCur; for(int i=0;i<256;i++) hist[i]=0;for(i=0;i<height;i++) for(j=0;j<width;j++)hist[pImg + i*width + j]++;

方法二:效率高 (考試)

unsigned long hist[256]; unsigned char *pCur; for(int i=0;i<256;i++) hist[i]=0; int ImgSize=width*height; for(i=0,pCur=pImg;i<ImgSize;i++) hist[*(pCur++)]++;

拓展參考

十一.灰度直方圖概念及OpenCV繪制直方圖
https://blog.csdn.net/eastmount/article/details/83758402

2.3 灰度變換(均衡化)

2.4 二值化

OpenCV—圖像二值化
https://www.cnblogs.com/ssyfj/p/9272615.html#%E4%B8%89opencv%E4%B8%AD%E7%9A%84%E4%BA%8C%E5%80%BC%E5%8C%96%E6%96%B9%E6%B3%95

python實現直方圖均衡化(HE)
https://blog.csdn.net/qq_30967115/article/details/85210870

import cv2 # 利用opencv讀取圖像 import numpy as np # 利用matplotlib顯示圖像 import matplotlib.pyplot as plt img = cv2.imread("C:/Users/asus/Pictures/Victoria.jpg") #讀取圖像 img = img[:,:,(2,1,0)] r,g,b = [img[:,:,i] for i in range(3)] img_gray = r*0.299+g*0.587+b*0.114img_gray_1D = img_gray.flatten() _,_,_ = plt.hist(img_gray_1D,bins=256,normed=0) # plt.show()img_gray_1D = img_gray.flatten() img_gray_1D_len = img_gray_1D.shape[0] img_gray_1D_int = (img_gray_1D + 0.5).astype(np.uint8)Psk = np.zeros(256)for i in range(img_gray_1D.shape[0]):Psk[(img_gray_1D_int[i])] += 1 Psk = [Psk[i] / img_gray_1D_len for i in range(256)]cdf = np.zeros(256) cdf[0] = Psk[0] for i in range(255):cdf[i + 1] = cdf[i] + Psk[i + 1]#計算目標像素 并將一維向量還原成二維的灰度圖 img_gray_1D_re = np.array([255 * cdf[img_gray_1D_int[i]] for i in range(len(img_gray_1D))]) img_re = img_gray_1D_re.reshape((img_gray_1D_len,-1))# 顯示圖像 # plt.imshow(img_re,cmap="gray") # plt.axis('off') # plt.show() img_gray_1D = img_gray.flatten() _,_,_ = plt.hist(img_gray_1D_re,bins=256,normed=0) plt.show()

三、 第三次課

3.1 點運算

由于點運算在處理與顯示中的重要性，圖象處理系統都有專門的處理硬件與之對應，以便能夠以視頻速率實時完成操作，這樣的部件稱為查找表LUT(LookUpTable)。通常圖象處理系統都有成組的查找表供編程使用
在通用的計算機上，沒有查找表可以直接利用，通過軟件逐點處理來實現，這時查找表僅表現為一種數據結構。因為在數字圖像處理中，自變量g的值域是有限的，比如通常的灰度圖像中，0<=g<=255，最多只有256種取值，因此，對于實現任意的G=F(g)而言，都可以使用查表的方法實現
方法一: 慢

for( i = 0,pCur=pImg; i < Imgsize; i ++) *(pCur++) = F(*pCur);

要計算ImgSize次，當圖像為512x512時，F要被計算262144次

方法二: 快 (考試)

BYTE LUT[256]; BYTE *pCur, for(g = 0;g < 256;g++) LUT[g ] = F(g);*pEnd = pImg + ImgSize; for(pCur = pImg; pCur < pEnd;pCur++) *(pCur++) = LUT[*pCur];

在使用LUT時，F函數僅被計算256次。

3.2 代數運算

3.2.1 加法運算

圖象相加一般用于對同一場景的多幅圖象求平均，以便有效地降低加性（additive）隨機噪聲。通常圖象采集系統中采集圖象時有這樣的參數可供選擇。通常直接采集的圖象品質較好，不需要這樣的處理，但是對于經過長距離模擬通訊方式傳送的圖象（如太空航天器傳回的星際圖象）這種處理是不可缺少的。利用求平均的方法降低噪聲信號提高信噪比的做法，只有當噪聲可以用同一個獨立分布的隨機模型描述時才會有效

3.2.2 減法運算

圖象相減是常用的圖象處理方法，用于檢測變化及運動物體。在可控制的條件下，如工業視覺環境下，這種稱之為差分方法的簡單處理與閾值化處理一道往往是建立機器視覺系統最有效的方法之一。在相對穩定的環境下，可以假設背景變化緩慢，且符合一定的分布規律，通過建立背景模型，實施差分方法來檢測運動物體，可以獲得很好的效果。因此，差分方法可以分為控制環境下的簡單差分方法和基于背景模型的差分方法。


在控制環境下，或者在很短的時間間隔內，可以認為背景是固定不變的，可以直接使用差分方法檢測變化或直接分割出作為前景的物體。其流程圖如下：

作業
1.編制將兩個灰度圖象相減的程序，注意合理處理數值區間，以便顯示差圖象，例如取絕對值或適當平移等（輸入輸出圖象格式bmp）。
2.編制將一灰度圖象與將其少許平移后得到的圖象相減的程序，觀察其效果。

3.3 幾何運算

幾何運算與點運算不同，它可改變圖象中物體（象素）之間的空間關系。這種運算可以看成將各象素在圖象內移動的過程。其定義為：g(x,y)=f(x’,y’)=f[a(x,y),b(x,y)] ，其中，f(x,y)表示輸入圖象，g(x,y)表示輸出圖象，a(x,y)和b(x,y)表示空間變換，若它們是連續的，則將保持圖象中的連通關系。

3.3.1 實現幾何運算有兩種方法

• 其一為前向映射法，即：將輸入象素的灰度一個個地轉移到輸出圖象中，如果一個輸入象素被映射到四個輸出象素之間的位置，則其灰度值就按插值法在四個輸出象素之間進行分配；
  
• 其二為后向映射法（象素填充法），這時將輸出象素逐個地映射回輸入圖象中，若輸出象素被映射到四個輸入象素之間的位置，則其灰度由它們的插值來確定。在實際中，通常采用后向映射法。
  
  圖像旋轉后,會出現許多空洞點,我們需要對這些空洞點必須進行填充處理,否則圖像旋轉后的效果不好,一般也稱這種操作為插值處理,最簡單的插值方法是最近鄰插值，即選擇離它所映射到的位置最近的輸入象素的灰度值為插值結果。復雜一點的方法是雙線性插值,如下圖所示:
  

3.3.2 仿射變換

其中 A 是變形矩陣，b是平移矢量。在2維空間，A可以按如下的四個步驟分解：尺度、伸縮、扭曲、旋轉

將一個點順時針旋轉a角，r為該點到原點的距離，在旋轉過程中，r保持不變；b為r與x軸之間的夾角。
旋轉前：x0=rcosb；y0=rsinb
旋轉a角度后：
x1 = rcos(b-a) = rcosbcosa + rsinbsina = x0cosa + y0sina；
y1 = rsin(b-a) = rsinbcosa - rcosbsina = -x0sina + y0cosa；

3.3.3 透視變換(Perspective Transformation)

透視變換是中心投影的射影變換，在用非齊次射影坐標表達時是平面的分式線性變換，具有如下的形式：

透視變換常用于圖象的校正，例如在移動機器人視覺導航研究中，由于攝象機與地面之間有一傾斜角，而不是直接垂直朝下（正投影），有時希望將圖象校正成正投影的形式，就需要利用透視變換。
下面看一個案例
在地面上取定一個矩形（不一定是正方形），要求它的邊平行或垂直于車體軸線，這樣的矩形在原始圖象中顯示為一個等腰梯形，如圖所示。

設A點的坐標為（x1,y1），C點坐標為(x2,y2)，則B、D的坐標分別是（φ-x1,y1）和(φ-x2,y2)。經過投影，ABCD四個點依此與規范化坐標系中的(0,0),(1,0),(0,1),(1,1)四個點相對應。把此對應關系代入上式，得
略

---

作業
1 完成圖像的雙線性差值旋轉的程序。
2 編制實現透視及仿射變換的程序，通過交互 輸入參數觀察效果。

---

3.4 鄰域運算

模板：模板就是一個矩陣（其實就是下面說的卷積核），也就是處理圖像這個過程對應的函數，對應卷積運算。
卷積運算：可以看做加權求和的過程，為了圖像增強和減少噪聲，用該像素點的鄰域像素點進行加權，得到處理完之后這個點的像素點（會把噪聲減弱，當然也會有別的問題）。
卷積核：上面不是說了卷積運算了嘛，這個點的鄰域和哪個矩陣進行加權啊？換句話說，這個點的鄰域那么多像素點，這些像素點所占的權重是多少啊？這些權重構成一個矩陣，這個矩陣就叫卷積核，卷積核的行數和列數都是奇數。
————————————————
版權聲明：本文為CSDN博主「lixin051435」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/tsfx051435adsl/article/details/78305643

四、圖像平滑

4.1 圖像噪聲

圖像噪聲產生的原因很復雜，有的可能是數字信號在傳輸過程中發生了丟失或者受到干擾，有的是成像設備或者環境本身導致成像質量不穩定，反應到圖像上就是圖像的亮度與顏色呈現某種程度的不一致性。

從噪聲的類型上，常見的圖像噪聲分為以下幾種：

• 高斯噪聲/符合高斯分布
  一般會在數碼相機的圖像采集（acquisition）階段發生，這時它的物理、電、光等各種信號都可能導致產生高斯分布噪聲。
• 均勻分布噪聲(實際不常見,模擬常用)
  均勻/規則噪聲一般都是因為某些規律性的錯誤導致的。
• 椒鹽噪聲(脈沖噪聲) 黑白的點
  是一種隨機在圖像中出現的稀疏分布的黑白像素點， 對椒鹽噪聲一種有效的去噪手段就是圖像中值濾波。
  

————————————————
版權聲明：本文為CSDN博主「kingkee」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/kingkee/article/details/93617051

4.2 圖像平滑

圖像平滑從信號處理的角度看就是去除其中的高頻信息，保留低頻信息。因此我們可以對圖像實施低通濾波。低通濾波可以去除圖像中的噪音，模糊圖像(噪音是圖像中變化比較大的區域，也就是高頻信息)。而高通濾波能夠提取圖像的邊緣(邊緣也是高頻信息集中的區域)。

根據濾波器的不同又可以分為均值濾波，高斯加權濾波，中值濾波， 雙邊濾波。
( 參考 【數字圖像處理】 圖像平滑 )

▲ 圖像處理的幾種濾波(含核的解釋)

五、邊緣檢測

邊緣是指其周圍象素的灰度有階躍變化(step edge)或屋頂狀變化(roof edge)的象素、常存在于目標與背景之間、目標與目標之間、目標與其影子之間。
分析手段：因為灰度的變化，可以反映為導數；因此，根據邊緣的形狀，可以通過求導的方法來尋求邊緣。邊緣的參數包括：邊緣強度(edge intensity)和邊緣方向(edge direction)。

下面具體展開:

• Roberts算子
  定義為：G(i ,j)=|f(i,j)-f(i+1,j+1)|+|f(i+1,j)-f(i,j+1)|
  
• Prewitt算子
  
• Sobel算子
  

---

(濾波和邊緣檢測可以結合起來)
然后去讀這篇博客:

▲ 徹底理解數字圖像處理中的卷積-以Sobel算子為例

▲ 卷積計算動圖

六、圖像分割

圖象分割是將圖象劃分為若干互不相交的小區域的過程。小區域是某種意義下具有共同屬性的象素的連通集合，如物體所占的圖象區域、天空區域、草地等。
圖像分割的目的:

• 圖像分割使得畫面場景被分為“目標物”及“非目標物”兩類,即將圖像的像素變換為黑、白兩種。
• 因為結果圖像為二值圖像，所以通常又稱圖像分割為圖像的二值化處理。

閾值是在分割時作為區分物體與背景象素的門限，大于或等于閾值的象素屬于物體，而其它屬于背景。這種方法對于在物體與背景之間存在明顯差別（對比）的景物分割十分有效。實際上，在任何實際應用的圖象處理系統中，都要用到閾值化技術。為了有效地分割物體與背景，人們發展了各種各樣的閾值處理技術，包括全局閾值、自適應閾值、最佳閾值等等。

• p率閾值化
  一般用于灰度圖像，使用條件是已知目標在政府圖像中所占的面積比為P%(需要先驗知識)，先得到圖像的灰度直方圖，然后從小到大累加，直到為P%，記錄當前灰度，以它為閾值來分割圖像。條件很苛刻，大部分情況下都用不上。

• 基于類間方差的閾值分割法

• 基于熵的閾值選取（Entropy）

• 循環迭代策略得到閾值

七、物體測量與特征抽取

1.測量周長、面積

在物體從圖象中分割出來后，進一步就可以對它的幾何特征進行測量和分析，在此基礎上可以識別物體，也可以對物體分類，或對物體是否符合標準進行判別，實現質量監控。與圖象分割一道，物體測量與形狀分析在工業生產中有重要的應用，它們是機器視覺的主要內容之一。例如，能將馬鈴薯或蘋果等農產品按品質自動分類的機器視覺系統，自動計算不規則形狀所包含面積的測量系統，將傳送帶上不同工件自動分類的視覺系統，等等。

• 周長
  
  其中，$n_{\theta }$ 是鏈中具有奇數值的鏈碼的個數，$n_0$是鏈中具有偶數值的鏈碼的個數。
• 面積
  A=x2y1-1/2x1y2-1/2x2y2-1/2(x2-x1)(y2-y1)=1/2(x1y2-x2y1)

2.外接矩形

當物體從圖象中分割出來以后，形狀描述特征與尺寸測量結合起來可以作為區分不同物體的依據，在機器視覺系統中起著十分重要的作用。

①長度和寬度
在已知物體的邊界時，用其外接矩形的尺寸來刻畫它的基本形狀是最簡單的方法。如果僅計算其在坐標系方向上的外接矩形是很簡單的，只需計算物體邊界點的最大和最小坐標值，就可得到物體的水平和垂直跨度。但通常需要計算反映物體形狀特征的主軸方向上的長度和與之垂直方向上的寬度，這樣的外接矩形是物體最小的外接矩形（MER-Minimum Enclosing Rectangle）。
計算MER的一種方法是將物體在90度范圍內等間隔地旋轉，每次記錄其坐標系方向上的外接矩形參數，取其面積為最小的矩形的參數為主軸意義下的長度和寬度。通常主軸可以通過矩（moments）的計算得到，也可以用求物體的最佳擬合直線的方法求出。

② 矩形度
矩形度用物體的面積與其最小外界矩形的面積之比來刻畫，反映物體對其外接矩形的充滿程度：
此外，另一個與形狀有關的特征是長寬比 它可以將細長的物體與方形或圓形的物體區別開來。
③ 圓形度
圓形度用來刻畫物體邊界的復雜程度，它們在圓形邊界時取最小值。最常用的圓形度是周長的平方與面積的比
④ 不變矩
矩的定義：對于二元有界函數f(x,y),它的(j+k)階矩是：

3.特征提取

如何尋找右圖中玩具車的位置

這就需要用到 <尺度不變特征變換匹配算法 Scale Invariant Feature Transform>
90年代British Columbia大學大衛.勞伊（David G.Lowe）教授總結了現有的基于不變量技術的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子－SIFT（尺度不變特征變換），這種算法在2004年被加以完善。

SIFT算法可以解決的問題

目標的自身狀態、場景所處的環境和成像器材的成像特性等因素影響圖像配準/目標識別跟蹤的性能。而SIFT算法在一定程度上可解決：

• 目標的旋轉、縮放、平移（RST）
• 圖像仿射/投影變換（視點viewpoint）
• 光照影響（illumination）
• 目標遮擋（occlusion）
• 雜物場景（clutter）
• 噪聲

SIFT算法的實質可以歸為在不同尺度空間上查找特征點（關鍵點）的問題。

SIFT算法實現物體識別主要有三大工序，1、提取關鍵點；2、對關鍵點附加詳細的信息（局部特征）也就是所謂的描述器；3、通過兩方特征點（附帶上特征向量的關鍵點）的兩兩比較找出相互匹配的若干對特征點

另參考 https://www.bilibili.com/video/av42629442

---

八、圖像的頻域變換

傅里葉變換, 看中國大學MOOC
https://www.icourse163.org/learn/WHUT-1003535158

---

?《第二部分》計算機視覺

2019-10-14 開始上計算機視覺
孫涵老師主頁 http://www.sunnyimgtech.com/

計算機視覺課程內容

計算機視覺發展史，MarT視覺理論
人眼成像原理
紋理、顏色和光源
攝像機參數與模型，攝像機標定
雙目視覺與立體觀測
運動目標檢測與跟蹤
計算機視覺典型應用

10-25 梁棟老師代課內容

1.華為P30拍月亮是如何實現的
2.手機單鏡頭人臉識別是如何實現的?為何照片無法欺騙鏡頭
擴展:單鏡頭、多鏡頭的功能
3.合成孔徑
4.景深

了解景深 這一篇就夠了
https://zhuanlan.zhihu.com/p/55740729

光圈越大，景深越淺
光圈越小，景深越大

?《第三部分》醫學圖像

醫學圖像來源

X光
CT
Pet-CT
核磁共振 MRI
超聲波(B超)

總結

以上是生活随笔為你收集整理的图像处理与分析 计算机视觉 医学图像的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。