【python】圖像映射：單應性變換與圖像扭曲

• 單應性變換(Homography)
• 圖像扭曲（仿射變換）
• 圖中圖
• 分段仿射扭曲

單應性變換(Homography)

單應性變換(Homography)即一個平面中的點到另一個平面的映射關系，如下圖所示，使用單應性矩陣，將不同角度拍攝的圖像圖1和圖2變換到同一平面。

而實現單應性變化的重點就是對單應性矩陣H的求解。如下圖所示，其中x1y1表示圖像一的矩陣數據，x2y2表示圖像二的矩陣數據，而H則為單應性矩陣，通過求解H即可得出兩圖像間的映射關系。

在一般情況下，矩陣A不可逆，若需要求得t的值（下圖中t即為單應性矩陣）則需要做一定的數學變換

如下公式所示，進行轉換后，通過計算最小二乘解求得最小特征值對應的特征向量

再通過DLT（Direct Linear Transform）算法解決該最小二乘問題，如下圖，通過DTL算法得A = UDV^t, 而h （單應性矩陣）即為V的最后一行

單應性變換的結果誒下圖，圖中將圖1與圖2通過單應性變換進行了圖片融合

圖像扭曲（仿射變換）

圖像扭曲即仿射變換。仿射變換變化包括縮放、平移、旋轉、反射等，，原來的直線仿射變換后還是直線，原來的平行線經過仿射變換之后還是平行線。
仿射變換中一些性質會保持不變：
1.凸性
2.共線性：若幾個點變換前在一條線上，則仿射變換后仍然在一條線上
3.平行性：若兩條線變換前平行，則變換后仍然平行
4.共線比例不變性：變換前一條線上兩條線段的比例，在變換后比例不變

from numpy import *
from matplotlib.pyplot import *
from scipy import ndimage
from PIL import Imageim = array(Image.open('11.jpg').convert('L'))
H = array([[1.4,0.05,-100],[0.05,1.5,-100],[0,0,1]])
im2 = ndimage.affine_transform(im, H[:2,:2],(H[0,2],H[1,2]))gray()
subplot(121)
imshow(im)
axis('off')
subplot(122)
imshow(im2)
axis('off')
show()

圖中圖

如下圖所示，將一圖融入了二圖中，雖然圖片有些扭曲但這就是該算法所需要呈現的效果。圖像中的圖像即為仿射扭曲的一個簡單例子，它將圖像或者圖像的一部分放置在另一幅圖像中，使得他們能夠和指定的區域或者標記物對齊。為了能夠實現更加精準的匹配，我們可以使用分段仿射扭曲。

from numpy import *
from matplotlib.pyplot import *
from scipy import ndimage
from PIL import Image
def Haffine_from_points(fp, tp):"""計算H仿射變換，使得tp是fp經過仿射變換H得到的"""if fp.shape != tp.shape:raise RuntimeError('number of points do not match')# 對點進行歸一化（對數值計算很重要）# --- 映射起始點 ---m = mean(fp[:2], axis=1)maxstd = max(std(fp[:2], axis=1)) + 1e-9C1 = diag([1/maxstd, 1/maxstd, 1]) C1[0][2] = -m[0]/maxstdC1[1][2] = -m[1]/maxstdfp_cond = dot(C1,fp)# --- 映射對應點 ---m = mean(tp[:2], axis=1)C2 = C1.copy() # 兩個點集，必須都進行相同的縮放C2[0][2] = -m[0]/maxstdC2[1][2] = -m[1]/maxstdtp_cond = dot(C2,tp)# 因為歸一化后點的均值為0，所以平移量為0A = concatenate((fp_cond[:2],tp_cond[:2]), axis=0)U,S,V = linalg.svd(A.T)# 如Hartley和Zisserman著的Multiplr View Geometry In Computer,Scond Edition所示，# 創建矩陣B和Ctmp = V[:2].TB = tmp[:2]C = tmp[2:4]tmp2 = concatenate((dot(C,linalg.pinv(B)),zeros((2,1))), axis=1) H = vstack((tmp2,[0,0,1]))# 反歸一化H = dot(linalg.inv(C2),dot(H,C1))return H / H[2,2]def image_in_image(im1, im2, tp):"""使用仿射變換將im1放置在im2上，使im1圖像的角和tp盡可能的靠近tp是齊次表示的，并且是按照從左上角逆時針計算的"""# 扭曲的點m,n = im1.shape[:2]fp = array([[0,m,m,0],[0,0,n,n],[1,1,1,1]])# 計算仿射變換，并且將其應用于圖像im1中H = Haffine_from_points(tp,fp)im1_t = ndimage.affine_transform(im1,H[:2,:2],(H[0,2],H[1,2]),im2.shape[:2])alpha = (im1_t > 0)return (1-alpha)*im2 + alpha*im1_tim1 = array(Image.open('31.jpg').convert('L'))
im2 = array(Image.open('32.jpg').convert('L'))gray()
subplot(131)
imshow(im1)
axis('equal')
axis('off')
subplot(132)
imshow(im2)
axis('equal')
axis('off')# 選定一些目標點
tp = array([[264, 538, 540, 264], [40, 36, 605, 605], [1, 1, 1, 1]])im3 = image_in_image(im1, im2, tp)
subplot(133)
imshow(im3)
axis('equal')
axis('off')
show()

分段仿射扭曲

為了能夠實現圖像中角點的精確匹配，我們通常使用分段仿射扭曲。即首先通過三角化圖像塊再使用仿射扭曲來扭曲每個三角形，其中的核心部分即為圖像塊的三角化，可以通過狄洛克三角剖分實現，其具體如下：

from PIL import Image
from pylab import *
import numpy as np
from scipy.spatial import Delaunayx,y  = array(np.random.standard_normal((2,100)))
"""centers, edges, tri, neighbors = md.delaunay(x, y"""
tri = Delaunay(np.c_[x,y]).simplicesfigure()for t in tri:t_ext = [t[0],t[1],t[2],t[0]]plot(x[t_ext], y[t_ext], 'g')plot(x,y,'*')
axis('off')
show()

總結

以上是生活随笔為你收集整理的【python】图像映射：单应性变换与图像扭曲的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。