本文同步發表在我的微信公眾號“計算攝影學”，歡迎掃碼關注

【轉載請注明來源和作者】

我們終于進入了新的篇章。這一次我來給大家介紹一下圖像合成與融合。

我們經?？吹揭恍┖芷婷畹腜S技術，例如下面這張，它把1928年的一位叫做Frankie Yale的黑幫老大被殺時的照片，與現在這棟房子的照片無縫融合在一起：

還有這張，將1945年柏林街道的照片和2010年的照片無縫的融合到一起

給天空加上彩虹，這是咱們很多時候后期處理相片時常見的手段：

改變花朵的顏色

交換水果的紋理外觀：

還有更妙的，在1994年上映的阿甘正傳里面，湯姆漢克斯和肯尼迪總統同框出鏡，即使是在大熒幕上也是毫無違和感。

https://www.zhihu.com/video/1087501356620656640

不得不說，圖像合成和融合真是一個很神奇的技術。因此我準備用好幾篇文章對此做一些詳細的介紹。下圖是提綱，這一篇文章會介紹三個技術：cut-and-paste, alpha blending, multiand blending

一、直接剪切粘貼技術（cut-and-paste)

在所有相關技術中，最直觀簡單就是cut-and-paste了，經常在攝影師后期制作中所采用，如果使用得當，它也可以創作出令人滿意的效果。

例如，下面照片如何制作出來？

其實它是由兩張照片中不同的部分按一定順序疊加而成的，大家可以看看下面的源圖像：

只要我們先放上左圖的背景，再疊加比爾蓋茨的人像，最后再疊加左圖的前景，就可以合成出最終的圖像。

從圖像中確定前景和背景的技術叫做摳圖，英文對應：Image Matting，而將摳出的部分無縫的貼入目標圖像的過程則稱為圖像合成，英文對應：Image Compositing. 為了技術術語的準確性，我這里引用《Computer Vision: Algorithms and Applications》的原文如下：

The process of extracting the object from the original image is often called matting (Smith and Blinn 1996), while the process of inserting it into another image (without visible artifacts) is called compositing (Porter and Duff 1984; Blinn 1994a).

Cut-and-paste技術如果應用得當，可以產生相當有藝術感的圖像，如下圖，這應該是在原始的人物和狗狗身上粘貼了很多紋理圖像形成的。

但很多時候，這個簡單的技術只會產生讓人沮喪的結果，例如下面的圖像中想要粘貼進去兩只企鵝，就真的是5毛錢的特效了。

既然剪切粘貼過于粗暴，生成的照片不夠自然，有沒有更好的方法呢？接下來我們就談談一種更好的方法：Alpha Blending

二、Alpha融合

Alpha融合是一個升級版的cut-and-paste，如果表示為公式的話是這個樣子：

output = foreground * mask + background * (1-mask)

由于上面使用的Mask是二值的，因此融合的圖像很不自然，大家從融合生成的圖像也可以看出

如果對Mask圖做稍稍的羽化，效果就會好很多，見下圖。對Mask圖做羽化的方法有很多，最直接的方法就是對其做一定尺度的高斯濾波，我在基本圖像濾波中已經講過了。

因此Alpha融合的效果好壞取決我們如何正確的設置Alpha Mask，如果要把一張圖中的一部分摳出，并融合到另外一張新的圖片中，主要牽涉到兩個步驟：

準確的摳圖獲取Alpha Mask

對Alpha Mask做合適的羽化，使得融合更自然

準確的計算Alpha Mask很多時候都是一件復雜的事情，我們下面看一個稍微復雜的例子。 有時候我們希望將兩張照片重疊到一起生成一張照片，例如下面兩張照片：

怎么融合它們呢？有很多人想出了一些聰明的方法?，F在介紹一種：

第1步：生成兩張圖像的distance transform圖

這個distance tranform圖中的每個像素值都表示原圖中對應的像素與其最近的黑色像素(zero pixels)的距離。如果你使用OpenCV的話，可以用distanceTransform函數來做到，如果是Matlab，則是bwdist函數。

第2步：計算Mask

接下來采用Alpha融合方式，可以得到最終的照片如下。你可以看到兩張照片已經比較好的融合到了一起，當然還可以看出一些細微的不自然處。

三、多頻段融合

要想讓Alpha融合結果顯得自然，很關鍵的一點是選擇合適的融合窗口大小。我用下面的實例來說明這個問題。

讓我們把以下兩張照片融合到一起。

如果選擇圖像中中軸線作為融合后兩個圖像的分界線，那么融合過程可以表示為：

這其實也是一種Alpha融合，實際上上面的過程就是：

leftImageWeight * leftImage + rightImageWeight * rightImage = OutputImage

其中：

leftImageWeight + rightImageWeight = 1

因此最終圖像的表現取決于兩張圖片的有效像素的重疊區域。 那么問題來了，這個重疊區域到底選擇多大呢？我以下圖來說明不同窗口大小的影響：

有一個經驗判斷準則是：

• 融合窗口大小要相當于輸出圖像中最大的顯著特征的大小，從頻譜上看生成的圖像所包含頻率個數應該是2的冪
• 融合窗口大小要小于2倍最小顯著特征的大小，從輸出圖像的頻譜上看最大頻率<=2*最小頻率

然而大家都知道，自然圖像通常包含了很多不同的特征，頻譜跨度也很大，此時選擇融合窗口就會非常困難，有沒有更好的方法呢？ 這就引入了一種新的融合方法：多頻段融合。下圖說明了這個思想：

因此總結其流程就是：

對要融合的兩張照片，構建拉普拉斯金字塔

對金字塔的每一層，應用以下公式進行融合

3. 利用融合后的金字塔重建出輸出圖像

我們來看一個著名的例子，一個蘋果和一個橘子如何通過中線融合到一起

利用上面的流程，我們來看看金字塔各層融合的情況：

OK，因此如果重建出原始圖像可以看到，我們這里講的多頻段融合，即拉普拉斯金字塔融合，實際上是在半自動的計算最佳的融合窗口和權重大小，其本質上還是一種線性融合：

在《Computer Vision: Algorithms and Applications》一書中還有很多有趣的例子，例如：

在實際實現過程中，為了節省計算量，可以考慮只用兩層金字塔來融合：

這在需要融合多張圖像時非常有用，例如下面我們需要將多張照片融合成一幅全景圖像：

這里我只是簡單的把多張經過裁剪的照片擺放在一起，還沒有經過融合。

如果進行了兩層金字塔融合，我們可以分別對低頻信號和高頻信號進行融合，所得到的圖像如下：

從這兩層圖像我們可以重建出最終的圖像：

由于兩層金字塔融合，甚至多層金字塔融合同時考慮到了圖像中的不同頻率的信息，因此通常融合出來的效果相比單層的Alpha融合（線性融合）更好。 就以上面的融合圖像來比較一下圖像的局部，大家可以看到金字塔融合的內容更清晰：

四、總結

我們在一開篇看到了很多圖像融合的實例，我希望它們已經成功的吸引了你的注意。而今天給大家介紹了圖像合成和融合的幾個基本的方法，包括cut-and-paste，alpha融合，以及多頻段融合。它們基本上都可以歸納為圖像之間的線性融合，其中多頻段融合是一種多層的線性融合。 我下一講將要講到一種效果非常好的融合方式：泊松融合。

我在如下的Jupyter Notebook中展示了本帖中的相關操作，你可以對著它獲取更深入的理解，也能夠進一步掌握用Python來進行圖像處理的一些技巧。

https://nbviewer.jupyter.org/github/yourwanghao/CMUComputationalPhotography/blob/master/class11/Notebook11.ipynb

跟這一系列專題文章相關的Notebook可以從https://github.com/yourwanghao/CMUComputationalPhotography.git獲取

參考資料：

這一篇文章的絕大部分素材來自于

[1] CMU 2017 Fall Computational Photography Course 15-463, Lecture 7

[2] Richard Szeliski, Computer Vision : Algorithms and Applications,

總結

以上是生活随笔為你收集整理的matlab两张图片合成一张_11. 图像合成与图像融合的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。