題目：Deep Defocus Map Estimation using Domain Adaptation
題目：使用區域適應的深度散焦map估計
作者：Junyong Lee 來自POSTECH
2019CVPR

名詞

Defocus Map Estimation Network (DMENet) 離焦map估計網絡
depth-of-field (DOF)dataset景深數據集–SYNDOF
circle of confusion (COC)

摘要

在這篇論文中，我們提出了第一個端到端卷積神經網絡(CNN)結構，離焦地圖估計網絡(DMENet)，用于空間變化的離焦地圖估計。為了訓練網絡，我們產生了一個新的景深(DOF)數據集SYNDOF，其中每個圖像都被一個地面真值深度圖綜合模糊化。由于SYNDOF的合成特性，SYNDOF圖像的特征可能與真實的散焦圖像不同。為了解決這個問題，我們使用了域適配技術，將真實的散焦照片的特征轉換為綜合模糊照片的特征。我們的DMENet由四個子網絡組成:模糊估計、區域適應、內容保存和清晰校準網絡。這些子網絡相互連接，并以端到端的方式與它們相應的監督進行聯合訓練。我們的方法在公共可用的模糊檢測和模糊估計數據集被評估，結果顯示的最先進的性能。

1引言

離焦map包含每像素的離焦模糊量或confusion圓的大小(COC)，在離焦模糊圖像中。從離焦圖像中估計離焦map可以極大地促進高層次的視覺信息處理，包括顯著性檢測[12]、深度估計[40]、前景/背景分離[22]和去模糊[39]。一種典型的離焦map估計方法是首先從模糊圖像中檢測邊緣，然后測量邊緣周圍的模糊量，最后在邊緣處插值估計的模糊量來確定均勻區域的模糊量。？？？

以前的邊緣驅動方法有一些限制。首先，模糊圖像的邊緣往往是模糊的，導致檢測不準確。其次，邊緣的模糊估計本身就容易出錯，因為深度不連續的物體邊界上的像素在散焦圖像[18]中混合了不同的coc。第三，邊緣模糊估計的不穩定性會導致均勻區域的預測可靠性降低。也就是說，在一個物體邊界的不同部分估計的模糊量可能是不連貫的，然后它們對均勻物體內部的插值只會產生平滑但不準確的模糊估計。例如，一個單一深度的物體的估計模糊量可能不是恒定的，因為當邊緣與附近物體的深度不連續度不同時，在相對邊緣單獨測量的模糊量不可能是相同的。

在這篇論文中，我們提出了DMENet (Defocus Map Estimation Network)，這是第一個端到端的CNN框架，它可以直接對給定的Defocus圖像進行Defocus Map的估計。我們的工作不同于之前的工作，因為我們的工作有一個明確的定義，我們試圖在COC的混合中估計COC的大小，我們使用相應針孔圖像中的深度值來推斷一個像素的COC大小。使用我們的COC定義訓練的網絡可以得到更可靠的模糊量估計，特別是在物體邊界處。該網絡還通過擴大其接受域來更好地處理均勻區域，以便將對象邊緣和內部信息一起使用來解決歧義。因此，我們的網絡顯著提高了混合COCs下的模糊估計精度。

為了支持這種網絡學習，高質量的數據集是至關重要的。然而，目前可用的數據集[29,4]是不夠的，因為它們要么是用于模糊檢測[29]，而不是模糊估計，或小尺寸的[4]。為此，我們生成了一個defocus-blur數據集，我們稱之為SYNDOF數據集。即使是人工操作，也幾乎不可能為失焦照片生成真實的離焦map。因此，我們使用針孔圖像數據集（ pinhole image datasets），其中每個圖像都伴隨著一個深度圖，來合成失焦圖像與相應的地面真相失焦圖。

我們的數據集的一個局限性是離焦模糊是合成的，在真實和合成離焦圖像的特征之間可能存在區域差異[9]。為了解決這一問題，我們設計了一個包含區域自適應的網絡，它能夠將真實散焦圖像的特征適應于合成圖像的特征，從而使網絡能夠估計真實圖像的模糊量with利用合成圖像進行離焦模糊估計的訓練。

總結，貢獻如下
1 第一個端到端CNN架構，直接估計精確的散焦map，不需要邊緣檢測;
2 SYNDOF defocus-blur數據集，該數據集包含了具有真實離焦map的合成離焦圖像;
3 區域適應，使學習通過一個合成數據集為真正的散焦圖像。

2相關工作

離焦圖估計
對于離焦圖估計，以往的工作大多是先估計出顯式檢測到的邊緣周圍的模糊量，然后將其傳播到周圍的均勻區域。Zhuo et al.[40]和Karaali et al.[13]使用圖像梯度作為局部模糊線索，計算原始圖像邊緣與重模糊圖像邊緣之間的模糊線索比例。Tang等人利用圖像邊緣附近的光譜對比度來估計稀疏模糊映射。Shi等人利用頻域特征、學習特征和圖像梯度來估計模糊量。Shi等人的[30]采用稀疏表示來檢測只是明顯的模糊，這不能處理大的模糊。Xu等人使用局部patch的秩作為模糊量的線索。Park等人使用[24]構建特征向量，這些特征向量包括手工制作的特征和從預先訓練好的模糊分類網絡中提取的深度特征，然后將這些特征向量輸入到另一個網絡中，以還原邊緣上的模糊量。所有這些方法通常依賴于只在圖像邊緣定義的特征，因此從均勻區域的邊緣內插的模糊量可能不太準確。

最近，機器學習技術已被用來密集估計離焦圖。Andres等人的[4]創建了一個數據集，其中真實散焦map標記為每個像素點擴展函數(PSF)的半徑，從而最小化了散焦圖像上的錯誤。他們訓練回歸樹域(RTF)來估計每個像素的模糊量。然而，由于訓練圖像的不足，該方法不能很容易地推廣，并且在深度邊界附近的像素處不具有魯棒性，因此無法準確地測量地面真實模糊量。Zhang等人通過手動將散焦圖像的每個像素標記為四個模糊等級:高、中、低、無模糊來創建數據集，用于訓練CNN分類。他們的方法在中大的模糊檢測數據集[29]上顯示了最先進的性能，但卻不能準確地估計模糊量，而模糊量對于諸如去模糊和深度估計等應用是必不可少的。

區域適應
區域適應[5]是為了解決基于學習的方法對其他還沒有被訓練領域的泛化能力 。Ganin等人提出了一種區域適應的對抗學習框架。給定一個帶標記數據的源領域和一個帶未標記數據的目標領域，它們的框架訓練一個用于源領域數據的標記分類器和一個用于對不同領域進行分類的域分類器。他們展示了一個使用他們的框架訓練的分類器可以很好地泛化到一個目標領域。

從那時起，已經開發了幾種方法。Tzeng等人[33]使用了一種對抗判別損失函數，Long等人[21]提出了一種殘差域分類器。Hoffman等人對語義分割的領域適應框架進行了擴展。Chen等人提出了基于類域自適應的道路場景語義分割方法。Hoffman等人提出了循環一致的對抗域適應，以獲得更好的適應性能。Bousmalis等人提出在像素空間中學習一種變換，將源域圖像轉換為目標域圖像。

我們使用領域適應來解決我們的綜合生成的訓練圖像和真實圖像之間的差距。以往的研究多采用領域自適應的方法進行二值或多標簽分類，如語義分割等，而我們采用領域自適應的方法進行圖像到圖像的回歸。

3我們設計的數據集SYNDOF

3.1數據收集

我們首先收集了合成的還有真實的圖像及他們對應的深度圖；我們沒有使用3D場景模型，以避免耗時的高質量渲染。我們的圖像來自MPI Sintel Flow (MPI)[35]、SYNTHIA[27]和Middlebury Stereo 2014 (Middlebury)[28]數據集。MPI數據集是一個游戲場景渲染的集合，SYNTHIA數據集包含了合成的道路視圖，而Middlebury數據集包含了具有精確深度測量的真實室內場景圖像。

MPI和SYNTHIA數據集包含了相似場景的序列，因此我們只保留了峰值信噪比(PSNR)和結構相似指數(SSIM)方面的不相似圖像，總共得到了2,006張不同的樣本圖像。然后，我們重復從樣本集中隨機選取一幅圖像，通過相機參數和焦距的隨機采樣來生成散焦圖像。我們生成的散焦圖像總數為8231張。表1顯示了詳細信息。

3.2薄透鏡模型

考慮到顏色深度對（ color-depth pairs）,我們使用薄透鏡模型[25]生成散焦圖像，這是一個標準的散焦模糊在計算機圖形學中(圖1)。讓焦距F(mm)，物距S1(mm)，和焦距比數n。像距是$f1=\frac{F{S}_1}{S_1?F}$和光圈直徑$D=\frac{F}{N}$。然后，位于物距x三維點的COC直徑c(x)的定義為:

3.3失焦模糊圖象生成

要將散焦模糊應用到圖像上，我們首先分別從深度圖中提取出最小和最大深度界限$x_{n}ear$和$x_{f}ar$。然后，我們從$[x_{n}ear,x_{f}ar]$的范圍內隨機抽樣s1。當使用Eq(1)計算c(x),我們只需要有抽象的物理參數α。在實踐中，x不接近零(意味著不非常接近鏡頭)，有一定的限制。為了方便有意義的捕獲條件的隨機生成，我們將COC的大小最大限制為cmax。因此,α的上界,用αup,

現在α是隨機抽樣在[0,αup]。然后,我們應用高斯模糊圖像與內核標準差σ,在那里我們經驗性定義$\sigma (x)=\frac{c(x)}{4}$。

為了根據計算出的COC大小l來對圖像進行模糊，我們首先根據每個像素的深度值將圖像分解為離散層，其中最大層數限制為350。然后,我們對每一層應用σ(x)的高斯模糊，模糊不僅圖像還有層的mask。最后，我們使用模糊蒙版作為alpha值，按前后順序alpha混合模糊層圖像。除了散焦圖像外，我們還生成標簽(即散焦map), 它記錄σ(x)值作為的單像素的模糊量 。這個layer-driven的散焦模糊類似于[15]的算法，但我們繞過了matting步驟，因為我們沒有把不同的深度放入同一層。

我們的SYNDOF數據集使網絡能夠準確地估計由于以下屬性造成的散焦map。首先，我們的散焦映射是密集標記的(每像素，而不是二進制)。密集的標簽尊重場景結構，包括對象邊界和深度不連續，并且解決均勻區域的不明確。第二，當像素在散焦圖像中用模糊量標記時，使用原始銳化圖像中的對象位置。然后，如果網絡遇到一種混合的COC(稱為部分交叉partial
occlusion[20])，一個模糊的像素會被監督具有它在銳化圖像中所具有的COC大小。注意mixture中其他的COCs在這個像素上是無關的，因為他們來自附近的前景或隱藏的表面(沒有顯示在銳利的圖像)[19]。這種在離焦圖中對COCs進行估計的澄清，與以前的研究相比是一個巨大的進步。

4 失焦模糊圖估計

4.1綜述

網絡設計
我們DMENet是一個新的架構，來從散焦圖像估計散焦map(圖2)。網絡由四個子網:模糊估計(B),域適應(D),內容保存?和清晰校準網絡(S)。

模糊估計網絡B是我們DMENet的主要部分，它由來自SYNDOF數據集的真實合成散焦map監督，用來預測新給定的圖象的模糊量。

為了能使B在真實的散焦模糊圖像上估計模糊量，我們在其上附加了域適應網絡D，從而最小化了合成和真實特征之間的域差異。

內容保存網絡C補充了網絡B，以避免模糊輸出。

銳度校準網絡S，通過告知網絡B給定的真實域的特征是否對應于銳度或模糊像素，從而允許真實域特征引導在散焦圖中產生正確的銳度。

我們的網絡結構的細節在補充材料中。

訓練
我們的最終目標是訓練模糊估計網絡B來估計真實圖像的模糊量。為了達到這個目標,我們共同訓練網絡B, D,和S，分別參數化為,θB，θD,θS。分別用三種不同的訓練集。注意，網絡C在我們的訓練中是固定的。

給定的訓練數據集,我們交替訓練θB和θS，這兩個的損失函數為Lg，θD損失Ld，跟隨同樣的對抗訓練的practice。損失Lg被定義為

其中|D|為D集合中的元素個數。LB、LC、LS、Ladv分別為模糊貼圖loss、內容保存loss、銳度校準loss、對抗loss，我們將在后面討論。λc、λS，λadv 是平衡損失各項的超參數。loss Ld定義為

LD是鑒別器損失，λD是平衡Lg和Ld的超參數。

在訓練過程中，網絡D、C和S根據輸入域的不同對B產生不同的影響。對于具有ground truth defocus maps (Is, y)∈DS，的綜合模糊圖像，我們使用測量均方誤差(MSE)的blur map loss LB，直接最小化y與預測defocus map B(IS)之間的差值。我們還使用網絡c將內容保存損失LC最小化，以減少預測B(IS)中的模糊度。

使用帶有二進制模糊maps的真實散焦圖像，從域轉移特征，校準銳度測量。在b的監督下，銳度校準損失LS指導網絡S對預估離焦圖B(IB)是否具有正確的模糊量進行分類，最終校準網絡b從域轉移特征估計正確的銳度。

最后，

一起使用，以最小化從合成和真實散焦圖像中提取的特征之間的區域差異。對于圖像IS, ground-truth域標簽是合成的，而IB和IR標簽是真實的。我們以對抗方式，最小化鑒別器的損失LD和對抗損失Ladv,我們訓練網絡D正確分類來自不同的輸入特性的域,而訓練網絡的B來迷惑D .

剩下的這一節中,我們描述了四種網絡及其相關損失詳細功能。

4.2模糊估計

模糊估計網絡B是DMENet的核心模塊。我們采用全卷積網絡(FCN)[10]，它是基于U-net架構的[26]，只做了少許改動。在初始化階段，我們使用一個預先訓練好的VGG19[31]來初始化編碼器，以獲得更好的特性表示。解碼器使用上采樣卷積代替反卷積來避免棋盤格偽影[23]。我們還在每個上采樣層應用了尺度輔助損失來指導離焦圖的多尺度預測。這種結構使我們的網絡不僅在不同的對象scale上健壯，也要考慮具有大量接受域的全局和局部上下文。在解碼器的最后一個上采樣層之后，我們附加具有短跳連接的卷積塊來細化自適應域特征。

我們使用均方誤差(MSE)的損失函數LB估計離焦地圖的整體結構和密集預測區域的模糊量。給定合成離焦圖像的大小為W H, LB定義為

B (Is;θB) i, j是模糊網絡B在像素(i, j)預測的模糊量，θB學習參數。yij是對應的真實離焦值。Laux是尺度輔助損失：

其中B(為;θBθaux) = (B (;θB);θaux)是輸出th up-sampling級別的網絡B轉換為分散注意力地圖由θaux小輔助網絡參數化。每個輔助網絡A由兩個卷積層組成，其中第一層的內核數量隨級別變化。λaux是一個平衡參數。wh是-th層離焦貼圖的大小。y是調整為W H的離焦地圖。LB是B中的上采樣層數。

4.3區域適應

我們的域適應網絡D比較了模糊估計網絡b所捕獲的真實和合成的散焦圖像的特征。我們對網絡D進行了對抗性訓練，使得這兩個域在提取特征方面具有相同的分布。原則上，D是GAN框架[7]中的一個鑒別器，但在我們的例子中，它使真實的和合成的散焦圖像的特征難以區分。我們設計了四個卷積層的CNN，每個卷積層后面都有一個批處理的歸一化層[11]和(ReLU)激活[36]。

分類器損失
我們首先將網絡D訓練成一個鑒別器，用鑒別器的損耗LD對來自合成域和實域的特征進行分類，定義為

z是一個標簽指示輸入特性是否來自一個真實的或合成的散焦圖像,即，輸入圖像I是實的還是合成的;如果特征是實數，則z = 0，否則z = 1。Blast(I，θB)返回的最后up-sampling層的特征圖的圖像。請注意,在這里我們只訓練鑒別器的參數,θD。

對抗損失
然后，我們訓練網絡B來最小化合成和真實散焦圖像特征之間的區域差異。給出了一個真實的散焦圖像IR，定義了用于域適應的對抗損失Ladv為:

我們固定參數θD,只有訓練θB。

這里的主要目標是訓練模糊估計網絡B，使它能夠處理來自同一領域的真實和合成的散焦圖像。隨著我們的域適應網絡D作為域分類器的能力越來越強，網絡B不得不為真實域和合成域生成更多不可分辨的特征，從而使提取的特征的域差最小化。

4.4內容保留

我們的模糊估計損失LB是一種MSE損失，具有產生模糊輸出的性質，因為它采用的是理想目標[17]的平均值的最小值。為了減少偽影,我們使用一個內容保護損失[6]，這個損失能丟衡量在特征空間φ的距離,而不是在圖像空間本身。我們將我們的內容保存網絡C定義為預訓練的VGG19[31]。在訓練過程中，對網絡B進行優化，使其最小化:

4.5清晰校準

我們的域適應網絡D專注于調節提取的特征在真實和合成散焦圖像之間的整體分布，它并沒有特別對齊這兩個域之間的特征對應的模糊量。換句話說，我們的模糊估計網絡B，從合成的離焦圖像，所學習的模糊量估計，不能很好地應用于真實的離焦圖像，我們需要為這兩種情況校準估計的模糊量。為了解決這個問題，我們的銳度校準網絡S為從真實的散焦圖像中獲取的特征提供了額外的信息，方法是將這些特征與模糊檢測數據集中可用的模糊信息進行關聯，其中圖像中的每個像素都被標記為銳或模糊。

對于數據集中給定的真實散焦圖像，我們訓練網絡S根據估計模糊度的正確性對網絡B的輸出進行分類。只有當被估計為銳化的像素在輸入圖像中屬于銳化區域時，預測才被認為是正確的。我們構建了1×1個卷積層的網絡S，跟著是批量歸一化和ReLU層，強制網絡B密集估計模糊度。應用s形交叉熵損失進行優化：

其中b為ground truth二值模糊map。

我們使用1×1內核保持網絡B和S的接受域相同大小。否則,隨著S的接受域變得大,從S向B的梯度將傳播到比B的接受域更大的區域。一個大的S的核S最終導致B生成一個污跡斑斑的散焦MAP。詳見補充資料。

5實驗

本節報告我們的實驗，評估DMENet在生成散焦MAP方面的性能。我們首先總結我們的實驗的設置,然后討論了子網之間（,B, C, D,S）相互連接的影響。然后我們比較我們的結果和最先進的方法，在大數據集[29]和RTF數據集[4]上,緊隨其后的是DMENet幾個應用。評價結果的細節附在補充材料中。

5.1實驗設置

訓練細節
我們使用Adam[14]來優化我們的網絡。網絡訓練批大小為4，初始學習率設定為0.0001，每20個epoch指數衰減率為0.8。我們的模型在大約60個epoch后收斂。eq(3)、(4)和(5)中的損耗系數設置為:λadv = 1 e-3，λD = 1.0,λC = 1e-4，λS = 2e-2,λaux = 1.0。

我們使用l= 4，表示在VGG19中，在第四個maxpooling 層之前的，最后一個卷積層。我們聯合訓練所有的網絡端到端的方式在PC上，PC配有NVIDIA GeForce TITAN-Xp (12 GB)。

數據集
對于用于訓練網絡B (Eq. (5))， C (Eq. (9))， D (Eq.(7))的合成的離焦圖像的數據集，我們使用的是SYNDOF數據集的圖像。我們限制COC的最大尺寸cmax為28。對于用于區域適應的真實散焦圖像數據集，我們使用了來自Flickr的2200張真實的散焦圖像，和504張來自中CUHK模糊檢測數據集[29]。為了清晰校準，我們也使用同樣的來自CUHK數據集的504張圖像來進行真實的去焦圖像IB，這需要使用二進制模糊map。在訓練期間，我們用隨機翻轉、旋轉和裁剪來增加所有的圖像。為了評估，我們使用了200張CUHK數據集的圖像和22張RTF數據集[4]的圖像，這些圖像不用于訓練。

5.2子網絡的評估

圖3顯示了子網增加對從合成(上行圖)和真實(下行圖)圖像中估計離焦圖的影響。給定一個合成圖像，DMENetB可以很好地估計離焦圖。然而，對于真實的散焦圖像，單獨使用子網B進行模糊估計是失敗的(圖3b)，這證實了合成圖像和真實散焦圖像的特征之間存在顯著的區域差異。通過我們的域適應，DMENetBD開始在一定程度上識別真實圖像的模糊程度(圖3c)，但是輸出是模糊的。添加內容保存子網絡(DMENetBDC)可以有效地從估計的散焦圖中去除模糊，增強紋理區域的估計(圖3d)。最后，通過銳度校準子網S, DMENetBDCS可以正確地對模糊或銳化區域對應的實域特征進行分類(圖3f)。我們還比較了DMENetBDCS具有和不具有按比例分布的輔助損耗Laux (Eq.(6))的結果。從圖3e可以看出，沒有輔助模塊的網絡生成的散焦圖不清晰、不準確。

5.3在CHUK和RTF數據集上的評估

我們將我們的結果與最先進的方法進行比較【40,30,24,13,38]。對于我們的模型，我們使用了最終的模型DMENetBDCS。為了定量地評估質量，我們計算了每種方法的準確率和召回率，在來自CHUK模糊檢測數據集上的200個測試圖像。由于數據集只包含基本事實的二進制模糊映射，我們將估計的散焦映射轉換為二進制模糊映射。按照Park【24]的方法，二值化的閾值τ是由τ=αvmax +(1-α)vmin，其中vmax和vmin是估計散焦map中的最大和最小值，α= 0.3。

圖4和圖5為定量比較結果。我們的網絡在accuracy上明顯優于之前的方法。Precision-recall曲線也顯示我們的方法的優越性，這個曲線是用不同級別的散焦計算的，不同等級是tao從vmin滑到vmax而形成不同等級的tao。

圖7直觀地將我們的網絡生成的結果與之前的方法進行對比，證實了我們的方法的優點。首先，我們的散焦圖與其他的相比，顯示了更連續的模糊度光譜。在圖7的第一行，隨著深度的變化，我們的結果顯示出更少的噪聲和更平滑的過渡。其次，我們的網絡對物體(如人、天空)的模糊度進行了更準確的估計，因為它被訓練來考慮物體邊界的coc和物體內部的地面真實模糊量的混合場景上下文。在圖的第二行，我們的結果顯示了一致的模糊量，同時明確尊重對象的邊界。在第三行，我們的方法為盒子表面和上面的符號估計一致的模糊量，而其他一些方法由于其強大的邊緣而對符號進行不同的處理。最后，我們的方法在齊次區域具有較強的魯棒性。在第二行和第四行，我們的結果顯示一些物體周圍幾乎沒有污跡，但就相對深度而言，它們仍然是準確的。例如，天空應該比山遠，這在其他方法中不一定會保留。

我們還報告了與最新的[38]方法相比的定性結果，該方法的實現尚未公布。從圖6可以看出，我們的模型可以處理更大的場景深度范圍。雖然我們的散焦地圖包括了場景中所有深度范圍內的人，但[22]的結果只處理了狹窄深度范圍內的人。

另外，我們對RTF數據集[4]進行了評估，該數據集由22張真實的散焦圖像和標有disc PSFs半徑的地面真相散焦地圖組成。對于所有考慮高斯PSF的比較方法(包括我們的)，我們使用[4]作者提供的轉換函數重新調焦離焦映射，該轉換函數通過測量最接近的擬合將高斯PSF映射到圓盤PSF。我們的網絡顯示了數據集的最新精度(表2)。更詳細的評估在補充材料中。

5.4應用

散焦模糊放大

給定一個輸入圖像及其估計散焦map,我們可以生成一個放大離焦模糊效果的圖像(圖8)。我們首先估計模糊σi量,為每個像素使用DMENetBDCS j。然后,我們使用m·σi模糊每個像素,jσ高斯模糊的內核,m是放大范圍在圖8)(m = 8。我們使用相同的模糊算法用于生成SYNDOF數據集。離焦模糊放大結果證明了我們估計的離焦map的準確性。

All-in-focus圖像生成
我們的估計散焦地圖可以利用自然去模糊(圖9)。估計散焦的map,我們生成一個內核每個像素的高斯模糊估計σ。然后利用超拉普拉斯[16]的非盲圖像反褶積技術;為了處理空間變化的去模糊，我們對分解層進行反褶積，并合成反褶積層的圖像。

從模糊中估計深度
從模糊的深度，即使沒有精確的光學幾何參數的存在（焦點，焦距，和光圈數量），我們可以在一個有限但常見的場景(即，焦點在深度znear或zfar)。我們使用光場數據集[8,34]來與地面真值深度圖進行比較。從圖10可以看出，我們估計的離焦圖可以為深度圖提供一個很好的近似。圖10:由DMENetBDCS估計的離焦圖深度。從左到右:輸入，深度從我們的估計離焦地圖和地面真實深度。

6. 結論

采用更精確的DOF渲染技術(如分布式光線追蹤[3])和更真實的光學模型(如厚透鏡或復合透鏡模型)可以改善SYNDOF數據集。更系統地捕獲訓練圖像，以覆蓋更多種類的現實世界散焦圖像，這也是未來工作的一個有趣方向。我們的網絡最適合使用LDR圖像，而強高光(即bokeh)可能不能得到妥善處理。我們計劃將bokeh和HDR圖像也包括在我們的SYNDOF數據集中。

Acknowledgements

我們感謝審稿人提出的建設性意見。這項工作由韓國科學和信息通信技術部通過IITP贈款(IITP-2015-0-00174)和NRF贈款(NRF- 2017M3C4A7066316, NRF- 2017m3c4a7066317)支持。它還得到了DGIST啟動基金項目(2018010071)的支持。

總結

以上是生活随笔為你收集整理的【论文精读】Deep Defocus Map Estimation using Domain Adaptation-2019CVPR的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。