11.51 基于幻象技術(shù)的異質(zhì)人臉圖像合成

基于稀疏特征選擇的方法，以及現(xiàn)有的大部分算法在合成人臉圖像時(shí)，多是采用線性組合的方式。線性組合，即線性加權(quán)平均，可以看作一低通濾波器，會(huì)過濾掉一些高頻細(xì)節(jié)信息，如圖2所示。此外，由于現(xiàn)有的異質(zhì)人臉圖像合成算法對圖像分塊多采用相鄰塊覆蓋的方式，故在最后融合生成一整張人臉時(shí)需要將重疊區(qū)域平均，這也會(huì)帶來一定的模糊效應(yīng)，過濾掉部分高頻細(xì)節(jié)信息。
那么是否能夠通過學(xué)習(xí)輸入測試照片到殘差圖像之間的映射關(guān)系來學(xué)習(xí)丟失的高頻細(xì)節(jié)信息？而人臉幻象 (face hallucination)，即人臉超分辨重建，一般是在中低頻的初始估計(jì)基礎(chǔ)上加上學(xué)習(xí)得到的高頻細(xì)節(jié)信息，這與我們的任務(wù)不謀而合。受人臉幻象思想啟發(fā)，因此提出如何在初始估計(jì)基礎(chǔ)上學(xué)習(xí)得到丟失的高頻信息以進(jìn)一步提高合成人臉圖像的質(zhì)量。

受兩步人臉幻象[13]框架啟發(fā)，提出一種兩步框架來進(jìn)一步增強(qiáng)合成圖像的高頻細(xì)節(jié)。所提出的框架步驟為（以人臉畫像合成為例）：第一步，利用第二章中介紹的基于稀疏特征選擇的人臉圖像合成方法合成一張初始估計(jì)，這里也可以用現(xiàn)有的其他基于線性組合的方法；第二步，利用支撐向量回歸(Support Vector Regression，SVR) 學(xué)習(xí)照片和畫像高頻細(xì)節(jié)之間的映射關(guān)系，并對輸入的照片進(jìn)行高頻信息的估計(jì)；最后將兩步分別得到的初始估計(jì)與殘差圖像進(jìn)行疊加得到最終輸出的合成畫像。下面主要介紹基于支撐向量回歸的幻象部分，即殘差補(bǔ)償。

這里定義的高頻信息為圖像塊灰度值減去塊均值。支撐向量回歸模型的輸入特征取為圖像塊的灰度值減去塊均值，輸出為對應(yīng)模態(tài)圖像塊中心像素的灰度值減去塊均值。為了進(jìn)一步提高學(xué)習(xí)的效率和效果，首先將圖像塊聚類，然后每個(gè)類分別學(xué)習(xí)一個(gè) SVR模型。測試階段，對于每個(gè)圖像塊，首先根據(jù)聚類中心選擇距離最近的類對應(yīng)的支撐向量回歸模型，進(jìn)而進(jìn)行高頻信息的回歸，算法框圖如圖 3 所示。

訓(xùn)練階段，首先對訓(xùn)練畫像 - 照片對分成一些均勻大小的塊，塊與塊之間保持一定的重疊區(qū)域；然后用 K-means 聚類方法將這些塊聚成 M 類，每一類利用支撐向量回歸訓(xùn)練得到一回歸模型。我們采用 LIBSVM( 采用默認(rèn)參數(shù) ) 進(jìn)行訓(xùn)練。測試階段，先對輸入照片進(jìn)行與訓(xùn)練階段同樣的分塊，提取特征；然后對于每個(gè)塊根據(jù)與各個(gè)類中心的歐式距離尋找最近鄰的類，隨后用對應(yīng)的 SVR 模型進(jìn)行回歸得到輸出高頻圖像對應(yīng)塊中心的高頻值。將所有合成的這些高頻信息重新排列即可得高頻細(xì)節(jié)圖像。最后將所得高頻細(xì)節(jié)圖像加到初始估計(jì)上，即可得到最終的合成結(jié)果。

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的《中国人工智能学会通讯》——11.51 基于幻象技术的异质人脸图像合成的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。