智東西7月11日消息，近日，以色列魏茨曼科學(xué)研究所的研究人員開(kāi)發(fā)出了一項(xiàng)名為Double-DIP的新技術(shù)，該技術(shù)能讓系統(tǒng)在沒(méi)有大量訓(xùn)練數(shù)據(jù)的情況下，通過(guò)深度學(xué)習(xí)來(lái)對(duì)圖像進(jìn)行編輯，分離人們?cè)趫D片中想要的和不想要的部分。

該研究基于一項(xiàng)名為DIP（Deep Image Prior）的混合圖像恢復(fù)技術(shù)，因此研究人員將他們開(kāi)發(fā)的新分離圖像方法稱(chēng)為Double-DIP。

DIP技術(shù)的研究成果已于美國(guó)時(shí)間2018年7月18日提交在arxiv上，名為《圖像恢復(fù)的混合稀疏先驗(yàn)學(xué)習(xí)：深度學(xué)習(xí)與稀疏編碼的結(jié)合（Learning Hybrid Sparsity Prior for Image Restoration: Where Deep Learning Meets Sparse Coding）》。

魏茨曼科學(xué)研究所的Double-DIP研究成果則被收錄在IEEE計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議（CVPR 2019）中。

一、從零計(jì)算的深度內(nèi)部學(xué)習(xí)算法

想象一下，通過(guò)店面的窗戶(hù)拍攝一張照片給以前從未睜開(kāi)眼睛的人看，并要求他指出玻璃的倒影里和商店里都有些什么。但對(duì)這個(gè)人而言，照片里的一切都是混亂的。

一般來(lái)說(shuō)，計(jì)算機(jī)能夠執(zhí)行圖像分離的操作，但如果要做得更出色，它們通常需要人們手動(dòng)制定算法規(guī)則，或是為系統(tǒng)提供更多明確的演示，例如，告訴系統(tǒng)這是一幅圖像，以及圖像的組成部分是什么。

通常情況下，系統(tǒng)在機(jī)器學(xué)習(xí)中的許多任務(wù)都需要大量的訓(xùn)練數(shù)據(jù)，但這些數(shù)據(jù)并不總是可利用的。

因此，魏茨曼科學(xué)研究所的研究人員們研究了一種新的機(jī)器學(xué)習(xí)算法，該系統(tǒng)無(wú)需大量訓(xùn)練數(shù)據(jù)，僅憑一張圖片就能將人們想要的和不想要的圖片元素分離。同時(shí)，他們將這個(gè)能讓軟件從零開(kāi)始計(jì)算單個(gè)圖像內(nèi)部結(jié)構(gòu)的深度學(xué)習(xí)算法，稱(chēng)為“深度內(nèi)部學(xué)習(xí)”。

二、Deep Image Prior：多層次修復(fù)混合圖像

Deep Image Prior（DIP）是一種涉及多層神經(jīng)網(wǎng)絡(luò)的技術(shù)，該技術(shù)使用的也是深度學(xué)習(xí)算法，它主要讓系統(tǒng)通過(guò)訓(xùn)練以恢復(fù)特定的混合圖像。

首先，研究人員向網(wǎng)絡(luò)隨機(jī)輸入一個(gè)數(shù)據(jù)，并輸出一個(gè)混雜的像素圖。其次，網(wǎng)絡(luò)將自己輸出的圖像與研究人員給定的圖像進(jìn)行比較，并調(diào)整自己的內(nèi)部參數(shù)，以便下次生成出更接近目標(biāo)圖像的內(nèi)容。

對(duì)于同一個(gè)目標(biāo)圖像，系統(tǒng)需要將該過(guò)程重復(fù)數(shù)百次。

其中的關(guān)鍵是，DIP使用了一種反映大腦處理視覺(jué)信息方式的神經(jīng)網(wǎng)絡(luò)，能從邊緣、角落到四肢、動(dòng)物各方面來(lái)尋找圖像中具有重復(fù)特征的層次結(jié)構(gòu)。

這種結(jié)構(gòu)能充當(dāng)一種先驗(yàn)的預(yù)期。簡(jiǎn)單理解為，如果給定的圖象有什么問(wèn)題，例如存在灰塵或空白，網(wǎng)絡(luò)就會(huì)加強(qiáng)自己的預(yù)期，以覆蓋目標(biāo)的缺陷，并在適當(dāng)?shù)臈l件下生成更真實(shí)的東西。

最終，生成圖像的斑點(diǎn)消失，并且空白也被填補(bǔ)，變成了一個(gè)更好看的圖像版本。

三、Double-DIP：雙DIP結(jié)合，輕易分離圖像

Double-DIP結(jié)合了兩個(gè)DIP。這兩個(gè)DIP都能將隨機(jī)輸入的數(shù)據(jù)轉(zhuǎn)換成一張圖像，并將兩張圖像疊加在一起。

系統(tǒng)將組合的圖像與目標(biāo)圖像進(jìn)行比較時(shí)，DIP能獨(dú)立地調(diào)整它們的參數(shù)，使它們輸出的參數(shù)相加能更接近目標(biāo)圖像。

最后，每個(gè)DIP會(huì)聚焦在一組內(nèi)部相似的視覺(jué)特征或補(bǔ)丁上，并與其他DIP的視覺(jué)特征或補(bǔ)丁相輔相成，生成兩個(gè)不同的圖像，但兩幅圖像能組合在一起形成目標(biāo)圖像。

對(duì)此，魏茨曼科學(xué)研究所的計(jì)算機(jī)科學(xué)家、該研究論文的資深作者M(jìn)ichal Irani表示，她對(duì)兩個(gè)網(wǎng)絡(luò)能輕易將補(bǔ)丁分開(kāi)感到很驚訝，網(wǎng)絡(luò)就像奧卡姆剃刀（Occam’s razor，即兩種解釋中較簡(jiǎn)單的那個(gè)更有可能是真的）一樣學(xué)會(huì)了最簡(jiǎn)單的解釋。

四、多種圖像分離方式

有趣的是，在Double-DIP進(jìn)行圖像分離的過(guò)程中，有一些旋鈕可以精確地指導(dǎo)它如何分離圖像。

算法可以將畫(huà)面的前景和背景分開(kāi)。例如，畫(huà)面中的草地上有一只斑馬，系統(tǒng)會(huì)生成一只斑馬和一片空曠的草地。在不同的設(shè)置下，算法能將人們通過(guò)玻璃拍攝的圖像，分離成反射圖像和玻璃后面的圖像。

當(dāng)轉(zhuǎn)動(dòng)另一個(gè)旋鈕時(shí)，算法會(huì)生成一個(gè)模糊的圖像，并將畫(huà)面中的霾和城市天際線(xiàn)分離。

該算法除了能利用許多圖像訓(xùn)練系統(tǒng)之外，它還能在沒(méi)有經(jīng)過(guò)訓(xùn)練的情況下刪除照片水印。

莫斯科Skolkovo科學(xué)技術(shù)研究所的計(jì)算機(jī)科學(xué)家、原始DIP論文的主要作者Dmitry Ulyanov表示，他和團(tuán)隊(duì)設(shè)計(jì)DIP是為了研究網(wǎng)絡(luò)架構(gòu)的重要性，而不是創(chuàng)造實(shí)際應(yīng)用。

但他認(rèn)為，在魏茨曼科學(xué)研究所的Double-DIP研究中，該研究所提出了4到5個(gè)應(yīng)用，且應(yīng)用的實(shí)驗(yàn)也很神奇，這是對(duì)DIP的一次非常好的擴(kuò)展。

在魏茨曼科學(xué)研究所方面，Irani還認(rèn)為，零次學(xué)習(xí)（Zero-shot Learning）和小樣本學(xué)習(xí)(Few-shot Learning)是人工智能的一個(gè)重要組成部分。

目前，她的團(tuán)隊(duì)正在計(jì)劃將Double-DIP進(jìn)一步應(yīng)用到“雞尾酒派對(duì)問(wèn)題（Cocktail-Party Problem）”上，通過(guò)使用Double-DIP將多個(gè)混合聲音分成兩個(gè)或多個(gè)錄音。

雞尾酒派對(duì)問(wèn)題又稱(chēng)雞尾酒會(huì)效應(yīng)，指人的一種聽(tīng)力選擇的能力。在這種情況下，人們可以將注意力集中在某個(gè)人的談話(huà)中，而忽略背景中其他的聲音。

結(jié)語(yǔ)：將給人們的視覺(jué)體驗(yàn)帶來(lái)更多精彩和便利

魏茨曼科學(xué)研究所研發(fā)的Double-DIP算法用途非常廣泛，除了能通過(guò)訓(xùn)練不斷地調(diào)整參數(shù)，以更好地實(shí)現(xiàn)圖像分離外，還可以在無(wú)需大量數(shù)據(jù)訓(xùn)練的前提下去除圖片水印。

在未來(lái)，當(dāng)這一技術(shù)真正成熟落地后，它也許能更好地應(yīng)用于涉及法醫(yī)學(xué)、野生動(dòng)物觀察和藝術(shù)照片增強(qiáng)等計(jì)算機(jī)視覺(jué)領(lǐng)域，給人們的視覺(jué)體驗(yàn)帶來(lái)更多精彩和便利。

總結(jié)

以上是生活随笔為你收集整理的以色列研发出0经验AI，无需训练就能学会抠图的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。