雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)) AI 科技評論按：是否為了簡單的摳圖功能，還在苦苦修煉 Photoshop 大法？即使修煉成功了，是否覺得在摳圖這件事情上花費的時間依然太多？如今一個名叫 remove.bg 的工具可以免除你的這種煩惱，只要上傳照片后點擊確認，5 秒鐘后即可獲得一張透明無背景的主體照，而且在使用上完全免費。

由 byteq 開發(fā)人員 Benjamin Groessing 所開發(fā)的 remove.bg 是一款基于 Python、Ruby 和深度學(xué)習(xí)的摳圖工具，它通過 AI 技術(shù)自動識別前景層，然后將之與背景層分離開來。為了改善分離的細節(jié)效果和防止「串色」，團隊還專門增加了相關(guān)算法。

不過 Benjamin Groessing 也在個人推特上強調(diào)了，remove.bg 目前只能針對含有人像的照片，其他更復(fù)雜的主體識別功能，未來將根據(jù)用戶的反饋持續(xù)完善。

網(wǎng)站目前免費開放，無論你是專業(yè)設(shè)計師還是剛?cè)胄械倪\營小白，都可以上傳照片實現(xiàn)自動摳圖，免去選擇、標記等一系列繁瑣的常規(guī)操作。不過雷鋒網(wǎng) AI 科技評論在此提醒各位，該網(wǎng)站對于上傳照片的大小以及輸出照片的像素是有限制的，其中上傳的照片大小不能超過 8 M，輸出的照片像素也只有 500px。如果對最后的成圖質(zhì)量有較高要求，建議各位還是選擇使用 Photoshop。

在展示網(wǎng)站的試用效果以前，雷鋒網(wǎng) AI 科技評論先簡單介紹本次的考核標準：如何處置人物手中持有的物體

會否把過暗/過亮的衣服當成背景

光照不足下的識別效果

渣像素圖像的識別效果

會否出現(xiàn)無解的「破洞」

這些考核標準主要參考了 AI 科技評論去年介紹過的一項由 Gidi Sheperber 在 greenScreen.AI 所做的一項同性質(zhì)工作，我們想知道，這一年來我們的技術(shù)在面對同樣的問題時是否已經(jīng)有了進步：

1)如何處置人物手持的物體

我們可以看出，系統(tǒng)在面對大面積與人體相連的物體時，會將物體視作人體的一部分，當成前景圖處理；

而面對與人手相連程度較低的物體時，則會當做背景圖剔除掉。

2)會否把過暗/過亮的衣服當成背景

由于背景顏色與人物衣服顏色較相近，導(dǎo)致系統(tǒng)將其視作人體的一部分，如右邊小哥的背包；另外還有部分人物的衣物被視作背景的一部分，如右邊小哥的帽子。

由于背景顏色與人物穿著顏色有所區(qū)隔，所以最終出來的識別結(jié)果較出色，然而依然出現(xiàn)小范圍背景與人體粘連一塊的現(xiàn)象，主要集中在人體與人體之間的縫隙間。

3)光照不足下的識別效果

最終識別效果不俗，不過又一次出現(xiàn)大面積與人體相連物體被視作前景圖的情況(枕頭)，看來與團隊背后的算法設(shè)置有一定關(guān)系；

由于左邊光線不足導(dǎo)致人物被視作背景圖。令人驚喜的是，右邊人物的摳圖效果不俗，雖然部分背景被視作人體的一部分。

4)渣像素圖像的識別效果

選用照片像素為 105 x 186，「與人體相連面積較大的物體視作人體一部分」定律再次被驗證，此外，「人體與人體之間的縫隙被視作人體一部分」問題再次出現(xiàn)。

選用的照片像素為 185 x 185，暫時沒有可以挑剔的。

5)會否出現(xiàn)無解的「破洞」

在去年 Gidi Sheperber 的同性質(zhì)工作中，她發(fā)現(xiàn)有些本應(yīng)該不錯的摳圖結(jié)果，最終卻出現(xiàn)類似于被挖了一個洞的情況。對此，AI 科技評論在使用 remove.bg 的過程中未發(fā)現(xiàn)類似情況。

小結(jié)

目前看來，remove.bg 需要加強優(yōu)化的是人體與人體之間縫隙容易被視作前景圖的問題。另外 remove.bg 默認圖中的物品只要與人體的相連面積較大，一律視作前景圖處理，這點在未來可以考慮開放選擇項，讓用戶自行選擇，畢竟有些時候就只是純粹要摳的人物。

優(yōu)點方面，圖像的背景顏色只要不與人體顏色過分相近，remove.bg 在光線不足與低像素的摳圖表現(xiàn)還是讓人比較滿意的。重點稱贊 remove.bg 的響應(yīng)速度，每一張照片從上傳到生成最終結(jié)果，AI 科技評論的體驗是每張基本都不會超過 5 秒。最終出來的描邊效果雖然不算十分優(yōu)秀，但對一般用戶的使用而言完全綽綽有余。

Gidi Sheperber 的相關(guān)工作

Gidi Sheperber 的工作與 remove.bg 相比只能說是朋友之間的趣味實驗，她和朋友 Alon Burg 花了幾個月時間，基于 COCO 數(shù)據(jù)集采用語義分割技術(shù)和 Tiramisu 模型試圖打造一個摳圖模型。最后他們基于這項工作總結(jié)了許多關(guān)于數(shù)據(jù)選擇和模型訓(xùn)練上的問題，并提出相應(yīng)的改進方式，對我們來說有一定的啟發(fā)作用。

比如在模型的訓(xùn)練上，她們將范圍鎖定在肖像與自拍圖像，是因為肖像與自拍圖像有較突出和集中的前景，并且能保持相對穩(wěn)定的角度，這將有利于最終的圖像切割效果。因此不難理解為何 remove.bg 目前只能提供人像摳圖服務(wù)。

在模型的選擇上，她們采用了擁有極深編碼-解碼架構(gòu) Tiramisu，這是因為該模型緊湊且計算快速，同時兼?zhèn)?Unet 在實現(xiàn)方面的強項，最終的結(jié)果也沒讓她們失望，尤其是在圖像尖銳邊緣的捕獲上讓人非常驚艷。

Tiramisu 的通用架構(gòu)

數(shù)據(jù)集的選擇上也是經(jīng)過一番抉擇，他們最終才敲定包含最多「人」這一類別圖像的 COCO 數(shù)據(jù)集。基于時間和模型集中程度的考量，她們決定選擇與任務(wù)最相關(guān)的那一部分數(shù)據(jù)集，而舍棄了更一般性的數(shù)據(jù)集。這么做的好處是最終訓(xùn)練的模型會非常集中，然而面對更多場景和更具挑戰(zhàn)性的圖像時模型的表現(xiàn)可能會受影響。

以下為 Gidi Sheperber 和朋友的部分工作成果。

最終切割結(jié)果。從左到右分別是：圖像，真實數(shù)據(jù)，輸出結(jié)果(來自測試集)

他們在過程中發(fā)現(xiàn)，除了可能的代碼錯誤的正常調(diào)試之外，模型的錯誤是「可預(yù)測的」。如「切割」身體部分超出了正常的軀干范圍，沒必要的軀干延伸，光照不足，照片質(zhì)量低和照片中細節(jié)過多等。其中一些在添加不同數(shù)據(jù)集中特定圖像時被處理掉了，但是其它的一些則依然是一項還有待處理的挑戰(zhàn)。這些都被雷鋒網(wǎng)AI 科技評論總結(jié)成了上文中用于測試 remove.bg 摳圖效果的 5 條標準。

最后，Gidi Sheperber 也針對自身的工作提供了改進建議，比如在訓(xùn)練數(shù)據(jù)上采用更大分辨率的圖像、利用 CRF 改進圖像邊緣噪點問題、持續(xù)關(guān)注摳圖(Matting)技術(shù)的最新進展等。

最后強調(diào)一點，由于不同的實驗之間涉及的技術(shù)、模型、數(shù)據(jù)類型、數(shù)據(jù)數(shù)量和訓(xùn)練方式都不盡相同，本篇文章借用 Gidi Sheperber 的工作成果作為 remove.bg 的考核標準，肯定有失之偏頗的地方，畢竟 remove.bg 尚未對外公開背后的算法邏輯。無論如何，我們相信同性質(zhì)的工作互相都有可以借鑒的地方，感興趣的同學(xué)可以自行點擊《自拍摳圖摳到手軟？詳解如何用深度學(xué)習(xí)消除背景》查看 Gidi Sheperber 去年所做的這項工作的更多細節(jié)。

雷鋒網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

總結(jié)

以上是生活随笔為你收集整理的html5 自动扣图,5 秒实现自动抠图？见过 remove.bg 这款神器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。