[论文阅读]Which Is Plagiarism: Fashion Image Retrieval Based on Regional Representation for Design Prote
Which Is Plagiarism: Fashion Image Retrieval Based on Regional Representation for Design Protection
作者 | Yining Lang, Yuan He, Fan Yang, Jianfeng Dong, Hui Xue
單位 | 阿里；浙江工商大學(xué)；AZFT
會議｜CVPR2020
paper地址
概述
在服裝領(lǐng)域，雖然打假一直不斷，但盜版抄襲問題依舊普遍存在，而且從線上線下，抄襲手段越來越刁鉆。目前來看，服裝領(lǐng)域的抄襲有以下三類
?圖片盜用
? 抄襲成本很低，很容易被平臺的圖片檢索系統(tǒng)鎖定
?創(chuàng)意盜版
? 抄襲成本稍高，但基于相似度度量的算法，可以對它們進行召回和治理
?對服裝的某些區(qū)域進行修改
抄襲成本高，需要人工審核發(fā)現(xiàn)，打假成本也高
兩組盜版示例，其中每組中左圖為正版服裝，右圖為盜版服裝
盜版服裝檢索的難點
盜版服裝的形式層出不窮，有些盜版服裝跟原圖比較相似，但是有些并不相似
而且有些盜版服裝與原創(chuàng)服裝屬于不同的類型，提高了網(wǎng)絡(luò)訓(xùn)練時的要求
盜版服裝的定義
作為盜版服裝檢索領(lǐng)域的首次工作，作者對盜版服裝的定義是整體上抄襲原版服裝設(shè)計和風(fēng)格，服裝修改的局部區(qū)域數(shù)小于等于2
將圖像中的服裝分為五個區(qū)域，包括領(lǐng)子、胸部、腰部和兩個袖子區(qū)域
方法
基于三元組的損失函數(shù)（for 相似性檢索）
Ltri(I,I+,I?)=∑r=1Rmax?(DrI,I+?DrI,I?+m,0)Ltra=∑n=1NLtri(I,I+,I?)\begin{array}{c} \mathcal{L}_{t r i}\left(I, I^{+}, I^{-}\right)=\sum_{r=1}^{R} \max \left(D_{r}^{I, I^{+}}-D_{r}^{I, I^{-}}+m, 0\right) \\ \mathcal{L}_{t r a}=\sum_{n=1}^{N} \mathcal{L}_{t r i}\left(I, I^{+}, I^{-}\right) \end{array} Ltri?(I,I+,I?)=∑r=1R?max(DrI,I+??DrI,I??+m,0)Ltra?=∑n=1N?Ltri?(I,I+,I?)?
基于三元組的損失函數(shù)（for 盜版檢索）
Ltri′(I,I+,I?)=∑r=1Rmax?(DrI,I+?DrI,I?+m,0)?λrαtri=avg?{∥fr(I)?fr(I+)∥2;r=1,2,…R}max?{∥fr(I)?fr(I+)∥2;r=1,2,…R}Lpla=∑n=1N[Ltri′(I,I+,I?)?αtri]\begin{array}{c} \mathcal{L}_{t r i}^{\prime}\left(I, I^{+}, I^{-}\right)=\sum_{r=1}^{R} \max \left(D_{r}^{I, I^{+}}-D_{r}^{I, I^{-}}+m, 0\right) \cdot \lambda_{r} \\ \alpha_{t r i}=\frac{\operatorname{avg}\left\{\left\|f_{r}(I)-f_{r}\left(I^{+}\right)\right\|_{2} ; r=1,2, \ldots R\right\}}{\max \left\{\left\|f_{r}(I)-f_{r}\left(I^{+}\right)\right\|_{2} ; r=1,2, \ldots R\right\}} \\ \mathcal{L}_{p l a}=\sum_{n=1}^{N}\left[\mathcal{L}_{t r i}^{\prime}\left(I, I^{+}, I^{-}\right) \cdot \alpha_{t r i}\right] \end{array} Ltri′?(I,I+,I?)=∑r=1R?max(DrI,I+??DrI,I??+m,0)?λr?αtri?=max{∥fr?(I)?fr?(I+)∥2?;r=1,2,…R}avg{∥fr?(I)?fr?(I+)∥2?;r=1,2,…R}?Lpla?=∑n=1N?[Ltri′?(I,I+,I?)?αtri?]?
網(wǎng)絡(luò)框架
PS-Net總體框架
Network Backbone
HR-Net提取圖片的特征
? HR-Net 的多分辨率子網(wǎng)并行連接，使得每一個高分辨率到低分辨率的表征都從其它并行表示中反復(fù)接受信息，從而得到豐富的高分辨率表征
? 但HR-Net不是必須的，可以用ResNet、VGG-Net 等替代
Landmark Branch
關(guān)鍵點估計分支，為劃分區(qū)域做準(zhǔn)備，通過反卷積進行上采樣
Retrieval Branch
聚合局部區(qū)域的特征進行檢索
根據(jù) Landmark Branch 得到的關(guān)鍵點預(yù)測和 輸出的熱力圖，得到特定局部區(qū)域在特征圖上的位置
再根據(jù)特定區(qū)域在特征圖上的位置，通過ROI pooling得到 Retrieval Branch 的特征圖中該區(qū)域相應(yīng)的局部特征圖
Plagiarized Fashion 數(shù)據(jù)集
?總共60,000張圖片,其中40,000用于訓(xùn)練 20,000用于測試
?包括4類服裝：短袖T恤、長袖上衣、外套以及連衣裙
?圖片從淘寶網(wǎng)爬取并經(jīng)過專家標(biāo)注
不同類型服裝通常被篡改的部位不同
總結(jié)
?提出了一個新的抄襲服裝檢索問題
?建立了新的用于抄襲服裝檢索的數(shù)據(jù)集Plagiarism Fashion
?提出了一種基于區(qū)域表示的多任務(wù)網(wǎng)絡(luò)PS-Net且達到了SOTA
?PS-Net還可以用于傳統(tǒng)的服裝檢索和關(guān)鍵點估計任務(wù)
總結(jié)
以上是生活随笔為你收集整理的[论文阅读]Which Is Plagiarism: Fashion Image Retrieval Based on Regional Representation for Design Prote的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： fleaphp 快速开发php框架
- 下一篇： HAL 库中 GPIO 工作模式配置（H