引言

服裝搭配是人們日常生活中不可缺少的重要部分，但并不是所有人都擅長服裝搭配。如下圖所示，一些缺少審美感知的人經常會困擾于以下三個問題：1）互補服裝（上衣、下衣）之間兼容與否；2）導致互補服裝不兼容的因素是什么；3）可供選擇的替換服裝有哪些。

事實上，近年來有許多研究工作已經圍繞服裝搭配和服裝推薦展開?，F有的研究工作主要是應用深度神經網絡對服裝圖像或文本描述進行特征提取，進而對互補服裝的兼容性進行建模。然而由于深度神經網絡的可解釋性較差，現有的技術大多只能判斷互補服裝之間的搭配與否，并不能綜合解決服裝搭配相關的三個關鍵問題。

為此，本文提出了一種基于屬性模板引導的可解釋服裝搭配方法，通過將神經網絡和矩陣分解相結合，全面解決互補服裝的搭配與否，不和諧因素識別和替換服裝的檢索問題。

模型

為解決問題 2 和 3，作者希望通過學習一些潛在的基于屬性的兼容搭配模板，來作為搭配參考，以解釋不兼容搭配套裝中的不和諧因素，即不和諧屬性。為此，作者提出了一個基于屬性模板引導的可解釋服裝搭配模型（PAICM）。模型的整體框架如下：

作者首先通過預訓練的服裝屬性分類網絡，得到服裝的語義屬性表示?；讷@取的語義屬性表示，作者通過多層感知機（MLP）建?；パa服裝的兼容性，以判斷互補服裝的兼容與否。同時作者使用非負矩陣分解（NMF），分別從搭配正例和負例套裝中學習得到基于服裝屬性的兼容和不兼容搭配模板。

其中，兼容搭配模板可以作為參考來解釋不兼容互補服裝中的不和諧因素，并對該不和諧屬性進行修改，進而檢索可供替換的互補服裝。為了促進服裝兼容性建模和兼容搭配模板學習的效果，作者巧妙地利用貝葉斯個性化排序算法（BPR）將兩者有機地聯合起來。?

接下來是對模型的具體介紹。

語義屬性表示?

由于現有公開的服裝搭配數據集缺少對服裝屬性的標記，所以作者使用 DeepFashion 數據集中帶有屬性標記的 Consumer-to-shop Clothes Retrieval Benchmark 作為輔助數據集，并對每種服裝屬性都預訓練了一個分類器。之后，作者將服裝搭配數據集中的服裝輸入預訓練好的屬性分類器中，并對得到的各屬性分類結果進行拼接，從而得到長度為 M 的向量作為服裝的語義屬性表示。

互補服裝兼容性建模?

為了判斷互補服裝兼容與否，作者將上衣和下衣的語義屬性表示（和）輸入到用于尋找服裝兼容性計算空間的 MLP，得到服裝的隱含表示和，其中 t 和 b 分別表示上衣和下衣。基于這些隱含表示，模型定義上衣 i 和下衣 j 的兼容性得分如下：

作者期望正例套裝中上衣 i 和下衣 j 的兼容性得分要高于負例套裝中上衣 i 和下衣 k 的兼容性得分。因此，可得到套裝之間的 BPR 損失函數如下：

搭配模板學習

物以類聚，人以群分。作者假設搭配的套裝之間會共享一些兼容的屬性模式（例如：{田園風、碎花、亞麻}），不搭配的套裝之間也會具有一些潛在的不兼容的屬性模式（例如：{男友風、OL、粉色}）。因此，作者將搭配正例套裝的語義屬性拼接并組成搭配正例矩陣，并利用 NMF 來挖掘潛在的兼容搭配模板如下：

其中，P 是兼容搭配模板矩陣，它的每一列都是一個長度為 2M 兼容搭配模板，表示如下：

其中是兼容搭配模板的數量。

同樣地，作者從搭配負例套裝中分解出不兼容搭配模板矩陣 U。最終可以獲得 NMF 損失函數如下：

對于分解得到的搭配模板，作者將其表示為上衣屬性模板和下衣屬性模板的級聯，即，并通過可以映射到服裝兼容性計算空間的 MLP 得到上衣屬性模板和下衣屬性模板的隱含表示和。在此，我們定義搭配模板自身的兼容性如下：

為了使互補服裝的兼容性建模和搭配模板的學習相互促進，作者首先利用歐氏距離從搭配模板集合中分別找到與正例套裝和負例套裝最接近的兼容搭配模板和不兼容搭配模板。作者期望該兼容搭配模板的兼容性得分要高于該不兼容搭配模板的兼容性得分，因此，可以得到潛在搭配模板之間的 BPR 損失函數如下：

綜合上述的三個損失函數，可以得到模型的目標方程如下：

解釋和建議?

為了解釋不兼容套裝中不和諧屬性，作者借助由上述模型學習得到的兼容搭配模板作為參考，找到不和諧屬性，根據不和諧屬性對不兼容套裝的語義表示進行屬性修改，并根據修改后的語義表示檢索新的服裝。如下圖所示，首先，作者通過計算歐式距離，找到與不兼容套裝最接近的兼容搭配模板，并計算和每個屬性表示的距離，從而判斷不兼容互補服裝中的不和諧屬性，表示如下：

其中表示第 z 個屬性的可能取值的個數。對于不兼容套裝中的不和諧屬性，作者根據兼容搭配模板的屬性表示對其進行相應替換，從而得到新的套裝的語義屬性表示?；诖?#xff0c;利用歐氏距離，即可檢索可用于替換的服裝，從而全面完成服裝搭配任務。

實驗

互補服裝兼容性建模性能實驗

作者在 FashionVC 服裝搭配數據集上測試了模型針對互補服裝兼容性建模的效果。具體來說，作者采用多種互補服裝兼容性判斷模型作為基準方法，以 AUC 作為評價指標，具體結果如下：

實驗結果證明了 PAICM 模型將服裝的語義屬性表示作為服裝的表征，并結合潛在兼容/不兼容搭配模板的學習，可以在互補服裝兼容性建模任務中取得相比現有方法更好的性能。

此外，由于潛在搭配模板的學習是模型的重要組成部分，作者探究了分解搭配模板的數量對互補服裝兼容性建模性能的影響，其實驗結果如下：

從圖中可以看出，當分解搭配模板的數量為 40-90 時，互補服裝兼容性建模性能相對較為穩定，同時也側面反映出模型對分解搭配模板的數量并不十分敏感。

為了更直觀地展示搭配模板，作者檢索了與兼容/不兼容搭配模板最接近的兼容/不兼容套裝，并根據每個搭配模板的語義語義表示，列舉了潛在搭配模板中較為顯著的屬性特征如下：

從圖中的套裝可以看出，兼容/不兼容搭配模板內部分別包含了一些兼容/不兼容的屬性模式。此外，作者發現每個兼容搭配模板包含的兼容屬性特征確實可以作為一種參考，來解釋不兼容套裝中的不和諧屬性。

兼容搭配模板屬性修改性能實驗

為了測試 NMF 在分解兼容/不兼容搭配模板方面的效果，作者將 NMF 與 K-means 算法進行了對比。其中，作者將 K-means 算法得到的聚類中心作為其“潛在搭配模板”。然后，作者利用這些搭配模板對不兼容搭配套裝的不和諧屬性進行修改替換，并計算屬性修改后的不兼容搭配套裝的兼容性得分。作者采用測試集中不兼容搭配套裝經屬性修改后兼容性得到提高的樣本比例作為評價指標，兩種算法的對比結果如下：

從圖中可以看出，在分解出相同數量搭配模板的情況下，基于 NMF 的屬性修改在提高不兼容套裝兼容性方面優于 K-means 算法。

為了直觀地展示 NMF 分解得到的兼容搭配模板的屬性修改能力，作者也列舉了部分屬性修改的實例如下：

對比上圖中原始的不兼容套裝和修改屬性后的套裝，我們確實可以看到修改屬性后的套裝兼容性得到提高，而且修改后的套裝與原始套裝的總體風格基本保持一致。因此這種屬性的修改相對容易被人們所接受。

綜合上述的實驗結果，我們可以看出本文所提模型不僅在互補服裝兼容性建模上有較好的性能，而且能夠綜合地完成互補服裝之間兼容與否、導致不兼容的屬性是什么、有哪些可供選擇的服裝等三個服裝搭配領域中的關鍵問題。

總結

作者提出了一種基于屬性模板引導的可解釋服裝搭配方法。該方法不僅能夠建?；パa服裝的兼容性，而且能夠解釋不兼容搭配套裝中的不兼容屬性并給出可供選擇的服裝建議，全面地解決服裝搭配問題。其中，作者利用 NMF 挖掘潛在的搭配模板，并以此作為參考對不兼容搭配套裝中的不和諧屬性進行解釋和修改。

實驗結果證明該模型有較好的互補服裝兼容性建模性能，同時也證明 NMF 在潛在搭配模板分解中有較好的效果。這篇文章為可解釋的服裝搭配提供了一種新的思路，是一篇值得分享的文章。

參考文獻

[1] Xuemeng Song, Fuli Feng, Jinhuan Liu, Zekun Li, Liqiang Nie, and Jun Ma. 2017. NeuroStylist: neural compatibility modeling for clothing matching. In Proceedings of the ACM International Conference on Multimedia. ACM, 753–761.?

[2] Xuemeng Song, Fuli Feng, Xianjing Han, Xin Yang, Wei Liu, and Liqiang Nie. 2018. Neural compatibility modeling with attentive knowledge distillation. In Proceedings of the International ACM SIGIR Conference on Research and Development in Information Retrieval. 5–14.?

[3] Al-Halah Ziad, Stiefelhagen Rainer, and Grauman Kristen. 2017. Fashion forward: forecasting visual style in fashion. In Proceedings of the IEEE International Conference on Computer Vision. IEEE, 388–397.?

[4] Ziwei Liu, Ping Luo, Shi Qiu, Xiaogang Wang, and Xiaoou Tang. 2016. DeepFashion: powering robust clothes recognition and retrieval with rich annotations. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 1096–1104.?

[5] Xiangnan He, Hanwang Zhang, Min Yen Kan, and Tat Seng Chua. 2016. Fast matrix factorization for online recommendation with implicit feedback. In Proceedings of the International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 549–558.?

[6] Xiang Wang, Xiangnan He, Meng Wang, Fuli Feng, and Tat-Seng Chua. 2019. Neural graph collaborative filtering. In ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 165-174.?

[7] Wei Xu, Xin Liu, and Yihong Gong. 2003. Document clustering based on nonnegative matrix factorization. In Proceedings of the international ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 267–273.

關于作者

韓賢靜，山東大學計算機科學與技術學院博士研究生。2017年9月于東北大學取得工學學士學位。研究方向主要集中在信息檢索和多媒體計算等領域。在國際權威期刊和國際頂級學術會議，包括IEEE Transactions on Image Processing、ACM SIGIR、ACM MM等發表相關論文。

宋雪萌，山東大學計算機科學與技術學院助理教授。2016年10月取得新加坡國立大學計算機科學系博士學位。此前，于2012年7月取得中國科學技術大學，電子工程與信息科學系學士學位。研究方向主要集中在信息檢索和社會網絡分析等領域。在國際權威期刊和國際頂級學術會議，包括ACM SIGIR, IJCAI, AAAI, ACM MM, ACM Transactions on Information Systems 等發表相關論文。此外，參與編寫由Morgan& Claypool出版的著作《Learning from Multiple Social Networks》。擔任ACM TOIS, IEEE TMM, IEEE TIP, ICMR 和 SIGIR 等國際期刊和會議的審稿人。

尹建華，山東大學計算機科學與技術學院助理教授。2017年6月取得清華大學博士學位，博士期間赴伊利諾伊大學香檳分校Prof. Jiawei Han實驗室交流訪問。2017年7月加入山東大學計算機科學與技術學院，主要從事數據挖掘和機器學習方面的研究工作。在國際頂級學術會議發表多篇一作論文，包括ACM SIGKDD, IEEE ICDE等，單篇最高引用超過100次。擔任ACM SIGKDD，IEEE TKDE，ACM TKDD等國際期刊會議的審稿人。

王英龍，齊魯工業大學（山東省科學院）黨委書記。兼任山東省科協副主席，山東省物聯網協會會長，山東省電子政務和大數據發展專家咨詢委員會專家。2002年起享受國務院政府特貼，2003年被評為山東省有突出貢獻的中青年專家。主要研究方向為物聯網技術、信息安全、醫學人工智能。承擔完成國家863、國家科技支撐計劃等重大項目20余項；以第一完成人獲得山東省科技進步一等獎2項、二等獎4項、三等獎2項；主持參與制修訂國家標準9部，出版專著1部，發表高水平學術論文40余篇，其中SCI論文15篇，申請授權專利30余項。

聶禮強，山東大學計算機科學與技術學院教授，博士生導師。擔任山東大學泰山學堂/精英班教授小組組長、山大-智洋人工智能聯合實驗室主任、山東省人工智能研究院院長。其于2009年和2013年分別從西安交通大學和新加坡國立大學獲得學士和博士學位。博士畢業后，在新加坡國立大學計算機學院以研究員身份從事科研工作三年半。2016年入選“齊魯青年學者”計劃和第十三批國家“青年千人”計劃，2018年獲得山東省杰出青年基金。主要研究興趣為多媒體計算和信息檢索。近五年在國際CCF A類會議或ACM/IEEE匯刊發表論文百余篇，如ACM MM、TIP、SIGIR、TOIS，專著一部；截止2019年9月，Google Scholar引用5200余次。聶禮強博士曾擔任多個國際著名期刊的客座編委，如IEEE Trans. On Big Data, ACM Transactions on Multimedia (ToMM)等；擔任國際會議ICIMCS 2017 程序委員會主席和Information Science 編委；擔任CCF A類會議ACM MM 2018/2019領域主席；擔任PCM 2018 special session主席。

點擊以下標題查看更多往期內容：?

• 巧用文本語境信息：基于上下文感知的向量優化

• 雇水軍刷分有效嗎？虛假評論的影響研究分析

• 基于深度強化學習的謠言早期檢測模型
  

• KDD 2019 | 使用神經網絡為A*搜索算法賦能

• 讓陌生人說出你的興趣：基于深度學習的推薦模型
  

• 基于雙層注意力機制的異質圖深度神經網絡
  

• 堅守還是離開？初期城市移民流失預測問題分析
  

  ????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的SIGIR 2019 | 为什么你的毛衣显胖又显黑？这个算法给你答案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。