導(dǎo)讀：

　　本文為CVPR2018論文《Deep Adversarial Subspace Clustering》的閱讀總結(jié)。目的是做聚類，方法是DASC=DSC（Deep Subspace Clustering）+GAN（Generative Adversarial Networks）。本文從以下四個(gè)方面來(lái)對(duì)論文做個(gè)簡(jiǎn)要整理：

　　背景：簡(jiǎn)要介紹與本文密切相關(guān)的基礎(chǔ)原理，DSC，GAN。

　　方法：介紹論文使用的方法和細(xì)節(jié)。

　　實(shí)驗(yàn)：實(shí)驗(yàn)結(jié)果和簡(jiǎn)要分析。

　　總結(jié)：論文主要特色和個(gè)人體會(huì)。

一、背景

　　論文方法DASC（深度對(duì)抗聚類）是基于DSC（深度子空間聚類）和GAN（生成對(duì)抗網(wǎng)絡(luò)）的，所以，在介紹論文方法之前，對(duì)DSC和GAN做個(gè)簡(jiǎn)要介紹。

　　1.DSC

　　1）原理（LRR）

　　首先要明確的是，整個(gè)論文的大方向是做聚類。做聚類以往已經(jīng)有非常多的方法，最近幾年比較流行也即DSC所采用的理論基石是低秩表示（LRR）。

　　LRR理論基本思想是，對(duì)于一個(gè)數(shù)據(jù)（如圖像或圖像特征等）可以表示為干凈數(shù)據(jù)部分和噪聲部分，其中干凈數(shù)據(jù)部分又可以采用字典和系數(shù)表示的形式，此時(shí)要求干凈數(shù)據(jù)的系數(shù)表示部分是低秩的，噪聲部分是稀疏的。此時(shí)，如果用數(shù)據(jù)本身作為字典，那么其系數(shù)部分就可以描述原始數(shù)據(jù)間的相似度。用數(shù)學(xué)公式表示如下：

　　

　　其中，X=[x₁,x₂,...x_n]∈R^d*n表示原始輸入數(shù)據(jù)（一般是圖像的特征），Z∈R^n*n表示系數(shù)部分，E∈R^d*n表示噪聲。

　　那么這個(gè)式子與聚類有什么關(guān)系呢？關(guān)系是，假設(shè)待聚類的數(shù)據(jù)分布于多個(gè)線性子空間，那么通過(guò)求解上述式子的最小化問(wèn)題，我們可以得到數(shù)據(jù)X間的相似度矩陣Z，有了相似度矩陣我們就可以對(duì)輸入數(shù)據(jù)X=[x₁,x₂,...x_n]進(jìn)行聚類。

　　因此，實(shí)現(xiàn)對(duì)多個(gè)d維數(shù)據(jù)x_i的聚類，LRR方法采用的方法是，將x_i按列組合成X，然后通過(guò)優(yōu)化上述式子，得到Z，最后將Z輸入到譜聚類算法中，就可以得到最終的聚類結(jié)果。

　　2）方法（網(wǎng)絡(luò)）

　　一般來(lái)說(shuō)，對(duì)于圖像做聚類，我們采用的方法是，對(duì)圖像提取特征，然后得到特征表示，組成X，然后采用LRR原理進(jìn)行聚類。但是這種先提取特征再進(jìn)行聚類的缺點(diǎn)是一個(gè)兩階段的過(guò)程，兩者不能互相促進(jìn)。

　　因此DSC將特征提取和相似度矩陣的學(xué)習(xí)融入到一個(gè)網(wǎng)絡(luò)中進(jìn)行統(tǒng)一學(xué)習(xí)。重新定義符號(hào)表示，用X表示輸入數(shù)據(jù)，Z表示特征，θ表示待學(xué)習(xí)的參數(shù)相似度矩陣，那么DSC的學(xué)習(xí)是最優(yōu)化下面的式子：

　　min ||Z-Zθ||F+λ||θ||F，以求得參數(shù)Z和θ。

　　網(wǎng)絡(luò)整體結(jié)構(gòu)如下：

　　

　　上圖所示，輸入圖像X，經(jīng)過(guò)兩層編碼器進(jìn)行編碼（即特征轉(zhuǎn)換），得到特征表示Z，然后將Z reshape成一個(gè)列向量，然后與后面變量Zθ進(jìn)行全連接，再將Zθ重新reshape成與前面相對(duì)應(yīng)的大小，再經(jīng)過(guò)兩個(gè)解碼層，得到恢復(fù)出的圖像。即，原圖->編碼得特征->解碼得原圖。

　　3）設(shè)計(jì)

　　DSC重點(diǎn)主要是Loss的設(shè)計(jì)，Loss由重建損失、參數(shù)正則損失、自表示損失幾部分組成：

　　

　　2.GAN

　　1）原理

　　

　　GAN由一個(gè)生成器和一個(gè)判別器組成。其中，生成器負(fù)責(zé)生成數(shù)據(jù)，從真實(shí)的數(shù)據(jù)中生成假的數(shù)據(jù)，期望假的數(shù)據(jù)越逼真越好。判別器負(fù)責(zé)判斷接收到的數(shù)據(jù)是真實(shí)的還是產(chǎn)生的，即一個(gè)二分類器，期望效果比較好，也就是說(shuō)真實(shí)的數(shù)據(jù)判別為真的概率更大，假的數(shù)據(jù)判別為真的概率更小。所以，在生成器期望生成的數(shù)據(jù)逼真到能夠欺騙判別器而判別器期望判別能力強(qiáng)的情況下，通過(guò)兩者的博弈，來(lái)達(dá)到生成數(shù)據(jù)能夠模擬真實(shí)數(shù)據(jù)的效果。

　　2）設(shè)計(jì)

　　實(shí)現(xiàn)GAN主要是通過(guò)Loss的設(shè)計(jì)，D的輸出為數(shù)據(jù)被判定為真實(shí)數(shù)據(jù)的概率，整體Loss如下：

　　

　　優(yōu)化D：

　　優(yōu)化G：

　　對(duì)于上述Loss的解釋是，優(yōu)化判別器D時(shí)，希望D判別能力強(qiáng)，那么就希望真實(shí)數(shù)據(jù)被判定為真的概率大，所以E_x~Pdata(x)[log(D(x))]應(yīng)該比較大，D(G(Z))比較小,Ez_~Pz(z)[log(1-D(G(z)))]應(yīng)該比較大，所以是最大化V(D,G)。優(yōu)化產(chǎn)生器時(shí)，期望偽造數(shù)據(jù)比較真，那么就希望Z為偽造品時(shí)，D(G(Z))比較大，也即Ez_~Pz(z)[log(1-D(G(z)))]比較小。

　　更多關(guān)于GAN的解釋可見(jiàn)其他博客，這里不做更詳細(xì)的解釋。

　　3）作用

　　使得偽造的數(shù)據(jù)足夠逼真，比如從噪聲數(shù)據(jù)，逐步學(xué)習(xí)，得到人臉數(shù)據(jù)等。

　　3.DASC

　　上面介紹完了DAC和GAN，我們知道DSC已經(jīng)可以做聚類了，而且聚類算比較好的了，那么還能不能再提高呢？答案是可以。

　　我們知道，DSC是一步一步訓(xùn)練得到Z來(lái)做聚類，其中有個(gè)問(wèn)題是，我們并不確定迭代到多少次效果比較好，也不能確定下次迭代就比上次得到的Z好，那么有沒(méi)有什么方法能夠指導(dǎo)無(wú)監(jiān)督網(wǎng)絡(luò)DSC的學(xué)習(xí)，讓網(wǎng)絡(luò)的訓(xùn)練每次都朝著效果更好的方向訓(xùn)練呢？

　　這就是DASC所做的工作了，基礎(chǔ)思想是，用GAN來(lái)指導(dǎo)DSC的學(xué)習(xí)，使其每次都朝著效果更好的方向發(fā)展。

二、方法

　　本章介紹DASC的方法，從原理、生成器、判別器、訓(xùn)練這四個(gè)部分分別進(jìn)行探討。

　　1）原理

　　用GAN指導(dǎo)DSC的學(xué)習(xí)，就需要明確下面兩個(gè)問(wèn)題。

　　一是，把處于同一子空間的數(shù)據(jù)，進(jìn)行線性組合得到新的數(shù)據(jù)，那么新的數(shù)據(jù)依然處于該子空間。反之，處于不同子空間的數(shù)據(jù)，進(jìn)行線性組合得到的數(shù)據(jù)跟原始數(shù)據(jù)處在不同子空間。（可以從下圖看出）

　　

　　二是，處在同一子空間的數(shù)據(jù)，判別器（即分類器）分辨不出是真實(shí)數(shù)據(jù)還是偽造的數(shù)據(jù)，即輸出概率為0.5。

　　通過(guò)一二知，聚類效果比較好->新數(shù)據(jù)依然處于該子空間->判別器無(wú)法判別真假。即，判別器越無(wú)法判斷真假數(shù)據(jù)，說(shuō)明聚類效果越好。

　　所以，我們要做的任務(wù)就是，通過(guò)生成器得到正（真實(shí)數(shù)據(jù)）次（線性組合得到的偽造數(shù)據(jù)）品，輸入到判別器中，經(jīng)過(guò)對(duì)抗學(xué)習(xí)，得到更好的相似度矩陣θ和特征表達(dá)Z，從而來(lái)得到最終的聚類結(jié)果。

　　

　　其中，生成器G包括DSC和正次品采樣層。下面的DSC得到中間聚類結(jié)果后，將Z輸入給采樣層，采樣層得到正次品輸入給判別器D。

　　2）生成器

　　生成器的操作步驟是：

　　11）聚類得到C_i和特征表示z_i。

　　22）計(jì)算類C_i中z_i到相對(duì)應(yīng)的子空間S_i的投影殘差L_r。其中S_i是由投影矩陣U_i來(lái)表示的，U_i（或者說(shuō)S_i）是判別器學(xué)習(xí)得到的，與生成器的學(xué)習(xí)無(wú)關(guān)。

　　

　　33）選擇投影殘差L_r最小的80%~90%的Ci中的數(shù)據(jù)作為正品。（因?yàn)榻?jīng)過(guò)DSC大部分的數(shù)據(jù)已經(jīng)是正確的。這里還可以起到去噪的作用）

　　44）隨機(jī)線性組合計(jì)算得到與正品同樣數(shù)量的次品。其中α來(lái)于[0-1]中的隨機(jī)數(shù)。

　　

　　55）將正次品輸給判別器D。

　　

　　3）判別器

　　11）學(xué)習(xí)的參數(shù)

　　學(xué)習(xí)的參數(shù)為子投影矩陣U_i(代表子空間S_i),用子空間來(lái)判別是正品還是次品。原則是，投影殘差L_r越小，說(shuō)明是正品（文章中說(shuō)能量越小）的概率越大，對(duì)判別器來(lái)說(shuō)Loss的輸出也應(yīng)該越小。反之Loss就越大。所以投影殘差L_r即與Loss成反比。

　　

　　22）優(yōu)化

　　經(jīng)過(guò)上述分析，直接給出Loss優(yōu)化如下。

　　????

　　????????????

　　

　　33）細(xì)節(jié)

　　投影矩陣U_i和類簇C_i并不是一一對(duì)應(yīng)的關(guān)系，因?yàn)槊看胃露夹枰乙幌率欠褡涌臻g投影矩陣是否有變化，所以需要C_i進(jìn)行競(jìng)爭(zhēng)U_i。競(jìng)爭(zhēng)的方式是，對(duì)每個(gè)類簇計(jì)算平均投影殘差，然后選擇具有最小平均殘差的U_i作為自己的投影矩陣。如果該U_i具有更小平均投影殘差的類簇，那么原類簇則采用對(duì)Z進(jìn)行QR分解來(lái)得到自己的U_i。

　　判別器采用兩層全連接感知機(jī)。

　　4）訓(xùn)練

　　11）DSC預(yù)訓(xùn)練初始化DASC網(wǎng)絡(luò)。

　　22）用Z_i的QR分解初始化U_i。

　　33）聯(lián)合交替更新DASC中的D和G，其中D更新五次，G更新一次。

三、實(shí)驗(yàn)

　　直接貼結(jié)果吧。

　　

　　

　　

　　

　　分析略。

四、總結(jié)

　　1.該文章采用了DSC+GAN的方式，是GAN在無(wú)監(jiān)督聚類上的首次成功運(yùn)用。

　　2.文章對(duì)無(wú)監(jiān)督的聚類進(jìn)行了定性的評(píng)估：線性組合在同一子空間（不能被判別器正確識(shí)別）說(shuō)明聚類效果好。

　　3.文章對(duì)無(wú)監(jiān)督聚類進(jìn)行了定量的評(píng)估：據(jù)子空間的投影殘差越小說(shuō)明屬于真實(shí)數(shù)據(jù)的概率越大。

　　4.在寫作方面，文章采用比較新穎刁鉆的方式。比如，把投影距離稱為能量大小，把線性組合稱為新子空間采樣。換湯不換藥，還顯得很好喝，就比較騷了。

　　本文對(duì)應(yīng)論文和ppt下載地址;網(wǎng)盤地址

轉(zhuǎn)載于:https://www.cnblogs.com/EstherLjy/p/9840016.html

總結(jié)

以上是生活随笔為你收集整理的【论文阅读】Deep Adversarial Subspace Clustering的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。