作者 | 張澤宇

編輯 | 臧晨宇

校對?| 李仲深

今天給大家介紹天津大學(xué)張長青老師等人在CVPR2017上發(fā)表的文章“Latent Multi-view Subspace Clustering”。與直接使用原始特征進(jìn)行單視圖的子空間聚類不同，本文提出了一種潛在多視圖子空間的聚類方法(LMSC)，用數(shù)據(jù)點(diǎn)的潛在表示進(jìn)行聚類，同時在多個視角中發(fā)掘互補(bǔ)信息。該方法在多視圖中尋找數(shù)據(jù)的潛在表示，并在此基礎(chǔ)上對數(shù)據(jù)進(jìn)行重構(gòu)，建立了數(shù)據(jù)的完備表示，提高了子空間表示的準(zhǔn)確性和魯棒性。該方法同時采用了ALM-ADM算法進(jìn)行優(yōu)化，使效果得到了提高。

一、研究背景

1.1?背景

子空間聚類在許多領(lǐng)域都有廣泛應(yīng)用，尤其對于具有高維特征的數(shù)據(jù)而言，具有十分重要的作用。一般來講，子空間聚類假設(shè)數(shù)據(jù)點(diǎn)是從多個子空間中提取的，并都能夠?qū)?yīng)到不同的簇中。一種基于自我表示的子空間聚類方法曾被提出，該方法用數(shù)據(jù)點(diǎn)本身的線性組合來對數(shù)據(jù)點(diǎn)進(jìn)行表示，并使用損失函數(shù)和正則化項(xiàng)來作為目標(biāo)函數(shù)。除此之外，稀疏子空間聚類(Sparse Subspace Clustering, SSC)、低秩表示聚類(Low-Rank Representation clustering, LRR)、平滑表示聚類(Smooth Representation clustering, SMR)等方法也使子空間聚類的效果得到了一定的提升。

雖然上述的子空間聚類方法取得了較好的效果，但通常對原始數(shù)據(jù)特征的質(zhì)量有較高要求，在特征缺失等情況下會受到較大影響。因此，一些多視圖子空間的聚類方法被提出，用于改善上述缺點(diǎn)。

在多視圖子空間聚類中，數(shù)據(jù)點(diǎn)由多源特征進(jìn)行描述，這些多視圖的數(shù)據(jù)表示有著更豐富的信息，使聚類取得更好的效果。通常，這些方法可以在原始數(shù)據(jù)的各個視角中進(jìn)行數(shù)據(jù)重建，并在各視角下生成子空間表示。然而，分別使用單個視角進(jìn)行數(shù)據(jù)重建往往不能對數(shù)據(jù)點(diǎn)有很好的整體把握，而且可能存在較大的噪聲，這都可能影響聚類效果。

為了解決上述問題，本文提出了一種數(shù)據(jù)的潛在表示，來充分發(fā)掘數(shù)據(jù)之間的關(guān)系，并能夠有效處理噪聲。本文假設(shè)各個視圖都由一個潛在的表示空間產(chǎn)生，并且這個空間能夠在本質(zhì)上描述數(shù)據(jù)，且能夠揭示不同視角下所蘊(yùn)含潛在結(jié)構(gòu)的共同特征。

基于上述假設(shè)，本文提出了潛在多視圖子空間聚類方法(Latent Multi-view Subspace Clustering, LMSC)。該方法學(xué)習(xí)了多視角特征下的潛在表示，并生成了多視角共同子空間下的表示，而不再僅限于單個視角。本文還將潛在表示學(xué)習(xí)和多視圖子空間聚類整合為統(tǒng)一框架，并使用交替方向最小化的增廣拉格朗日乘子法(Augmented Lagrangian Multiplier with Alternating Direction Minimization, ALM-ADM)進(jìn)行優(yōu)化，使效果得到了提高。

1.2?相關(guān)工作

此前，多數(shù)的多視圖聚類方法都基于圖模型，有一些方法基于矩陣因子分解或基于數(shù)據(jù)集在原始視圖上的自我表示，有一些方法對一致性進(jìn)行了優(yōu)化。除此之外，有一些方法基于K-means來解決大規(guī)模多視圖聚類。另外，多核學(xué)習(xí)、潛在空間的稀疏子空間聚類(Latent Space Sparse Subspace Clustering, LS3C)和潛在低秩表示(Latent Low-Rank Representation, LatLRR)等方法也被提出。

二、模型與方法

2.1?模型與概述

考慮V個視圖下的N個數(shù)據(jù)點(diǎn)集X，我們的目標(biāo)是對于每一個數(shù)據(jù)點(diǎn)xi獲得一個潛在表示hi，所有N個潛在表示hi構(gòu)成H。我們考慮重構(gòu)函數(shù)P(v)，該函數(shù)能夠?qū)⒔y(tǒng)一的潛在表示hi還原為單一視角v下的數(shù)據(jù)點(diǎn)xi，考慮噪聲ei，則可用圖1表示其關(guān)系。

圖1.重構(gòu)函數(shù)、潛在表示、單一視角下數(shù)據(jù)點(diǎn)與噪聲的關(guān)系

因此，需要優(yōu)化的目標(biāo)函數(shù)如圖2所示。

圖2.目標(biāo)函數(shù)

進(jìn)一步，可以結(jié)合自表示方法，并引入相應(yīng)的正則項(xiàng)，優(yōu)化的目標(biāo)函數(shù)如圖3所示。其中Z是重構(gòu)系數(shù)矩陣。

圖3.目標(biāo)函數(shù)

其中，λ1與λ2用于平衡三項(xiàng)之間的影響權(quán)重。考慮魯棒性等因素，最終的目標(biāo)函數(shù)如圖4所示。

圖4.最終的目標(biāo)函數(shù)

目標(biāo)中使用了矩陣的核范數(shù)，能夠使最終子空間表示盡可能低秩。

目標(biāo)函數(shù)中的第一項(xiàng)使所得的潛在表示h能夠在P的變換下，還原回單個空間的數(shù)據(jù)表示，從而保證有用信息得到保留；第二項(xiàng)則表示多視圖子空間下潛在表示的重構(gòu)損失；第三項(xiàng)使得到的潛在表示盡可能低秩。

通過建立上述模型，我們得到的潛在表示具有較為顯著的優(yōu)點(diǎn)。

首先，由于綜合了多視圖中的互補(bǔ)信息，相對于單視圖而言，所得的潛在表示能夠更為全面地對數(shù)據(jù)進(jìn)行表述，進(jìn)而能夠提高聚類的效果；另外，使用的矩陣塊范數(shù)能夠使使模型更具魯棒性。

最后，我們將兩項(xiàng)矩陣E進(jìn)行拼接，得到圖5的目標(biāo)函數(shù)。

圖5.拼接處理后的目標(biāo)函數(shù)

2.2? 模型優(yōu)化

雖然模型中的參數(shù)較多，但我們可以分別固定一些參數(shù)來優(yōu)化其它參數(shù)，從而將問題分解成幾個迭代的子問題求解。使用ALM-ADM方法可以解決我們的問題。為了使用該方法，我們引入變量J，并將目標(biāo)函數(shù)改寫為圖6形式。

圖6.引入J后的目標(biāo)函數(shù)

運(yùn)用ALM方法，函數(shù)如圖7所示。

圖7.運(yùn)用ALM方法的函數(shù)

隨后，我們分別求解P,H,Z,E,J五個參數(shù)優(yōu)化的子問題，并在最后更新乘數(shù)。

具體子問題優(yōu)化方法與乘數(shù)更新方法較為復(fù)雜，可詳見論文原文。

最終，算法流程如圖8所示。

圖8.LMSC算法流程

三、實(shí)驗(yàn)結(jié)果

本文在真實(shí)數(shù)據(jù)集和合成數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)評估，其中合成數(shù)據(jù)集用于驗(yàn)證多視圖算法的效果。

實(shí)驗(yàn)采用NMI,ACC,F-measure,RI等指標(biāo)進(jìn)行效果評價。

合成數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如圖9，真實(shí)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如圖10，在MSRCV1數(shù)據(jù)集上使用t-SNE的對不同視角和潛在表示的可視化結(jié)果如圖11。可以發(fā)現(xiàn)，本文提出的方法在準(zhǔn)確率等方面相比于現(xiàn)有方法有較大提升，而且多視圖相較于單視圖的效果有顯著提升。

圖9.合成數(shù)據(jù)集上的魯棒性實(shí)驗(yàn)

圖10(a).真實(shí)數(shù)據(jù)集下各方法在聚類任務(wù)上的效果對比

圖10(b).真實(shí)數(shù)據(jù)集下單視圖與多視圖聚類任務(wù)效果對比

圖11.不同視角與潛在表示的對比

四、總結(jié)

本文提出了在多視圖數(shù)據(jù)上學(xué)習(xí)多視角潛在表示的方法，并使后續(xù)的聚類任務(wù)得到了性能提升。該方法充分利用了不同視圖之間的互補(bǔ)性，且不同于此前其它方法在單視圖下進(jìn)行的數(shù)據(jù)重構(gòu)。除此之外，由于方法基于多視圖和稀疏結(jié)構(gòu)，因此具有較好的魯棒性。此后，對于大規(guī)模數(shù)據(jù)的處理和非線性核方法的應(yīng)用可能會對該模型做進(jìn)一步的優(yōu)化。

---

參考文獻(xiàn)

C. Zhang, Q. Hu, H. Fu, P. Zhu and X. Cao, "Latent Multi-view Subspace Clustering," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 4333-4341, doi: 10.1109/CVPR.2017.461.

https://ieeexplore.ieee.org/document/8099944

?

---

歡迎關(guān)注公眾號，獲取更多論文解讀轉(zhuǎn)載或合作請聯(lián)系郵箱 intbioinfo@163.com

轉(zhuǎn)載時請注明出處

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的基于物化视图优化_CVPR2017|基于构造多视图子空间中的潜在表示解决聚类问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。