作者 | 張澤宇

編輯 | 肖棠 李仲深

今天給大家介紹天津大學(xué)張長(zhǎng)青教授等人在CVPR2019上發(fā)表的文章“AE2-Nets: Autoencoder in Autoencoder Networks”。對(duì)多視角(Multi-view)數(shù)據(jù)進(jìn)行學(xué)習(xí)是機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)中一個(gè)迅速發(fā)展的方向，雖然取得了一定成果，但大多算法仍集中于聚類和分類上。作者從無(wú)監(jiān)督學(xué)習(xí)出發(fā)，提出了基于自動(dòng)編碼網(wǎng)絡(luò)的自動(dòng)編碼器(Autoencoder in Autoencoder Networks，AE2-Nets)，用于將多視角數(shù)據(jù)集成到一個(gè)統(tǒng)一的數(shù)據(jù)表示。這一模型不僅能夠在統(tǒng)一的框架下實(shí)現(xiàn)單一視角的信息表示和多視角的信息編碼，而且平衡了多視角信息之間的一致性與互補(bǔ)性。

一、研究背景

在現(xiàn)實(shí)世界中，同一實(shí)體是能夠通過(guò)多個(gè)視角的數(shù)據(jù)來(lái)描述的，而由于特征提取方式和傳感器的多樣性，多個(gè)視角的數(shù)據(jù)往往高度異構(gòu)。例如，一幅圖像可以使用直方圖和紋理兩個(gè)視角來(lái)描述；在醫(yī)學(xué)診斷中，往往也需要多個(gè)不同視角的醫(yī)學(xué)影像來(lái)進(jìn)行輔助描述。因此，人們提出了許多方法用于整合多個(gè)視角的數(shù)據(jù)，從而得出一個(gè)統(tǒng)一的數(shù)據(jù)表示方式，使實(shí)體的描述更為確切，并且能夠更便捷地應(yīng)用于機(jī)器學(xué)習(xí)算法。

不同視角的數(shù)據(jù)之間往往具有復(fù)雜的相關(guān)性。典型關(guān)聯(lián)分析(Canonical Correlation Analysis，CCA)是學(xué)習(xí)統(tǒng)一數(shù)據(jù)表示的代表性方法，核典型關(guān)聯(lián)分析(Kernel Canonical Correlation Analysis，KCCA)和深度典型關(guān)聯(lián)分析(Deep Canonical Correlation Analysis，DCCA)分別使用內(nèi)核技術(shù)和深度神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行了優(yōu)化。除此之外，偏最小二乘法(Partial Least Squares，PLS)回歸和可變多視角聯(lián)合降維算法(Flexible multiview dimensionality co-reduction，MDcR)也是解決相關(guān)問(wèn)題的方法。

然而，現(xiàn)有的算法往往存在兩個(gè)問(wèn)題。首先，在如何平衡數(shù)據(jù)之間的一致性與互補(bǔ)性；另外，學(xué)習(xí)得到低維表示后不僅要用于分析，而且應(yīng)該用于進(jìn)一步的學(xué)習(xí)任務(wù)。因此，本文為了解決上述問(wèn)題，提出了AE2-Nets，用于將多視角的數(shù)據(jù)自動(dòng)整合為統(tǒng)一表示，并且自適應(yīng)地平衡數(shù)據(jù)間一致性與互補(bǔ)性的關(guān)系，使后續(xù)學(xué)習(xí)任務(wù)的效果得到了提高。

二、模型與方法

2.1?模型概述

本文提出的AE2-Nets模型主要包括內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)，它首先通過(guò)內(nèi)部網(wǎng)絡(luò)將單個(gè)視角的數(shù)據(jù)學(xué)習(xí)為更為稠密的表示，然后學(xué)習(xí)一個(gè)多視角下的統(tǒng)一表示，并期望通過(guò)外部網(wǎng)絡(luò)將該表示分解還原到各視角的數(shù)據(jù)表示，其架構(gòu)如圖1所示。

圖1. AE²-Nets模型架構(gòu)

2.2?內(nèi)部網(wǎng)絡(luò)

本文提出的內(nèi)部網(wǎng)絡(luò)由一個(gè)M層的全連接神經(jīng)網(wǎng)絡(luò)構(gòu)成，輸入為單個(gè)視角的數(shù)據(jù)表示，并將神經(jīng)網(wǎng)絡(luò)輸出數(shù)據(jù)與輸入數(shù)據(jù)之間的均方差作為損失函數(shù)(圖2)，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后選擇第M/2層的節(jié)點(diǎn)作為該視角下稠密的新數(shù)據(jù)表示。

圖2. 內(nèi)部網(wǎng)絡(luò)損失函數(shù)

2.3?外部網(wǎng)絡(luò)

本文提出的外部網(wǎng)絡(luò)也是一個(gè)全連接神經(jīng)網(wǎng)絡(luò)，其主要作用是希望將統(tǒng)一表示H，盡可能地還原為各視角在內(nèi)部網(wǎng)絡(luò)中訓(xùn)練出的稠密數(shù)據(jù)表示。

它的輸入是隨機(jī)初始化的H，輸出是分解得到的各視角的數(shù)據(jù)表示，損失函數(shù)為輸出數(shù)據(jù)與該視角對(duì)應(yīng)的內(nèi)部網(wǎng)絡(luò)所得到的稠密表示之間均方差(圖3)。

圖3. 外部網(wǎng)絡(luò)損失函數(shù)?

在該外部網(wǎng)絡(luò)中，不僅需要訓(xùn)練神經(jīng)網(wǎng)絡(luò)的各個(gè)參數(shù)，還需要訓(xùn)練數(shù)據(jù)的統(tǒng)一表示H。

2.4?內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)的耦合

本文將內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)進(jìn)行耦合，在統(tǒng)一的框架下實(shí)現(xiàn)單一視角的信息表示和多視角信息的統(tǒng)一表示，平衡了多視角信息之間的一致性與互補(bǔ)性。將內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)中的損失函數(shù)按系數(shù)進(jìn)行耦合，形成新的損失函數(shù)(圖4)，從而達(dá)到上述效果。

圖4. 內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)耦合后的損失函數(shù)

其中，λ系數(shù)在其中體現(xiàn)了數(shù)據(jù)一致性與互補(bǔ)性的平衡。

2.5算法優(yōu)化過(guò)程

本文使用梯度下降方法，對(duì)AE2-Nets的內(nèi)部、外部神經(jīng)網(wǎng)絡(luò)參數(shù)和統(tǒng)一表示H進(jìn)行訓(xùn)練優(yōu)化(圖5)。

圖5. AE2-Nets算法優(yōu)化過(guò)程

三、實(shí)驗(yàn)結(jié)果

本文使用了多種多視角數(shù)據(jù)集，與現(xiàn)有的多種方法在聚類(圖6)、分類(圖7)問(wèn)題上進(jìn)行了對(duì)比，在各項(xiàng)指標(biāo)中均取得了較好的效果。在聚類和分類任務(wù)中，本文提出的方法在準(zhǔn)確率等方面相比于現(xiàn)有方法有較大提升。

圖6. 各方法在多視角數(shù)據(jù)下進(jìn)行聚類任務(wù)的效果對(duì)比

圖7. 各方法在多視角數(shù)據(jù)下進(jìn)行分類任務(wù)的效果對(duì)比

四、總結(jié)

本文提出了一種無(wú)監(jiān)督學(xué)習(xí)的數(shù)據(jù)表示學(xué)習(xí)模型，它并不是簡(jiǎn)單地將多視角數(shù)據(jù)映射到低維空間，而是在各個(gè)視角中學(xué)習(xí)出新表示后，通過(guò)自編碼器整合為一個(gè)統(tǒng)一的數(shù)據(jù)表示。相比于現(xiàn)有的其它方法，AE2-Nets在實(shí)驗(yàn)中表現(xiàn)出的性能十分突出。未來(lái)，AE2-Nets可能向端到端學(xué)習(xí)延伸，從而發(fā)揮更大價(jià)值價(jià)值。

---

參考資料

C. Zhang, Y. Liu and H. Fu, "AE2-Nets:Autoencoder in Autoencoder Networks," 2019 IEEE/CVF Conference on ComputerVision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp.2572-2580, doi: 10.1109/CVPR.2019.00268.

https://ieeexplore.ieee.org/document/8953969

?

數(shù)據(jù)集

https://archive.ics.uci.edu/ml/datasets/Multiple+Features

http://www.vision.caltech.edu/ImageDatasets/Caltech101/

https://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html

http://www.cs.columbia.edu/CAVE/software/softlib/

http://www.vision.caltech.edu/visipedia/CUB-200.html

---

歡迎關(guān)注公眾號(hào)，獲取更多論文解讀轉(zhuǎn)載或合作請(qǐng)聯(lián)系郵箱 intbioinfo@163.com

總結(jié)

以上是生活随笔為你收集整理的html实体编码_多视角学习 | 当自动编码器“遇上”自动编码网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。