?PaperWeekly 原創(chuàng) ·?作者｜尹娟

學(xué)校｜北京理工大學(xué)博士生

研究方向｜隨機(jī)過(guò)程、復(fù)雜網(wǎng)絡(luò)

論文標(biāo)題：A Geometric View of Optimal Transportation and Generative Model

論文鏈接：https://arxiv.org/abs/1710.05488

引言

最優(yōu)傳輸理論具有數(shù)百年的歷史，隨著人工智能的發(fā)展浪潮，特別是深度學(xué)習(xí)的勃然興起，最優(yōu)傳輸理論再度煥發(fā)了新春！根據(jù)深度學(xué)習(xí)的流形分布定律：一類(lèi)自然數(shù)據(jù)可以被視作高維背景空間中的低維數(shù)據(jù)流形上的一個(gè)概率分布，深度學(xué)習(xí)的主要任務(wù)包括兩個(gè)：學(xué)習(xí)流形結(jié)構(gòu)和表示概率分布。

深度神經(jīng)網(wǎng)絡(luò)本質(zhì)上是表達(dá)歐氏空間之間的非線性映射，因此如何用映射表示概率分布成為研究重點(diǎn)。而最優(yōu)傳輸理論恰是研究概率分布之間映射的學(xué)問(wèn)。

核心思想

作者在這篇論文中展示了最優(yōu)傳輸和凸幾何之間的內(nèi)在關(guān)系，特別是解決亞歷山大問(wèn)題的變分方法：構(gòu)造一個(gè)具有規(guī)定面法線和體積的凸多面體。這導(dǎo)致了生成模型的幾何解釋，并導(dǎo)出了生成模型的新框架。

通過(guò)使用 GAN 模型的最優(yōu)運(yùn)輸視圖，我們展示了鑒別器計(jì)算了康塔洛維奇勢(shì)能函數(shù)，生成器計(jì)算了運(yùn)輸圖。對(duì)于一類(lèi)較大的運(yùn)輸成本，康塔洛維奇勢(shì)能函數(shù)可以通過(guò)一個(gè)近似公式給出最優(yōu)運(yùn)輸圖。

因此，僅對(duì)鑒別器進(jìn)行優(yōu)化就足夠了。這表明該算法可以避免對(duì)抗性競(jìng)爭(zhēng)，簡(jiǎn)化計(jì)算體系結(jié)構(gòu)。初步實(shí)驗(yàn)結(jié)果表明，幾何方法在低維空間多簇概率測(cè)度逼近方面優(yōu)于傳統(tǒng)的多簇概率測(cè)度逼近方法。

論文的貢獻(xiàn)

本文的貢獻(xiàn)可以分為以下四個(gè)部分:

• 作者將凸幾何與最優(yōu)運(yùn)輸結(jié)合起來(lái)，然后使用最優(yōu)運(yùn)輸分析生成模型。

• 對(duì)最優(yōu)運(yùn)輸圖進(jìn)行明確的幾何解釋，并將其應(yīng)用于生成模型。

• 如果代價(jià)函數(shù) ，其中 是嚴(yán)格凸函數(shù)，則一旦得到最優(yōu)鑒別器，則生成器器可以用顯式表示。

• 提出了一種新的生成模型框架，該模型采用最優(yōu)運(yùn)輸圖的幾何構(gòu)造。

最優(yōu)傳輸理論和生成模型

4.1 GAN的最優(yōu)傳輸觀點(diǎn)

從最優(yōu)傳輸?shù)慕嵌冉忉?GAN 模型。作者表明鑒別器主要尋找康塔洛維奇勢(shì)能函數(shù)。下圖給出了 WGAN 的最優(yōu)傳輸視角：

假設(shè) 為 (abient) 圖像空間， 為 上所有概率測(cè)度的 Wasserstein 空間，假設(shè)數(shù)據(jù)分布為 ，表示為經(jīng)驗(yàn)分布：

其中 和 是投影器， 和 是邊緣化算子。WGAN 生成一個(gè)參數(shù)映射：，將潛在空間 映射到原始圖像空間 ，。WGAN 中的康塔洛維勢(shì)能函數(shù)估計(jì)被給出：

根據(jù)最優(yōu)傳輸理論，康塔洛維奇問(wèn)題具有對(duì)偶公式：

對(duì)偶關(guān)于 的梯度可以寫(xiě)成：

其中 是最優(yōu)康塔洛維奇勢(shì)能函數(shù)。

4.2 最優(yōu)傳輸理論

定理給出了 Wasserstein distance（康塔洛維奇勢(shì)能函數(shù)）與最優(yōu)傳輸圖（Brenier 勢(shì)）之間的內(nèi)在關(guān)系，說(shuō)明一旦已知最優(yōu)鑒別器，就自動(dòng)得到最優(yōu)生成器。鑒別器和生成器之間的游戲是不必要的。

定理：(Generator-Discriminator Equivalence) 給定 和 在緊域 ，存在代價(jià)函數(shù) 且 嚴(yán)格凸的最優(yōu)傳輸計(jì)劃。它是獨(dú)一的并且具有形式 。提供 是絕對(duì)連續(xù)的和 是微不足道的。此外，存在一個(gè)康塔洛維奇勢(shì)能函數(shù) ，并且 可以表示為：

康塔洛維勢(shì)能函數(shù)將傳輸映射放松成傳輸方案，用聯(lián)合概率分布表示， 代表從起點(diǎn) 傳到終點(diǎn) 的質(zhì)量。傳輸方案的邊際概率等于 和 ，即我們有：

這里投影映射 。由此，傳輸映射成為傳輸方案的特例，即傳輸映射誘導(dǎo)了傳輸方案：

康塔洛維奇問(wèn)題是求代價(jià)最小的傳輸方案：

康塔洛維奇對(duì)偶問(wèn)題為：

康塔洛維奇問(wèn)題的原形式和對(duì)偶形式的等價(jià)性是基于最優(yōu)傳輸方案的一個(gè)性質(zhì)：循環(huán)單調(diào)性（Cyclic Monotonocity）。我們?cè)谧顑?yōu)傳輸方案的支集內(nèi)任取點(diǎn)對(duì)：

那么我們有不等式：

這里是角標(biāo)的任意排列。

▲ 循環(huán)單調(diào)性

4.3 幾何生成模型

作者提出了一個(gè)新的生成框架，它將鑒別器和生成器結(jié)合在一起。該模型將這兩個(gè)過(guò)程解耦。

編碼/解碼過(guò)程：這一步地圖之間的樣本圖像空間 和潛在（特性）空間 利用深層神經(jīng)網(wǎng)絡(luò)編碼映射來(lái)標(biāo)示 ，解碼地圖 。

概率測(cè)度變換過(guò)程：將一個(gè)固定分布點(diǎn) 變換為任意給定的分布點(diǎn) 。映射記為： 這一步可以使用傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)或使用顯式幾何/數(shù)值方法。

▲ 幾何生成模型的框架

上圖給定一個(gè)經(jīng)驗(yàn)分布 在原始環(huán)境空間 ，其支持 是一個(gè)子流形 。編碼映射 將支撐流形 轉(zhuǎn)換為潛在（或特征）空間 。 將經(jīng)驗(yàn)分布向前推到在潛在空間上定義的 。

其中 。?

實(shí)驗(yàn)結(jié)果

5.1 與WGAN比較

在第一個(gè)實(shí)驗(yàn)中，我們使用 Wasserstein 生成對(duì)抗網(wǎng)絡(luò)（WGANs）學(xué)習(xí)如圖所示的混合高斯分布。

藍(lán)色的點(diǎn)代表真實(shí)的數(shù)據(jù)分布，橙色的點(diǎn)代表生成的分布。左邊為初始階段，右邊為迭代 1000 次后的階段。似乎 WGAN 不能捕捉高斯混合分布。生成的數(shù)據(jù)往往位于兩個(gè)高斯函數(shù)的中間。

原因之一是 GAN 中眾所周知的模式崩潰問(wèn)題，即如果數(shù)據(jù)分布有多個(gè)簇或分布在多個(gè)孤立的流形中，那么生成器很難很好地學(xué)習(xí)多個(gè)模式。?

下圖顯示了解決相同問(wèn)題的幾何方法。樣本 是按照相同的高斯混合分布生成的，因此有兩個(gè)簇。這對(duì)幾何方法沒(méi)有任何困難。在左邊的框架，我們可以看到上面的包絡(luò)有一個(gè)尖銳的山脊，梯度指向兩個(gè)集群。因此，在目前的實(shí)驗(yàn)中，幾何方法優(yōu)于 WGAN 模型。

5.2 幾何方法

作者使用純幾何方法生成均勻分布在一個(gè)表面上 與復(fù)雜的幾何形狀。

像空間 是三維歐幾里得空間 。子流形上的真實(shí)數(shù)據(jù)樣本分布 ，表示為一個(gè)表面，如圖 , 所示。我們對(duì)表面的法線進(jìn)行顏色編碼，然后將顏色函數(shù)從 推進(jìn)到潛在空間 ，因此用戶可以直接可視化 和 中圖像的對(duì)應(yīng)關(guān)系，如圖 所示。然后，作者構(gòu)造了最優(yōu)傳輸圖 ，圖像顯示在 中。下圖作者演示了生成的分布。

總結(jié)討論

在此工作中，作者將凸幾何與最優(yōu)運(yùn)輸連接起來(lái)，然后使用最優(yōu)運(yùn)輸分析生成模型。對(duì)于高維設(shè)置，由于維護(hù)了復(fù)雜的幾何數(shù)據(jù)結(jié)構(gòu)，因此嚴(yán)格的計(jì)算幾何方法來(lái)計(jì)算最優(yōu)傳輸圖是很棘手的。

盡管如此，仍然存在用于處理高維情況的不同算法，例如社會(huì)主義方法，切片最優(yōu)運(yùn)輸方法，分層最優(yōu)運(yùn)輸方法。作者將沿著這個(gè)方向進(jìn)行探索，并大規(guī)模實(shí)施所提出的模型。

參考文獻(xiàn)

[1] Martin Arjovsky, Soumith Chintala, and Léon Bottou. Wasserstein generative adversarial networks. [*In International Conference on Machine Learning*]{}, pages 214–223, 2017.?

[2] Xianfeng Gu, Feng Luo, Jian Sun, and Tianqi Wu. A discrete uniformization theorem for polyhedral surfaces. [*Journal of Differential Geometry (JDG)*]{}, 2017.?

[3] Xianfeng Gu, Feng Luo, Jian Sun, and Shing-Tung Yau. V ariational principles for minkowski type problems, discrete optimal transport, and discrete monge-ampere equations. [*Asian Journal of Mathe- matics (AJM)*]{}, 20(2):383 C 398, 2016.?

[4] Swaminathan Gurumurthy, Ravi Kiran Sarvadevabhatla, and V enkatesh Babu Radhakrishnan. Deligan: Generative adversarial networks for diverse and limited data. In [*CVPR*]{}, 2017.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的最优传输理论和生成模型的几何观点的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。