最优传输理论和生成模型的几何观点
?PaperWeekly 原創 ·?作者｜尹娟
學校｜北京理工大學博士生
研究方向｜隨機過程、復雜網絡
論文標題：A Geometric View of Optimal Transportation and Generative Model
論文鏈接：https://arxiv.org/abs/1710.05488
引言
最優傳輸理論具有數百年的歷史，隨著人工智能的發展浪潮，特別是深度學習的勃然興起，最優傳輸理論再度煥發了新春！根據深度學習的流形分布定律：一類自然數據可以被視作高維背景空間中的低維數據流形上的一個概率分布，深度學習的主要任務包括兩個：學習流形結構和表示概率分布。
深度神經網絡本質上是表達歐氏空間之間的非線性映射，因此如何用映射表示概率分布成為研究重點。而最優傳輸理論恰是研究概率分布之間映射的學問。
核心思想
作者在這篇論文中展示了最優傳輸和凸幾何之間的內在關系，特別是解決亞歷山大問題的變分方法：構造一個具有規定面法線和體積的凸多面體。這導致了生成模型的幾何解釋，并導出了生成模型的新框架。
通過使用 GAN 模型的最優運輸視圖，我們展示了鑒別器計算了康塔洛維奇勢能函數，生成器計算了運輸圖。對于一類較大的運輸成本，康塔洛維奇勢能函數可以通過一個近似公式給出最優運輸圖。
因此，僅對鑒別器進行優化就足夠了。這表明該算法可以避免對抗性競爭，簡化計算體系結構。初步實驗結果表明，幾何方法在低維空間多簇概率測度逼近方面優于傳統的多簇概率測度逼近方法。
論文的貢獻
本文的貢獻可以分為以下四個部分:
作者將凸幾何與最優運輸結合起來，然后使用最優運輸分析生成模型。
對最優運輸圖進行明確的幾何解釋，并將其應用于生成模型。
如果代價函數 ，其中 是嚴格凸函數，則一旦得到最優鑒別器，則生成器器可以用顯式表示。
提出了一種新的生成模型框架，該模型采用最優運輸圖的幾何構造。
最優傳輸理論和生成模型
4.1 GAN的最優傳輸觀點
從最優傳輸的角度解釋 GAN 模型。作者表明鑒別器主要尋找康塔洛維奇勢能函數。下圖給出了 WGAN 的最優傳輸視角：
假設 為 (abient) 圖像空間， 為 上所有概率測度的 Wasserstein 空間，假設數據分布為 ，表示為經驗分布：
其中 和 是投影器， 和 是邊緣化算子。WGAN 生成一個參數映射：，將潛在空間 映射到原始圖像空間 ，。WGAN 中的康塔洛維勢能函數估計被給出：
根據最優傳輸理論，康塔洛維奇問題具有對偶公式：
對偶關于 的梯度可以寫成：
其中 是最優康塔洛維奇勢能函數。
4.2 最優傳輸理論
定理給出了 Wasserstein distance（康塔洛維奇勢能函數）與最優傳輸圖（Brenier 勢）之間的內在關系，說明一旦已知最優鑒別器，就自動得到最優生成器。鑒別器和生成器之間的游戲是不必要的。
定理：(Generator-Discriminator Equivalence) 給定 和 在緊域 ，存在代價函數 且 嚴格凸的最優傳輸計劃。它是獨一的并且具有形式 。提供 是絕對連續的和 是微不足道的。此外，存在一個康塔洛維奇勢能函數 ，并且 可以表示為：
康塔洛維勢能函數將傳輸映射放松成傳輸方案，用聯合概率分布表示， 代表從起點 傳到終點 的質量。傳輸方案的邊際概率等于 和 ，即我們有：
這里投影映射 。由此，傳輸映射成為傳輸方案的特例，即傳輸映射誘導了傳輸方案：
康塔洛維奇問題是求代價最小的傳輸方案：
康塔洛維奇對偶問題為：
康塔洛維奇問題的原形式和對偶形式的等價性是基于最優傳輸方案的一個性質：循環單調性（Cyclic Monotonocity）。我們在最優傳輸方案的支集內任取點對：
那么我們有不等式：
這里是角標的任意排列。
▲ 循環單調性
4.3 幾何生成模型
作者提出了一個新的生成框架，它將鑒別器和生成器結合在一起。該模型將這兩個過程解耦。
編碼/解碼過程：這一步地圖之間的樣本圖像空間 和潛在（特性）空間 利用深層神經網絡編碼映射來標示 ，解碼地圖 。
概率測度變換過程：將一個固定分布點 變換為任意給定的分布點 。映射記為： 這一步可以使用傳統的深度神經網絡或使用顯式幾何/數值方法。
▲ 幾何生成模型的框架
上圖給定一個經驗分布 在原始環境空間 ，其支持 是一個子流形 。編碼映射 將支撐流形 轉換為潛在（或特征）空間 。 將經驗分布向前推到在潛在空間上定義的 。
其中 。?
實驗結果
5.1 與WGAN比較
在第一個實驗中，我們使用 Wasserstein 生成對抗網絡（WGANs）學習如圖所示的混合高斯分布。
藍色的點代表真實的數據分布，橙色的點代表生成的分布。左邊為初始階段，右邊為迭代 1000 次后的階段。似乎 WGAN 不能捕捉高斯混合分布。生成的數據往往位于兩個高斯函數的中間。
原因之一是 GAN 中眾所周知的模式崩潰問題，即如果數據分布有多個簇或分布在多個孤立的流形中，那么生成器很難很好地學習多個模式。?
下圖顯示了解決相同問題的幾何方法。樣本 是按照相同的高斯混合分布生成的，因此有兩個簇。這對幾何方法沒有任何困難。在左邊的框架，我們可以看到上面的包絡有一個尖銳的山脊，梯度指向兩個集群。因此，在目前的實驗中，幾何方法優于 WGAN 模型。
5.2 幾何方法
作者使用純幾何方法生成均勻分布在一個表面上 與復雜的幾何形狀。
像空間 是三維歐幾里得空間 。子流形上的真實數據樣本分布 ，表示為一個表面，如圖 , 所示。我們對表面的法線進行顏色編碼，然后將顏色函數從 推進到潛在空間 ，因此用戶可以直接可視化 和 中圖像的對應關系，如圖 所示。然后，作者構造了最優傳輸圖 ，圖像顯示在 中。下圖作者演示了生成的分布。
總結討論
在此工作中，作者將凸幾何與最優運輸連接起來，然后使用最優運輸分析生成模型。對于高維設置，由于維護了復雜的幾何數據結構，因此嚴格的計算幾何方法來計算最優傳輸圖是很棘手的。
盡管如此，仍然存在用于處理高維情況的不同算法，例如社會主義方法，切片最優運輸方法，分層最優運輸方法。作者將沿著這個方向進行探索，并大規模實施所提出的模型。
參考文獻
[1] Martin Arjovsky, Soumith Chintala, and Léon Bottou. Wasserstein generative adversarial networks. [*In International Conference on Machine Learning*]{}, pages 214–223, 2017.?
[2] Xianfeng Gu, Feng Luo, Jian Sun, and Tianqi Wu. A discrete uniformization theorem for polyhedral surfaces. [*Journal of Differential Geometry (JDG)*]{}, 2017.?
[3] Xianfeng Gu, Feng Luo, Jian Sun, and Shing-Tung Yau. V ariational principles for minkowski type problems, discrete optimal transport, and discrete monge-ampere equations. [*Asian Journal of Mathe- matics (AJM)*]{}, 20(2):383 C 398, 2016.?
[4] Swaminathan Gurumurthy, Ravi Kiran Sarvadevabhatla, and V enkatesh Babu Radhakrishnan. Deligan: Generative adversarial networks for diverse and limited data. In [*CVPR*]{}, 2017.
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的最优传输理论和生成模型的几何观点的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 三星电子芯片业务负责人全永铉罕见就 Q3
- 下一篇： CVPR 2020 | 以局部焦点进行渐