Autoregressive Quantile networks for generative modeling

• 3 autoregressive implicit quantiles

3 autoregressive implicit quantiles

autoregressive：自身做回歸變量，用之前若干時刻的隨機變量 來建模 之后某些時刻 隨機變量的模型。

N維隨機變量的IQN建模 ：

n維隨機變量：$X=(X_1,...,X_n)\in {\mathcal{X}}_1\times ,...,\times {\mathcal{X}}_n=\mathcal{X}$ ，基于IQN 兩個簡單應用：

方式1– 假設X的各個維度是comonotonic，其聯合分位數函數可以表示為：
$$F_X^{?1}(\tau )=(F_{X_1}^{?1}(\tau ),...,F_{X_n}^{?1}(\tau ))$$

即每個維度使用相同的$\tau$值。

方式2–假設X的各個維度是相互獨立的，每個$X_i$使用不同的${\tau }_i$,但是聯合分位數該怎么寫沒有表示出來。

以上兩種假設都太強了，并不適用于圖像生成領域。下面開始介紹AIQN方法，圖像的概率密度$p_X$采用和PixleCNN 中一樣的條件似然的乘積建模，那么聯合的累積分布函數可以表示為下式：
$$p_X(x)=\prod _{i=1}^n{p}_{X_{\sigma (i)}}(x_{\sigma (i)}|x_{\sigma (1)},...,x_{\sigma (i?1)})$$

$$\begin{gathered} F_X(x)=P(X_1<x_1,....,X_n<x_n) \\ =\prod _{i=1}^n{F}_{X_i|X_{i?1},...,X_1}(x_i) \end{gathered}$$

此時聯合分位點和聯合分位數分別為：
$${\tau }_{joint}=\prod _{i=1}^n{\tau }_i$$

$$F_X^{?1}({\tau }_{joint})=(F_X^{?1}({\tau }_1),...,F_{X_n|X_{n?1}}^{?1}({\tau }_n))$$

整張圖像的聯合分位數$F_X^{?1}({\tau }_{joint})$ 可以分解為各個像素位置分位數的聯合表示。所以可以逐像素的使用分位數回歸，來 訓練生成模型。

總結

以上是生活随笔為你收集整理的PaperNotes(12)-Autoregressive Quantile networks for generative modeling的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。