Autoregressive Quantile networks for generative modeling

• 3 autoregressive implicit quantiles

3 autoregressive implicit quantiles

autoregressive：自身做回歸變量，用之前若干時(shí)刻的隨機(jī)變量 來建模 之后某些時(shí)刻 隨機(jī)變量的模型。

N維隨機(jī)變量的IQN建模 ：

n維隨機(jī)變量：$X=(X_1,...,X_n)\in {\mathcal{X}}_1\times ,...,\times {\mathcal{X}}_n=\mathcal{X}$ ，基于IQN 兩個(gè)簡(jiǎn)單應(yīng)用：

方式1– 假設(shè)X的各個(gè)維度是comonotonic，其聯(lián)合分位數(shù)函數(shù)可以表示為：
$$F_X^{?1}(\tau )=(F_{X_1}^{?1}(\tau ),...,F_{X_n}^{?1}(\tau ))$$

即每個(gè)維度使用相同的$\tau$值。

方式2–假設(shè)X的各個(gè)維度是相互獨(dú)立的，每個(gè)$X_i$使用不同的${\tau }_i$,但是聯(lián)合分位數(shù)該怎么寫沒有表示出來。

以上兩種假設(shè)都太強(qiáng)了，并不適用于圖像生成領(lǐng)域。下面開始介紹AIQN方法，圖像的概率密度$p_X$采用和PixleCNN 中一樣的條件似然的乘積建模，那么聯(lián)合的累積分布函數(shù)可以表示為下式：
$$p_X(x)=\prod _{i=1}^n{p}_{X_{\sigma (i)}}(x_{\sigma (i)}|x_{\sigma (1)},...,x_{\sigma (i?1)})$$

$$\begin{gathered} F_X(x)=P(X_1<x_1,....,X_n<x_n) \\ =\prod _{i=1}^n{F}_{X_i|X_{i?1},...,X_1}(x_i) \end{gathered}$$

此時(shí)聯(lián)合分位點(diǎn)和聯(lián)合分位數(shù)分別為：
$${\tau }_{joint}=\prod _{i=1}^n{\tau }_i$$

$$F_X^{?1}({\tau }_{joint})=(F_X^{?1}({\tau }_1),...,F_{X_n|X_{n?1}}^{?1}({\tau }_n))$$

整張圖像的聯(lián)合分位數(shù)$F_X^{?1}({\tau }_{joint})$ 可以分解為各個(gè)像素位置分位數(shù)的聯(lián)合表示。所以可以逐像素的使用分位數(shù)回歸，來 訓(xùn)練生成模型。

總結(jié)

以上是生活随笔為你收集整理的PaperNotes(12)-Autoregressive Quantile networks for generative modeling的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。