貝葉斯統計：信噪對偶與Dawid定理

• • 信噪對偶
  • Dawid定理

Dawid定理由Dawid (1973)提出，是貝葉斯理論中對貝葉斯模型的邊緣密度做漸近分析的重要工具之一，雖然后續也有文章對Dawid定理的條件進行了改進，比如O‘Hagan (1979)，但Dawid定理的思想還是很有意義的。所以這一篇就簡單介紹一下Dawid定理的思想及其證明。

---

信噪對偶

假設Observation滿足$X～f(x?\theta )$，也就是只引入$\theta$這個位置參數，$\theta$的先驗密度記為$g(\theta )$；這個簡單的模型可以改寫為
$$\begin{gathered} X=\theta +? \\ \theta ～g(\theta ),?～f(?) \end{gathered}$$

其中$\theta$表示信號，$?$表示噪聲，二者疊加組成了我們的觀測值，通常假設信號與噪聲是獨立的。非常巧合的是在$X=\theta +?$中，$\theta$與$?$的作用是完全一樣的（畢竟加法交換律），也就是說用$\theta$表示信號，$?$表示噪聲完全就是人為規定而已，我們也可以認為$?$代表噪聲、$\theta$代表信號，只要使用合適的分布即可。

根據這個觀察，我們可以直接得出下面的結論：用$C(?,?)$表示信號的先驗（第一個變量）與噪聲的分布（第二個變量）滿足的某些條件，則在$C(f,g)$下，$\theta$的后驗分布或后驗均值滿足的某些性質，在$C(g,f)$下，$?$的后驗分布于后驗均值同樣滿足。這個現象被稱為信噪對偶。盡管這個事實看上去很平凡，但它體現的是貝葉斯統計與頻率派統計的核心區別，也就是貝葉斯統計認為參數也是隨機變量，而頻率派則認為參數是常數，那么在頻率派統計模型中信噪對偶自然就是不存在的。信噪對偶的意義在于推導貝葉斯理論的時候我們并不需要去特意區分信號與噪聲，只需要把觀測值$X$拆成兩個隨機變量的和即可。

Dawid定理

假設觀察值滿足$X=Y_1+Y_2$，其中$Y_1,Y_2$是兩個獨立的、絕對連續的、密度分別為$f_1,f_2$的隨機變量，假設$E[m(Y_1)]<\infty$，其中$m$是一個可測函數，$$E[m(Y_1)]={\int }_{?\infty }^{+\infty }m(y)f_1(y)dy$$引入下面三個條件：

$??,h>0$, $?A$, $?y>A$, $|f_2(y^{\prime })?f_2(y)|<?f_2(y)$ when $|y^{\prime }?y|<h$

$?B,M$ constant, $?y^{\prime }>y>B$, $0<f_2(y^{\prime })<M{f}_2(y)$

$k(y)={\sup }_x\frac{f_2(x?y)}{f_2(x)}$, $$\begin{gathered} {\int }_{?\infty }^{+\infty }k(y)f_1(y)dy<\infty \\ {\int }_{?\infty }^{+\infty }|m(y)|k(y)f_1(y)dy<\infty \end{gathered}$$

在這三個條件作為充分條件時$$\underset{x\to \infty }{\lim }E[m(Y_1)|X=x]=E[m(Y_1)]$$

評注

條件1的作用是保證$f_2$在$y$比較大的時候幾乎是水平的；

條件2的作用是保證$f_2$的尾部行為不會很震蕩；

條件3的作用是限制$f_1$與$f_2$的對稱性，在以上三個條件中，$f_1$與$f_2$可以交換位置，但當條件1和2限制了$f_2$后，相當于默認$f_2$就是噪聲分布了，這時就需要限制$f_1$與$f_2$的對稱性了，否則會出現矛盾

證明

$Y_1$的后驗分布為
$$\pi (y_1|X=x)=\frac{f_1(y_1)f_2(x?y)}{J},J={\int }_{?\infty }^{+\infty }{f}_1(y_1)f_2(x?y_1)dy$$

這里把$y_2$替換成了$x?y_1$，這樣可以避免出現太多自變量，于是下文就用$y$表示$y_1$了；所以
$$E[m(Y_1)|X=x]=\frac{I}{J},I={\int }_{?\infty }^{+\infty }m(y)f_1(y)f_2(x?y)dy$$

取$x>B$（因為是要計算$I/J$在$x$趨近于無窮時的極限，所以這里可以讓$x$大于某一個常數），估計
$$\begin{array}{rl}\left|\frac{I}{f_2(x)}?E[m(Y_1)]\right|& =\left|{\int }_{?\infty }^{+\infty }m(y)f_1(y)\left(\frac{f_2(x?y)}{f_2(x)}?1\right)dy\right|\\ & =\left|{\int }_{?\infty }^{?h}+{\int }_{?h}^h+{\int }_h^{+\infty }m(y)f_1(y)\left(\frac{f_2(x?y)}{f_2(x)}?1\right)dy\right|\\ & \le (M+1){\int }_{?\infty }^{?h}|m(y)|f_1(y)dy\\ & +{\int }_h^{+\infty }|m(y)|f_1(y)[k(y)+1]dy\\ & +\left|{\int }_{?h}^{h}m(y)f_1(y)\left(\frac{f_2(x?y)}{f_2(x)}?1\right)dy\right|\end{array}$$

當$h$趨近于無窮時，第一項、第二項趨近于0，對任意$h>0$，根據條件1，第三項趨近于0，所以$I/f_2(x)\to E[m(Y_1)]$，根據條件3，
$$\frac{J}{f_2(x)}\le \underset{x}{\sup }{\int }_{?\infty }^{+\infty }\frac{f_2(x?y)}{f_2(x)}{f}_1(y)dy={\int }_{?\infty }^{+\infty }k(y)f_1(y)dy<\infty$$

因此，取$m(y)=1$，根據$I/f_2(x)$的結果，$J/f_2(x)\to 1$，綜上，
$$\frac{I}{J}\to E[m(Y_1)]$$

總結

以上是生活随笔為你收集整理的贝叶斯统计：信噪对偶与Dawid定理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。