本文將通過解決一個相當簡單的最大似然問題，介紹邊緣化（marginalisation）的概念。本文涉及的一些基本概率概念可以參考本系列的第一篇文章。

什么是邊緣化

邊緣化是一種通過累加一個變量的可能值以判定另一個變量的邊緣分布的方法。這聽起來有點抽象，讓我們看一個例子。

假設我們想知道天氣是如何影響英國人的幸福感的，也就是P(幸福感|天氣)。

假定我們具有衡量某人的幸福感所需的定義和設備，同時記錄了某個英格蘭人和某個蘇格蘭人所處位置的天氣。可能蘇格蘭人通常而言要比英格蘭人幸福。所以我們其實在衡量的是P(幸福感, 國|天氣)，即，我們同時考察幸福感和國。

邊緣化告訴我們，我們可以通過累加國家的所有可能值（英國由3國組成：英格蘭、蘇格蘭、威爾士），得到想要計算的數字，即P(幸福感|天氣) = P(幸福感, 國=英格蘭|天氣) + P(幸福感, 國=蘇格蘭|天氣) + P(幸福感, 國=威爾士|天氣)。

這就是了！邊緣化讓我們累加一些概率以得到想要計算的概率。一旦我們計算出了答案（可能是單一值或一個分布），我們可以得到所需的性質（推斷）。

相關定義

如果這一概念讓你覺得很耳熟，但你以前沒有聽過邊緣化這個詞，那可能是因為你聽過它的另一個名字。有時這一方法稱為對干擾變量積分（integrating out the nuisance variable）。積分本質上是累加一個變量的另一種說法，你正累加的變量稱為“干擾變量”。所以在我們上面提到的例子中，“國”是干擾變量。

如果你正使用概率圖模型，那么邊緣化是進行精確推斷的一種方法（也就是說，你可以寫下你關注的分布的精確數值，例如可以基于分布精確計算的均值）。在這種情形下，邊緣化有時和變量消除是同義詞。

例子：未知骰子

下面的例子取自世界上最好的數學家和計算晶體學家之一Airlie J. McCoy所寫的Liking likelihood論文。如果你正在尋找一篇基于骰子介紹各種最大似然概念（例如，對數似然、中心極限定理等)的文章，那么我強烈推薦這篇論文。

假設我們有4枚骰子：4面骰、6面骰、8面骰、10面骰（如下圖所示）。

游戲

• 我把6面骰和8面骰放在紅盒內，4面骰和10面骰放在藍盒內。

• 我從紅盒與藍盒中分別隨機選取一枚骰子，然后把它們放在黃盒內。

• 我從黃盒中隨機選擇一枚骰子，擲骰子并告訴你結果。

進行游戲之后，結果是3。我們想要回答的問題是：骰子更可能來自紅盒還是藍盒？

求解

為了求解這一問題，我們需要給定我們擲出了一個3這一條件后，骰子取自紅盒的似然，L(盒=紅|擲骰=3)，及相應的L(盒=藍|擲骰=3)。這兩個概率中較高的那個是問題的答案。

那么我們如何計算L(盒=紅|擲骰=3)和L(盒=藍|擲骰=3)呢？

首先，似然和概率的關系如下：

L(盒|擲骰) = P(擲骰|盒)

我的最大似然文章的結尾部分解釋了這一等式。

這意味著，L(盒=紅|擲骰=3)這一似然等價于給定骰子來自紅盒這一條件，投擲出3點的概率，即P(擲骰=3|盒=紅)。同理，L(盒=藍|擲骰=3) = P(擲骰=3|盒=藍)。

假定我們選擇了一個紅盒中的骰子。它可能是6面骰或8面骰（各自有50/50的機會）。假設我選擇了6面骰。這意味著我必須從黃色盒子中選中6面骰，然后擲出3。這一情形的概率為：

P(擲骰=3, 骰=6面|盒=紅) = 1/2 x 1/6

1/2是因為我有50%的機會從紅盒中隨機選中6面骰，因為盒中還有一枚8面骰。1/6是因為我有一枚6面骰，因此擲出3點的機會是1/6.

注意上面的答案沒有包含從黃盒中選中6面骰的概率。這是因為，在這一情形下，從黃盒中選取6面骰的概率是1（你可能以為它是1/2，因為黃盒內有6面骰和從藍盒中取出來的骰子）。這是因為我們正在計算的是給定骰子取自紅盒的前提下一枚6面骰擲出一個3的條件概率。因此，我們選中黃盒中的另一枚骰子的情形是不可能存在的，因為那一枚骰子原本來自藍盒。所以給定從紅盒中取出骰子這一前提，我們只能從黃盒中選擇6面骰，因而我們從黃盒中選中6面骰的概率是1。

類似地，我們可以計算結果為3，而我們實際上從紅盒中選擇了8面骰的概率：

P(擲骰=3, 骰=8面|盒=紅) = 1/2 x 1/8

現在我們已經基本上完成了計算骰子來自紅盒所需的計算工作。還記得嗎？紅盒只包含6面骰盒8面骰，因此我們只需找出骰子是6面或8面的概率。本系列的第一篇文章已經提過，這一“或”情形下，我們需要將概率相加。因此，骰子來自于紅盒的概率為：

P(擲骰=3|盒=紅) = (1/2 x 1/6) + (1/2 x 1/8) = 7/48

同理，骰子來自于藍盒的概率為：

P(擲骰=3|盒=藍) = P(擲骰=3, 骰=4面|盒=藍) + P(擲骰=3, 骰=10面|盒=藍)= (1/2 x 1/4) + (1/2 x 1/10) = 7/40

P(擲骰=3|盒=藍)高于P(擲骰=3|盒=紅)，基于最大似然，我們可以得出結論骰子更可能來自藍盒。

這個例子中的邊緣化在哪里？

非常善于觀察的人會注意到，在上面的例子中，我沒有用過“邊緣化”這個詞。這是因為我想讓你直觀地理解如何計算從盒子中取出骰子的概率。

如果你看一下上面計算藍盒概率的等式，你會注意到我們把所有可能性（選擇4面骰和10面骰）的概率加在一起。這正是邊緣化！我們累加了這個干擾變量（骰子）。注意，游戲中我們從來沒有觀察到我們選擇的骰子，而且我們不需要觀察它！我們只需知道結果（擲骰=3）和骰子的所有可能值。這就是為什么邊緣化如此強大。我們可以計算我們未曾觀察到的事物的概率。只要我們知道可能的干擾變量值，我們就可以使用它進行邊緣化操作，并計算另一個變量的分布。

記號

下面我會寫下一些更嚇人的公式，不過我會盡量讓它們易于理解的。

回顧一下之前的例子。我們從一個聯合概率開始，P(擲骰, 骰|盒)。邊緣化之后，我們得到了一個條件概率，P(擲骰|盒)。這是邊緣化的主要作用之一。我們可以從聯合概率得到條件概率。

事實上我們也可以從聯合概率得到邊緣概率。如果你見過邊緣化的數學定義，那么你多半看到的是一個邊緣概率。如果你還沒有見過邊緣化的數學定義，那么，……你運氣不錯。你馬上就可以見到了。

上式中大大的∑是累加的數學記號，下面的“y”告訴我們該累加什么。所以這個等式是說：“如果你想要得到X的邊緣概率（等式左邊），那么你需要對Y的每個可能值累加X和Y的聯合概率。”

聯合概率有時很難計算，所以我們可以使用本系列的第一篇文章中介紹的乘法法則將等式右邊重寫為以下形式：

等式的最右側是條件分布和邊緣分布的乘積，有時候這更容易計算。

正如我之前提到的的那樣，∑讓我們將所有項累加起來。我沒有提到的是，這個符號只用于“離散”變量。在之前的例子中，我們累加的是離散的干擾變量（例如，UK只包括英格蘭、蘇格蘭、威爾士，骰子的結果是有限的，比如1到6點）。不過，離散值不一定是有窮的。比如，所有正整數1、2、3、……也是離散值。

然而，當我們處理在給定的界限內有無窮的可能值的變量（例如，0到10米之間的距離可能有無窮的值，比如5米、5.1米、5.01米、5.001米、5.0001米……等等）時，我們將這些稱為“連續變量”，同時我們不使用∑符號。相反，我們使用∫。這個符號仍然讓我們把所有項累加起來，不過我們知道干擾變量是連續的，相應地，邊緣化的定義為：

這和前面提到的離散變量的邊緣化等式意義相同。等式末尾的“dy”告訴我們積分的項（“積分”是我們處理連續變量時所用的“累加”方法的名稱）。

“dy”是必要的原因是如果我們不加以聲明的話，積分的項并不總是顯然的。考慮干擾變量是圓心角的情形。我們知道這個角位于0到360度之間，或者更技術性地說，我們更可能處理弧度而不是角度，這時我們說這個角位于0到2π之間。

所以我們可能嘗試寫下：

我們知道我們需要計算一個從0直到2π的積分，但我們知道積分的項是X的值還是Y的值嗎？世界各地的數學家正迫不及待地要給我的臉上來一拳，以懲罰我上面的惡行。

為了修正這個問題，我們在結尾加上了“dy”，這樣就很清楚了，我們積分的項是0到2π之間的Y的值，這意味著我們同時知道結果是X的邊緣分布（見下）。

致感興趣的讀者，由于相位問題的存在，積分0至2π的角度是X射線晶體學（我的PhD領域）中需要進行的操作。基本上而言，相位問題指我們無法在實驗中測量“相位”，而相位在數學上可以被看作一個角度。因此，為了計算觀測數據的理論分布，我們需要邊緣化相位。

adam kelleher在他的causality包中使用了邊緣化以消除混淆變量（confounding variables）的影響。他同時像我們之前提到的一樣使用乘法法則以條件分布和邊緣分布乘積的形式書寫了邊緣化的定義。詳見他寫的博客。

結語

概率的鏈式法則

事實上，在上面的計算中我們應用了一個習以為常的概率過程，也就是概率的鏈式法則（不要和求導的鏈式法則混淆了）。概率的鏈式法則為：

P(A, B|C) = P(A|B, C) x P(B|C)

它讓我們將一個聯合概率（等式左側）寫成條件概率和邊緣概率的乘積（等式右側）。

計算聯合概率時大量使用這一鏈式法則，正如我們之前提到的那樣，判定條件概率和邊緣概率可能要容易得多。

還記得我們在上面的計算中使用了下式嗎？

P(擲骰=3, 骰=6面|盒=紅) = 1/2 x 1/6

對比鏈式法則，我們令A = 擲骰，B = 骰，C = 盒。所以這意味著我們可以將上式左側寫為：

P(擲骰=3|骰=6面, 盒=紅) x P(骰=6面|盒=紅)

解釋一下：

• P(擲骰=3|骰=6面, 盒=紅)是給定我們選中了一枚6面骰，且這枚骰子曾經在紅盒中這一前提，我們擲出3的概率。結果為1/6.
• P(骰=6面|盒=紅)是給定我們從紅盒中取出一枚骰子，這枚骰子是6面骰的概率。結果為1/2.

因此我們得到1/2 x 1/6，這正是我們在上面的例子中從直覺上得出的結果。

這里我們使用3個變量展示了鏈式法則。如果你看下維基百科上的鏈式法則的定義（看起來更可怕），你可以看到四個變量以及無窮變量的鏈式法則是什么樣的。

維基百科上的鏈式法則定義看起來挺嚇人的，但基本的想法是一樣的。等式左側是一個聯合概率分布，等式右邊是條件概率和邊緣概率的乘積。

用于貝葉斯推斷

如果你讀過我之前關于貝葉斯推斷的文章，你會知道貝葉斯理論的模型形式為：

正如我之前提過的那樣，我們經常不計算分母P(data)，也就是歸一化常量，因為在許多情形下它難以計算，而且我們并不總是需要計算它。

不過在某些情形下，我們可以借助邊緣化精確地計算P(data)：

?

在某些情形下，我們可以演算這一式子（精確計算或在數值上逼近），因此我們可以得到一個歸一化的后驗分布。

總結

以上是生活随笔為你收集整理的概率论入门：边缘化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。