马尔科夫随机场
FROM:http://blog.csdn.net/polly_yang/article/details/9716591
之前自己做實驗也用過MRF（Markov Random Filed，馬爾科夫隨機場），基本原理理解，但是很多細節的地方都不求甚解。恰好趁學習PGM的時間，整理一下在機器視覺與圖像分析領域的MRF的相關知識。
? ? ? ? 打字不易，轉載請注明。http://blog.csdn.net/polly_yang/article/details/9716591
? ? ? ? ?在機器視覺領域，一個圖像分析問題通常被定義為建模問題，圖像分析的過程就是從計算的觀點來求解模型的過程。一個模型除了可以表達成圖形的形式外，通常使用一個目標函數來表示，因此建模的過程就是定義目標函數的過程，模型求解的過程也就是利用各種優化工具或者知識來解目標函數的過程。之所以需要使用各種優化工具，是因為在處理過程中存在著各種各樣的不確定性，使用優化工具可以比較客觀真實的模擬模型解。
? ? ? ?首先，我們需要理解一個術語Contextual constraints，這個詞的中文翻譯為上下文約束。最早在圖像分析和模式識別領域使用圖像的contextual information信息，可以追溯到1962年（Chow, C. K. (1962). ``A recognition method using neighbor dependence", "IRE Transactions on Electronic Computer'', 11:683--690.）。在這篇文章中，Chow將字符識別問題看做一個統計決策問題，并使用了圖像中相鄰像素間的依賴關系，這個假設打破了之前對于統計獨立的假設。
? ? ? ?在解釋視覺信息時，Contextual constraints是必須的。我們可以從圖像中像素的空間和視覺上下文（比如車在路上跑，飛機停在飛機場中）來理解場景；也可以利用low-level來制作feature描述物體，再利用feature的上下文語義識別物體；高層特征可以通過對底層特征的抽象得到；底層特征可以通過圖像中像素間最基本的位置關系得到。在這所有的抽象過程中，Contextual constraints都必不可少。
? ? ? 那么，為什么MRF適用于圖像分析呢？首先給個假大空的說法：MRF理論提供了一個方便且具有一致性的建模方法。不管是有上下文依賴關系的實體（如圖像像素），還是具有內在聯系的features，MRF通通都能搞定。接下來，就來啃啃為什么MRF在機器視覺和圖像理解領域具有那么多的應用，發了那么多paper吧。
一 圖像分析中的labeling問題
? ? ? ? labeling問題是機器視覺和圖像分析領域的基本問題了。圖像分割，目標識別等問題都可以看做是labeling的問題的延伸。簡單的講，圖像的labeling就是將一組標簽（labels）賦給圖像中的每個像素。
1.1 The Labeling Problem
? ? ? ? ? 令L代表所有的標簽集合（label set），S代表需要被賦予標簽的元素的集合，比如S代表一張圖像。當我們需要進行邊緣檢測時，問題就轉化成了從L={edge, nonedge}中選擇一個標簽賦予S中的任一元素s，此時S代表圖像，s代表圖像中中某個像素。如此這般，我們能夠得到由S中所有像素s的標簽構成的集合f={f1,,,, fn}，n與S的像素數一致。f的取值生成過程，可以看做是一個函數在離散定義域S上的求值過程： ?f : S ?--->L，也就是說，f是一個從S到L的映射（Mapping）。作為隨機場的術語，labeling也被叫做“configuration”，這個實在不知道怎么翻譯。在計算機視覺領域，configuration或者labeling問題都可以和圖像，邊緣圖像，圖像特征，物體特征或者是物體的姿態轉移矩陣相對應。 ? ? ? ? 上面的標簽問題隱含了一個假設：對于S中任一元素s，它的label只能在L中取值。如果有S中有n個像素，L中有M種取值，那么f一共有多少種取值呢？M^n種。那么如果對于像素s，每一次label時，L集合都不一樣呢？我們用Li表示第i次label過程時的label set，那么有F=L1 x L2 x ...x LM。注意這個表達式！ 根據變量的規律性和連續性，我們可以將視覺label問題分為以下四類： ? ? ? ? LP1：Regular s，continuour ?labels； ? ? ? ? LP2：Regular s，discrete labels； ? ? ? ? LP3：Irregular s，discrete labels； ? ? ? ? LP4：Irregular s，continuous labels。 ? ? ? ? 前兩種可以看做是圖像分析里的底層處理（low-level processing）-像素級和像素級特征；后兩種可以看做是針對提取特征的高層處理（high-level processing）。圖像復原或者圖像平滑可以看做是LP1型問題。S是圖像的像素，L是一個實整形變量。二值圖像或者多通道圖像的復原可以看做是LP2型問題。與連續復原類似，目標是估計從輸入圖像估計真實圖像信號。不同之處在于結果圖像的每個像素的像素值是離散值并且L也是離散值的集合。Region segmentation（圖像的分割問題）也可以看做是LP2型問題。分割就是將輸入圖像分成幾個不同的區域，每個區域內的像素具有統一或者相似的特性，例如亮度（gray）相近，顏色（color）相近，紋理（texture）相似。每個區域的像素可以看做是具有相同label。圖像的邊緣檢測可以看做是LP2型問題。每一條邊上的像素周圍都有若干個非邊緣的像素，根據梯度或者其他度量，可以判斷一個像素是不是屬于一條邊緣{edge, nonedge}。基于特征的物體匹配或識別可以看做LP3型問題。每一個s可以看做是圖像特征的索引，圖像的特征可以是點，線段或者區域。問題轉化為從圖像特征到物體模型的映射。姿態估計（Pose estimation）可以看做是LP4問題，這個不怎么了解，暫時先不介紹。1.2 使用Contextual constraints進行labeling
? ? ? ? ?Contextual constraints常被用來建模成條件概率，比如P(fi|fi')，這里fi'可以代表i'位置的label。因為局部的信息更容易被直接觀察到，因此很自然使用局部屬性（local properties）來做全局推理。 ? ? ? ? ?當所有label都相互獨立時，全局labels的聯合概率可以寫成： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?P(f)= P(f1)*P(f2)*...P(fi)...P(fn) ? ? ? ? ?剛才提到的條件概率也可以簡化為： P(fi|{fi'})=P(fi) ? ?i'不等于i。 ? ? ? ? ?因此，一個全局的labeling問題f，可以通過局部labeling fi來計算得到。這是Contextual constraints的優勢。1.3 基于優化的方法
? ? ? ? 優化（Optimization）在圖像分析領域一直扮演著關鍵的角色。一個問題可以表述成為優化一些指標的過程。優化問題之所以能有如此廣泛的應用，一方面是因為它能處理成像和視覺領域的眾多不確定性，例如大氣湍流對遙感成像的影響，人工解譯遙感圖像時受人眼限制造成的含糊不清的情況。很多現實問題都不存在有精確且完美的解決方案，優化給我們提供了某種意義上的解決方案的替代品。 ? ? ? ? 在眾多利用優化來解決機器視覺和圖像問題分析的paper中，問題的解決方案都被顯示定義為一個目標函數的優化過程。此外，優化可以能會隱式執行，例如Hough Transform（Hough 1962; Duda and Hart 1972; Ballard 1981; Illingworth and Kittler 1988）。Hough Transform常用來檢測直線和曲線。開始時，Hough Transform是通過檢測累積函數的峰值。后來（Stockman and Agrawala 1977）發現這個方法 等同于模板匹配（template matching）；（Haralick and Shapiro 1992）將問題轉化為最大化似然概率。之后，邊緣檢測還被定義為使用某些簡單的運算子，例如Gaussian 算子，Sobel算子等。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?傳感器成像和傳輸信號時，由于物理原因會導致圖像中包含不確定的噪聲和干擾；利用優化模型可以很好的解釋這個問題。圖像中，同一物體通常呈現不同的形狀，例如，握著拳頭的手和五指伸開的手；圖像或遙感圖像中，由于其他物體遮擋造成的物體輪廓的不完整性。在這些情況下，精確而完善的解決方案僅僅是空中樓閣，遠不如尋找不精確但目前最佳的解決方案，這就是優化的魅力所在。1.3.1 ?優化的背景知識
? ? ? ? 優化通常包含三件事：問題表述，目標函數和優化算法。 ? ? ? ? 問題表述包含兩個層次：描述和形式化計算。前者重點在于如何表述（represent）圖像特征和物體形狀。后者關注如何表述解決方案，這跟S和L的選擇有關。例如在圖像分割問題里，我們可以選擇使用鏈式邊界的位置表述解決方案；也可以使用區域的掩碼（region map）來做同樣的工作。特別的，使用區域的掩碼更適宜使用MRF模型。 ? ? ? ? 第二件事是如何形式化表示優化的目標函數。目標函數將解決方案映射到實際計算空間，并且可以衡量解決方案的質量，或者損益。這個形式化表述決定了變量如何相互約束，例如像素的亮度屬性如何跟相鄰像素有關等等。 ? ? ? ? 第三件事是如何優化目標，例如如何在問題空間尋找優化的解決方案。這里需要注意兩點：（1）局部極小值存在于非凸函數的問題；（2）算法的空間復雜度和時間復雜度。這兩者在某種程度上來講相互矛盾，目前還有沒算法能夠高效獲得全局解。 ? ? ? ? 上述三件事相互聯系。首先，表述的形式影響目標函數的形式并且影響搜索算法的設計。同時，目標函數的形式也影響搜索算法。例如，假設兩個目標函數具有相同點作為唯一全局最優解，但是其中一個是凸的，但是另一個不是。那么凸的這個解更可能是我們希望的那個，因為它的求解搜索起來更方便。1.3.2 老大難-能量函數的角色（Energy Functions）
? ? ? ? 之所以說這是老大難，因為研一時看了倆月的MRF，始終不能白為什么就非得有這么個玩意兒，到現在也理解得半生不熟的。能量函數的角色可以從兩個假大空的方面來理解：（1）作為解決方案的全局質量評價的衡量標準；（2）作為一個最小化的解決方案的搜索過程的guide。作為代價（cost）的定量描述，能量函數通常期望是一個最小又最全局的解決方案。基于這種期望，我們在設計能量函數時應當朝著讓能量函數簡單小巧可愛的方向來表述。這個原則的專屬術語叫“correctness of the formulation”，這個真心不知道是啥。 ? ? ? ? 鑒別兩種不同類的問題，可以嘗試調試模型。例如，如果一個優化程序的輸出不是期望的，那么可能有兩個原因：（1）目標函數不正確；（2）局部最小化時有錯。哪一個是真正的原因您就試去吧。 ? ? ? ? 在實空間最小化的時候，例如，能量函數是平滑的凸函數時，全局最小化就可以等價為局部極小能量函數的梯度。但是，當問題非凸時，通常沒有通用的方法來有效獲得解。在假設驗證的方法中，一系列高貴冷艷的有效算法都可以用愛生成假設解，例如Hough Transform，Interpretation tree search和幾何散列等。在這些策略中，能量函數僅用作評估度量，而不是作為搜素guide。需要注意啟發式搜索在優化問題中的作用。1.3.3 目標函數的形式化表述
? ? ? ? 在模式識別領域，能量函數大致有兩種形式：參數和非參數。在參數形式中，基礎分部的類型是已知的，并且分布的參數有限固定。因此當參數設定時，能量函數的形式可以使用公式表述。非參數的方法也可以叫做分布樹（distribution tree）方法，分布未知。因此，分布要么根據數據估計要么根據預先設定的具有若干未知參數的基函數估計得到。這個預先規定的基函數將決定能量函數的公式化形式。盡管我們以參數和非參數來劃分，其實這兩種形式本質上都有參數。這是因為在任何實例中，我們都需要決定參數來定義能量函數。 ? ? ? ? 能量函數最為重要的兩個要素也就呼之欲出：形式和參數，這兩者也同時決定了優化問題的解決方案。形式依賴于解f和觀察數據d，記作E(f|d)。參數集合記作θ，因此能量函數可以進一步寫成E(f|d,θ)。通常，目標解記作f*。當參數作為能量函數定義的一部分時，目標解的求解過程可記作f*=arg minE(f|d)，當參數不確定時，這個形式并不完整。這些參數應當提前被設定或者在計算過程中能夠通過某些方法估計。這也是MRF模型的一個重要的研究方向。 ? ? ? ? 成像系統的不確定性，使得概率和信息論有了用武之地。例如，當有關數據的一些分布知道，但是先驗信息不知道時，我們可以使用maximum likelihood（ML，最大似然）準則。f* = arg max P(d | f)。另一方面，如果只有先驗知識，那么maximum entropy（最大熵）就更適合： ? ? ? ? ? ? ? ? ? ? ? ? ??。 ? ? ? ?maximum entropy的準則基于如下事實：熵越大，可能性越大。（Jaynes 1982） ? ? ? ?當先驗和似然分布都已知時，可以通過貝葉斯準則來獲得最好的結果（Therrien 1989）。貝葉斯 統計準則是參數估計和決策只是的重要基礎，特別是MAP principle在機器視覺領域應用廣泛。MAP也在MRF的模型優化中起著重要作用。? ? ? ? ? ? ? ?
1.4 MAP-MRF Framework
? ? ? ?MAP-MRF框架最早出現在1984年（Geman）。在這個框架 中，很多統計圖像分析問題已經有所討論。本節主要針對MAP-MRF的概念已經其在labeling問題中的基本應用來扯淡。1.4.1 Bayes估計
? ? ? 在貝葉斯估計中，通常使用風險最小化的方法來獲得優化估計。f*的貝葉斯風險（Bayes risk）可以定義為： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?此處，d是觀察到的數據，C(f*, f)是代價函數，P(f|d)是后驗分布。首先，我們需要根據先驗和似然計算后驗分布。這里將用到貝葉斯定理：P(f|d)=p(d|f)P(f)/p(d)，此處P(f)是labelings ?f 的先驗概率；p(d|f)是觀察數據d的條件pdf，也被叫做f對于d的似然函數；p(d)是d的密度，當給定d時，它是一個常量。 ? ? ? 代價函數C(f*, f)決定了當truth是f*時估計f的代價。根據我們的定義，C可以使用f*和f之間的距離來度量： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?C(f*, f) = || f* - f||^2 ? ? ? 通常，還可以使用δ作為閾值，如果||f*-f||小于δ，那么C(f*, f)=0，反之，則等于1。此時，貝葉斯風險可記作： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ?當δ->0時，上式可簡化為：R(f*) = 1-k*P*(f|d)，k是所有||f*-f||<δ的點構成的集合的大小。最小化上式，等價于最小化后驗概率。因此，最小化風險估計是： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?f*=arg max P(f|d)。 這就是MAP估計。由于p(d)當d固定時是常量，因此P(f|d)正比于聯合概率分布P(f, d)，也等于p(d|f)*P(f)。最終MAP估計的公式化描述可以寫作： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
1.4.2 MAP-MRF labeling
? ? ? ? 在MAP-MRF 標記問題中，P(f|d)是MRF的后驗分布。f的一個典型先驗分布可以寫作： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??這里是能量函數的先驗。假設觀測的值還需要加上一個高斯噪聲，di = fi + ei,這里ei ～ N(μ, σ2)。那么，思安分布可以寫作： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 此處， ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?是先驗能量。 那么，后驗概率可記作： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
此處， ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??是后驗能量。 ? ? ? ?這樣，MAP估計就等價為尋找最小的后驗能量函數：f*= arg min U(f|d)。這里只有一個參數需要估計σi。當參數確定時，U(f|d)也被確定，MAP-MRF的解也就明確了。
1.4.3 小結
? ? ? MAP-MRF方法解決機器視覺問題的主要步驟如下： ? ? ?1. 將視覺問題轉換為labeling的問題，并確定是屬于LP1-LP4中的哪一種，然后選擇正確的MRF表示f。 ? ? ?2. 定義MAP解的后驗能量函數。 ? ? ?3. 尋找MAP解。二 MRF模型的數學描述
?2.1 MRF和Gibbs Distributions
?2.1.1 鄰域系統（Neighborhood System）
? ? ? ?如果把一副圖像看做是一個PGM模型，那么圖像中的每一個像素就代表PGM模型中的頂點。那PGM模型中頂點之間的邊呢？鄰域系統就是針對這種相鄰位之間的概率依賴而設計的。在之前的文章中曾經提到過，馬爾科夫性是指一個事件當前的狀態只與它直接的原因（cause）有關，而其他事件無關，這里更多的體現的是時間上的馬爾科夫性。那么轉移到隨機場（Random Filed）中，利用領域系統可以分析空間上的馬爾科夫性，也就是說：一個像素點的特性，更可能受它周圍像素的影響，與它距離越遠的像素，對它的特性的影響越小。為了對這種關系建模，前人引入了“鄰域系統”，定義了圖像中一個像素（中心像素），受周圍哪些像素（Neighbourhood）的影響。中心像素和相鄰像素一起，構成的集合，稱之為“Cliques”，國內常見的稱呼是“組團”，我也實在不知道咋翻譯好。? ? ? ? ?在上圖中，x是圖像中的任意位置的像素，紫色的點代表的是與x相距為dis1=1的所有相鄰像素；淡藍色的點代表的是與x相距為dis2=sqrt(2)的所有相鄰像素。紫色和淡藍色的點我們都可以稱之為X的相鄰像素。在具體應用中，選取以x為中心 ，多大范圍內的點為x的相鄰像素點，不是固定不變的。那么如何定義 鄰域系統呢？ ? ? ? ? 對于圖像X中任意像素x，X的鄰域系統可以記作N。那么N={Nx, x∈X}，Nx代表x的相鄰像素的集合；同時，相鄰的關系還滿足如下約束： （1）x不屬于Nx；（2）相鄰關系是相互的，也就是說對于像素x和y，y∈Nx且 x∈Ny。 ? ? ? ? 相鄰像素的集合可以定義為： ? ? ? ? Nx={y∈X | dis(x,y) <?τ, y≠x}，此處dis(x , y )通常采用歐幾里得距離（Euclidean distance）。上圖紫色的四個點N1-N4，也常被稱為4鄰域系統；紫色和淡藍色的點N1-N7，常被稱作 8鄰域系統。圖像X和鄰域系統N一一對應，X包含所有的頂點，N根據相鄰關系決定頂點間的連線。 ? ? ? ?“Clique”是與x有關的屬于X的一個子集，更多的分析的是Nx里的幾種依賴關系：（1）單點，x；（2）成對點，x和y，比如x和N1；（3）三相鄰點組：x，y，z，例如x，N1，N2。一般來說這三種情況形成的集合被記作C1，C2，C3： ? ? ? ? C1={x | x∈X}； ? ? ? ? C2={{x , y}|y∈Nx, x∈X}； ? ? ? ? C3={{x , y , z}|x,y,z∈X,并且三者互相鄰近}。并且，由于x的鄰域與y的鄰域不完全相等，因此{x,y}與{y,x}不等價，以此類推。 ? ? ? ? 綜上所述，對于（X , N）的所有Clique為： ? ? ? ?C=C1 U C2 U C3.....
2.1.2 MRF的定義
? ? ? ? 經過前面一堆亂七八糟的東西，終于要來認識下什么叫MRF了。令F={F1,.....,Fm}是一組定義在集合S上的隨機變量，其中Fi代表在標簽集L中的一個取值fi，Fi=fi代表取值為fi的事件，（F1=f1,...,Fm=fm）代表聯合事件（joint event）。假設f={f1,....fm}，那么剛才敘述的聯合事件則可簡記為F=f。對于離散的標簽集合L，Fi=fi的概率記作P(Fi=fi)，簡稱P(fi)；聯合事件的概率記作P(f)。對于連續的標簽集合L，我們可以知道pdf p(Fi=fi)和p(F=f)。 ? ? ? ?對于一個鄰域系統N，如果如下兩條性質滿足： ? ? ? ?（1） P(f) >0 , 對任意的f。（非負性） ? ? ? ?（2） P(fi| fs-{i})=P(fi|fNi)。（馬爾科夫性） ? ? ? ?那么，我們就稱F是一個馬爾科夫隨機場。 ? ? ? ?上述（1）（2）中，S-{i}是i除i之外的所有點，如果對于圖像來講，i是其中一個像素，那么S-{i}就是除i之外的其他所有像素；fs-{i}代表的是S-{i}中的所有點的標簽集合；fNi={fi'|i'∈Ni}表示點i的鄰域的點的標簽集合。 ? ? ? ?在利用MRF建模解決實際問題時，往往將使用多個MRF。比如在邊緣檢測時，一般會用到兩個MRF模型，一個對像素建模，一個對邊緣建模。 ? ? ? ?馬爾科夫隨機場的概念和思想，來源于隨機過程中的馬爾科夫過程。不過馬爾科夫過程更多的是針對時間序列建模而MRF更多的針對的是空間關系建模。Besag于1974年指出了MRF中求聯合概率方法的和條件概率方法的優缺點。首先，沒有好的方法來根據條件概率求聯合概率。其次 ，條件概率本身受制于不明且高度限制的條件 。第三，聯合概率比條件概率更自然。這也是為什么目前大多數MRF都沒有直接解MRF，而是多采用Gibbs采樣的原因。Hammersley和Clifford于1971年證明了 MRF和Gibbs分布的等價性，這位解MRF中的聯合概率提供了一種特別的方法。證明實在又臭又長，不講了。2.1.3 GRF相關
? ? ? ?有了Hammersley和Clifford的理論后，MRF的計算就可以通過Gibbs采樣來進行。在這之前，我們先來了解下GRF和Gibbs Distribution。 ? ? ? ?Gibbs Distribution也是一個概率分布，它的公式化定義為： ? ? ? ? ? ? ? ? ? ? ? 其中， ? ? ? ? ? ? ? ? ?，Z是一個歸一化常數，常被稱為partition function；T是Temperature的簡寫，一般情況下T=1；U(f)是能量函數，等于所有可能的Clique的集合C的潛在能量的和，這個潛在能量的大小根據具體設定而有所不同。根據上述形式，可以看出Gaussian distribution是Gibbs distribution分布的一個特例。U(f)是MRF模型的核心2.1.4?
? ? ?我們知道，兩個label之間的上下文約束（Contextual constraints）可以算作是傳遞上下文信息的最低階約束。這種約束，形式簡單且計算量小。這種約束可以變成Gibbs的能量函數，一般被叫做“pair-site clique potentials”。之所以叫做這個名字，是因為：（1）這種約束的主要對象有兩個；（2）對兩個對象建模符合PGM對關系建模的思想；（3）以能量表示兩個對象之間的關系，適用于GRF。 ? ? ?更多的，也可以考慮三個label之間的關系，等等。但是機器視覺里最常用的，仍舊以成對能量函數為主。此時，能量函數的形式可以寫成： 這個式子也常備叫做二階能量。U(f)決定了GRF或者MRF模型的不同之處。 一個簡單的GRF或者MRF模型的例子是auto-models（Besag 1974）：? ? ? ? ? ?? ?? ? ? ? ? ? ? ?? ? 這個模型能能夠通過對fi的假設來進行分類。 對于最簡單的二分類問題來說，L可以看做是取兩個離散值0或者1。那么此時能量函數可以寫作： ? 此處的β是i和i'的相互作用系數。如果N代表i的鄰域集合，對于圖像而言，當N代表4鄰域集合時，auto-logistic model退化成為Ising model。此時條件概率：很多前輩對于MRF模型的改進，都是基于設計特別的適用于實際應用場景的能量函數。上面的模型還有各種各樣的變形，比如 auto-normal model(Gaussian MRF)，auto-regression model等等。
三 CRF（Conditional Random Fields），條件隨機場
? （最最簡單的MRF終于忽悠完了，終于輪到高端大氣的CRF了。啊，好幾天沒動筆寫，罪過罪過。）首先我們來復習一下MRF的核心思想：針對標簽集合F中任一元素fi，其滿足馬爾科夫性：P(fi| fs-{i})=P(fi|fNi)，也就是說fi只跟其領域系統的取值有關。對于圖像的標記問題，MRF的應用可以看做根據周圍圖像像素的標簽，來推測目標像素的標簽。其實這里同樣隱含著對圖像底層信息的抽象，比如兩個相鄰像素亮度越接近，那么像素越有可能被給予相同的標簽。這種抽象更多的體現在了能量函數U(f)的形式中。CRF由Lafferty于2001年提出，其核心思想是不僅考慮f的馬爾科夫性，同時也將抽象信息作為一個觀察層。對于觀察數據集合D中任意元素d，標簽集合F中任意 元素fi，如果每個fi都滿足馬爾科夫性： 那么我們稱F為一個條件隨機場。“條件”二字，更多的是強調CRF是直接對后驗建模，而不是對先驗或者似然建模。根據Gibbs等價性，我們也可將CRF寫成： CRF在圖像分析中的應用比其在自然語言處理中的應用相對簡單，它與MRF有兩點主要的區別。（1）對于單點勢能（unary potential），CRF包含所有的觀測數據建模，而MRF僅對當前點計算；對于成對點勢能（pairwise potential），CRF依舊包含所有點，而MRF僅包含觀察數據di及其領域系統內點di'。四 DRF (Discriminative Random Fileds)，判別隨機場
DRF由Kumar于2003年提出，它更多的是CRF的延伸。一方面，DRF只能用于二維的場景，比如圖像；另一方面，DRF通過局部判別式分類器計算單點勢能與成對點勢能。 Kumar利用線性模型來重新定義了能量函數。? ? 其中，σ[x]是logistic函數（例如，σ[x] = 1/(1+exp(-x))），?α 和 β是需要學習的參數，?δ(fi, fi‘ )是預測函數。? ? ?? ?
? ? ? ??
- 上一篇PGM學習之六 從有向無環圖（DAG）到貝葉斯網絡（Bayesian Networks）
- 下一篇論文回顧之一 一種新的直線段檢測算法---LSD：a Line Segment Detector
我剛學沒多久，只是看到條件隨機長中，lafferty中Z(X)是積的形式，還望指教。。。 Re:?polly_yang?2014-04-07 21:21發表?[回復]
總結
- 上一篇： ZMQ: 基本原理
- 下一篇： a Line Segment Detec