轉(zhuǎn)載自：http://www.cnblogs.com/rubbninja/p/4512765.html

各種研究領(lǐng)域（包括無線定位方向）都會碰到參數(shù)估計(jì)的問題，這時常常會看到克拉美羅界 (Cramér–Rao bound)  這個東西。很多隨機(jī)信號的書都會介紹什么是克拉美羅界，但初學(xué)者學(xué)起來往往很吃力，本文從直觀上簡單討論一下克拉美羅界的各個方面。

什么是參數(shù)估計(jì)問題

　　假設(shè)一種最簡單的情況：

　　　　一個物理量為，我們使用某種方式去觀測它，觀測值為，由于存在噪聲，此時，為高斯噪聲，。

這種情況下，我們自然會直接使用觀測值去估計(jì)，這時就會存在估計(jì)的誤差，直觀地理解，噪聲的方差越大，估計(jì)就可能越不準(zhǔn)確。

為什么要討論克拉美羅界

　　討論克拉美羅界就是為了使用這個標(biāo)準(zhǔn)來衡量無偏估計(jì)量的性能。

　　采用上面的方式，使用去估計(jì)，這個估計(jì)值會在真實(shí)值附近波動（看作隨機(jī)變量）。我們需要使用一些標(biāo)準(zhǔn)來衡量這種估計(jì)的好壞，一個標(biāo)準(zhǔn)是估計(jì)值的平均，這里的這個估計(jì)量是無偏估計(jì)量。另一標(biāo)準(zhǔn)是這個估計(jì)值波動的劇烈程度，也就是方差。上面這個問題中，克拉美羅界就等于這個方差。

　　可是為什么不直接討論方差而要去計(jì)算克拉美羅界呢，因?yàn)榉讲钍轻槍δ骋环N特定的估計(jì)量（或者理解為估計(jì)方式）而言的，在上面的例子中，方差是估計(jì)量的方差（）。對于稍微復(fù)雜一點(diǎn)點(diǎn)的問題，對的可以有各種不同的估計(jì)量，它們分別的方差是不同的。顯然，對于無偏估計(jì)量而言，方差越小的估計(jì)方式性能越好，但是這個方差有一個下界，就是我們的克拉美羅界。

直觀地理解克拉美羅界

　　克拉美羅界本身不關(guān)心具體的估計(jì)方式，只是去反映：利用已有信息所能估計(jì)參數(shù)的最好效果。

　　還是上面那個參數(shù)估計(jì)問題，當(dāng)我們觀察到的時候，我們可以知道真實(shí)值的概率密度分布是以為均值，為方差的正態(tài)分布，即:

　　　　　　　　　　　　　　　　　　

上圖給出了兩個似然函數(shù)的例子，直觀地看，似然函數(shù)的“尖銳”性決定了我們估計(jì)位置參數(shù)的精度。這個“尖銳”性可以用對數(shù)似然函數(shù)峰值處的負(fù)的二階導(dǎo)數(shù)來度量，即對數(shù)似然函數(shù)的曲率（對數(shù)似然函數(shù)就是在似然函數(shù)的基礎(chǔ)山加一個自然對數(shù)，這樣有利于計(jì)算）。計(jì)算過程我就不寫了，有興趣的可以自己算算，算完之后結(jié)果為：，這里正好是噪聲的方差的倒數(shù)，也就是噪聲越小，對數(shù)似然函數(shù)越尖銳。

　　所以，可以這樣理解，似然函數(shù)的“尖銳”程度的倒數(shù)（即對數(shù)似然函數(shù)的二階導(dǎo)的倒數(shù)），就是克拉美羅界。

不同的估計(jì)量（估計(jì)方式）是什么意思

　　讓我們來分析一個稍微復(fù)雜一點(diǎn)點(diǎn)的參數(shù)估計(jì)問題：

　　　　一個物理量為，我們使用某種方式去觀測它，觀測值為和，這是兩個不同時刻的觀測結(jié)果，一樣的高斯噪聲。

　　這種情況下，我們要估計(jì)，正常人可能會采用估計(jì)量，即前后兩個觀測的平均，也有人可能覺得這樣計(jì)算量有點(diǎn)大，于是總是直接使用去估計(jì)，也有人覺得第二個觀測值可能會受到系統(tǒng)影響而不準(zhǔn)確，他更相信前面的觀察值，于是總采取這樣的估計(jì)量。這三個估計(jì)量都是無偏的：

　　估計(jì)量的方差為：

　　估計(jì)量的方差為：

　　估計(jì)量的方差為：

　　比較上面的三種估計(jì)量，第一種的方差最小，它的估計(jì)效果較好。實(shí)際上，如果第二個觀測值真的不太準(zhǔn)確，也就是后一個高斯噪聲較大，這樣的話也許第二個估計(jì)量就比較合適了。

　　因此，不同的考慮方式可以產(chǎn)生各種不同的估計(jì)算法，這些不同的估計(jì)量都是在真實(shí)值附近波動的隨機(jī)變量(有的有偏，有的無偏)，它們分別的方差也是不一樣的，但是數(shù)學(xué)家們證明了：任何無偏估計(jì)量的方差必定大于等于克拉美羅界。

克拉美羅界的基本計(jì)算

　　我們假設(shè)這兩次觀察互相獨(dú)立，僅受相同的高斯白噪聲影響，那么根據(jù)已有的信息，真實(shí)值的似然函數(shù)為兩個正態(tài)的概率密度分布相乘：（注意：pdf實(shí)際上應(yīng)該再進(jìn)行歸一化處理，但是我們之后使用對數(shù)似然函數(shù)，乘不乘歸一化系數(shù)都無所謂，對數(shù)之后變成了常數(shù)，求導(dǎo)的時候就沒了）

與之前一樣，可以計(jì)算出對數(shù)似然函數(shù)的二階導(dǎo)數(shù)，得到結(jié)果為:。實(shí)際上，當(dāng)觀測數(shù)目為的時候，這個值將會是。也就是說，使用多個觀測值的信息時，對數(shù)似然函數(shù)越“尖銳”。這個二階導(dǎo)數(shù)（曲率）更一般的度量是(下面用來表示要估計(jì)的參數(shù))：

它度量了對數(shù)似然函數(shù)的平均曲率（很多情況下曲率與的值有關(guān)，取數(shù)學(xué)期望使得它僅為的函數(shù)），被稱為數(shù)據(jù)的Fisher信息，直觀地理解，信息越多，下限越低，它具有信息測度的基本性質(zhì)（非負(fù)的、獨(dú)立觀測的可加性）。一般來說，F(xiàn)isher信息的倒數(shù)就是克拉美羅界了，任何無偏估計(jì)量的方差滿足：

大多情況下，這個不等式的右邊（克拉美羅界）是的函數(shù)。

克拉美羅界的標(biāo)準(zhǔn)定義

　　（定理：Cramer-Rao下限----標(biāo)量參數(shù)）

　　假定PDF滿足“正則”條件（對于所有的）：

其中數(shù)學(xué)期望是對求取的。那么，任何無偏估計(jì)量的方差必定滿足：

其中導(dǎo)數(shù)是在的真值處計(jì)算的，數(shù)學(xué)期望是對求取的。而且，對于某個函數(shù)和，當(dāng)且僅當(dāng)

時，對所有達(dá)到下限的無偏估計(jì)量就可以求得。這個估計(jì)量是，它是MVU估計(jì)量（最小方差無偏估計(jì)），最小方差是。

總結(jié)

　　估計(jì)一個參數(shù)，根據(jù)已有信息得到了似然函數(shù)（或者pdf），這個pdf的“尖銳”程度的倒數(shù)（即對數(shù)似然函數(shù)的二階導(dǎo)的倒數(shù)）就是克拉美羅界。克拉美羅界的計(jì)算不依賴具體的估計(jì)方式，它可以用來作為一個衡量估計(jì)方式好壞的標(biāo)準(zhǔn)，即估計(jì)量的方差越靠近克拉美羅界，效果越好。

總結(jié)

以上是生活随笔為你收集整理的克拉美罗界（CRB）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。