統計決策理論1 統計問題與統計決策

• Kolmogorov公理化體系
• 統計問題的描述

這個系列的目標是在數理統計的語境下建立統一描述統計問題的統計決策理論，第一講闡述統計問題和統計決策的含義。

Kolmogorov公理化體系

概率論與數理統計簡單地說就是描述隨機現象的數學模型，現代概率論的基礎是Kolmogorov用來描述概率的公理體系。首先定義樣本空間$\Omega$，它是所有可以想到的隨機事件的結果$w$的集合。記$\mathbf{S}$是樣本空間的一個$\sigma$-代數。$P$是$(\Omega ,\mathbf{S})$的一個非負測度，滿足$P(\Omega )=1$，也稱$P$是一個概率測度或者概率。稱$(\Omega ,\mathbf{S},P)$是概率空間。

如果同一個隨機事件獨立重復了$N$次，每一次的樣本空間記為$({\Omega }^i,{\mathbf{S}}^i)$，則這$N$次的樣本空間可以記為樣本空間的直積，對應的$\sigma$-代數是每一個$\sigma$-代數的張量積
$$\begin{gathered} \Omega ={\Omega }^1\times {\Omega }^2\times ?\times {\Omega }^N \\ \mathbf{S}={\mathbf{S}}^1?{\mathbf{S}}^2???{\mathbf{S}}^N \end{gathered}$$
新的這個$\sigma$-代數中的元素的結構可以表示為$A^1\times ?\times A^N=\{\omega \in \Omega :{\omega }^i\in A^N,A^i?{\Omega }^i\}$，原來的概率測度可以比較自然地推廣到新的樣本空間上：
$$P(A^1\times ?\times A^N)=P(A^1)P(A^2)?P(A^N)$$

如果是一個隨機事件的序列，比如Markov鏈，如果最多有$N$步轉移，樣本空間的構造可以與獨立重復事件相同：
$$(\Omega ,\mathbf{S})=({\times }_{i=1}^N{\Omega }^i,{?}_{i=1}^N{\mathbf{S}}^i)$$
但概率測度會更復雜。定義$T^i(w^{\prime },w^{\prime \prime })$是第$i$步從$w^{\prime }$到$w^{\prime \prime }$的轉移概率密度，則
$$P(A^1\times ?\times A^N)={\int }_{A_1}?{\int }_{A_{N?1}}{P}^1(d{w}^1)T^2(w^1,d{w}^2)?T^{N?1}(w^{N?1},A^N)$$

假設樣本空間具有有限的元素，$\Omega =\{w_1,?,w_n\}$，則概率測度可以一個向量$p=(p_1,?,p_n{)}^T$表示，$p_j=P(w_j),?j$，此時所有可能的概率測度均是下面的集合的元素：
$$\{p:p_j\ge 0,?j;\sum _{j=1}^n{p}_j=1\}$$
這個集合是一個單純形。

統計問題的描述

概率論解決的問題是如果我們了解一個概率空間所有的信息，即所有可能的結果$(\Omega ,\mathbf{S})$以及對應的概率$P$，我們可以做什么。數理統計面臨的問題更加現實，因為真實情況往往是我們只知道所有可能的，或者部分的事件結果，也就是我們掌握$(\Omega ,\mathbf{S})$的信息，不知道對應的概率測度$P$。數理統計中最常用的參數統計的思想是假設概率測度屬于某個分布族$\{P_{\theta },\theta \in \Theta \}$，$\Theta$被稱為參數空間，統計問題就被定義在概率空間$(\Omega ,\mathbf{S},P_{\theta })$上。

用決策的思路來描述統計問題，這個過程是我們通過對觀察到的一組樣本進行一些分析，然后從決策空間$(A,\mathbf{A})$中選擇一個決策$a\in A$，$\mathbf{A}$是$A$的一個$\sigma$-代數。可以定義決策函數$f:\Omega \to A$，也就是$f$是樣本空間到決策空間的一個映射。

比較常規的操作是用Markov概率轉移函數來定義一個決策過程。我們可以用轉移函數$T(w,a)$來表示如果觀察到樣本$w$，那么我們就選擇決策$a$的概率，從而給定樣本時策略的概率為$P_w(a)=T(w,a)$。按這種理解，決策空間也是一個概率空間，可以定義概率測度$Q$為
$$Q(a)=(PT)(a)={\int }_{\Omega }T(w,a)P(dw)$$
所以決策函數其實就是兩個概率空間之間的映射。

有了樣本與決策的對應關系之后，接下來要回答的問題是觀察到一組樣本，怎么做決策才是最優的？我們可以定義損失函數$L(a,\theta ):A\times \Theta \to \mathbb{R}$，它將參數-決策對映射到一個數，這個數表示真實參數為$\theta$時，選擇決策$a$的損失。因為$a$是概率空間$(A,\mathbf{A},Q)$中的元素，所以$L(a,\theta )$的值是隨機數。為了便于比較，可以定義風險函數
$$R(\theta ,T)={\int }_{A}L(a,\theta )Q(da)={\int }_A{\int }_{\Omega }L(a,\theta )T(w,a)P_{\theta }(dw)$$
稱這樣定義的風險為Wald風險。每一個決策函數$T$都會有一個風險與之對應，最優決策的思路是找到風險最小的那個決策函數，并用它來做決策。但Wald風險還與真實參數$\theta$有關，因此具體怎么操作以后再細談。

統計決策理論是由Wald系統性地建立起來的，在此之前數理統計主要有兩個領域，以Fisher為代表的參數估計理論和以Neyman、Pearson為代表的的假設檢驗理論。統計決策理論的進步性體現在它能把這兩個領域解決的問題用同一套話語體系來描述，并給出了一些共通的方法。這個系列的博客接下來的安排是把統計決策理論需要的基礎先簡單敘述一遍，再開始介紹統計決策的理論。基礎部分需要的主要是條件概率、流形以及范疇論。條件概率是非常基礎但也很重要的的概率論工具，是鞅、Markov族的基礎。流形主要是用來處理一些和連續分布相關的分析問題。范疇是作為算子半群的推廣，用來處理一些Markov族的問題的。

總結

以上是生活随笔為你收集整理的统计决策理论1 统计问题与统计决策的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。