統(tǒng)計(jì)決策理論1 統(tǒng)計(jì)問題與統(tǒng)計(jì)決策

• Kolmogorov公理化體系
• 統(tǒng)計(jì)問題的描述

這個(gè)系列的目標(biāo)是在數(shù)理統(tǒng)計(jì)的語境下建立統(tǒng)一描述統(tǒng)計(jì)問題的統(tǒng)計(jì)決策理論，第一講闡述統(tǒng)計(jì)問題和統(tǒng)計(jì)決策的含義。

Kolmogorov公理化體系

概率論與數(shù)理統(tǒng)計(jì)簡(jiǎn)單地說就是描述隨機(jī)現(xiàn)象的數(shù)學(xué)模型，現(xiàn)代概率論的基礎(chǔ)是Kolmogorov用來描述概率的公理體系。首先定義樣本空間$\Omega$，它是所有可以想到的隨機(jī)事件的結(jié)果$w$的集合。記$\mathbf{S}$是樣本空間的一個(gè)$\sigma$-代數(shù)。$P$是$(\Omega ,\mathbf{S})$的一個(gè)非負(fù)測(cè)度，滿足$P(\Omega )=1$，也稱$P$是一個(gè)概率測(cè)度或者概率。稱$(\Omega ,\mathbf{S},P)$是概率空間。

如果同一個(gè)隨機(jī)事件獨(dú)立重復(fù)了$N$次，每一次的樣本空間記為$({\Omega }^i,{\mathbf{S}}^i)$，則這$N$次的樣本空間可以記為樣本空間的直積，對(duì)應(yīng)的$\sigma$-代數(shù)是每一個(gè)$\sigma$-代數(shù)的張量積
$$\begin{gathered} \Omega ={\Omega }^1\times {\Omega }^2\times ?\times {\Omega }^N \\ \mathbf{S}={\mathbf{S}}^1?{\mathbf{S}}^2???{\mathbf{S}}^N \end{gathered}$$
新的這個(gè)$\sigma$-代數(shù)中的元素的結(jié)構(gòu)可以表示為$A^1\times ?\times A^N=\{\omega \in \Omega :{\omega }^i\in A^N,A^i?{\Omega }^i\}$，原來的概率測(cè)度可以比較自然地推廣到新的樣本空間上：
$$P(A^1\times ?\times A^N)=P(A^1)P(A^2)?P(A^N)$$

如果是一個(gè)隨機(jī)事件的序列，比如Markov鏈，如果最多有$N$步轉(zhuǎn)移，樣本空間的構(gòu)造可以與獨(dú)立重復(fù)事件相同：
$$(\Omega ,\mathbf{S})=({\times }_{i=1}^N{\Omega }^i,{?}_{i=1}^N{\mathbf{S}}^i)$$
但概率測(cè)度會(huì)更復(fù)雜。定義$T^i(w^{\prime },w^{\prime \prime })$是第$i$步從$w^{\prime }$到$w^{\prime \prime }$的轉(zhuǎn)移概率密度，則
$$P(A^1\times ?\times A^N)={\int }_{A_1}?{\int }_{A_{N?1}}{P}^1(d{w}^1)T^2(w^1,d{w}^2)?T^{N?1}(w^{N?1},A^N)$$

假設(shè)樣本空間具有有限的元素，$\Omega =\{w_1,?,w_n\}$，則概率測(cè)度可以一個(gè)向量$p=(p_1,?,p_n{)}^T$表示，$p_j=P(w_j),?j$，此時(shí)所有可能的概率測(cè)度均是下面的集合的元素：
$$\{p:p_j\ge 0,?j;\sum _{j=1}^n{p}_j=1\}$$
這個(gè)集合是一個(gè)單純形。

統(tǒng)計(jì)問題的描述

概率論解決的問題是如果我們了解一個(gè)概率空間所有的信息，即所有可能的結(jié)果$(\Omega ,\mathbf{S})$以及對(duì)應(yīng)的概率$P$，我們可以做什么。數(shù)理統(tǒng)計(jì)面臨的問題更加現(xiàn)實(shí)，因?yàn)檎鎸?shí)情況往往是我們只知道所有可能的，或者部分的事件結(jié)果，也就是我們掌握$(\Omega ,\mathbf{S})$的信息，不知道對(duì)應(yīng)的概率測(cè)度$P$。數(shù)理統(tǒng)計(jì)中最常用的參數(shù)統(tǒng)計(jì)的思想是假設(shè)概率測(cè)度屬于某個(gè)分布族$\{P_{\theta },\theta \in \Theta \}$，$\Theta$被稱為參數(shù)空間，統(tǒng)計(jì)問題就被定義在概率空間$(\Omega ,\mathbf{S},P_{\theta })$上。

用決策的思路來描述統(tǒng)計(jì)問題，這個(gè)過程是我們通過對(duì)觀察到的一組樣本進(jìn)行一些分析，然后從決策空間$(A,\mathbf{A})$中選擇一個(gè)決策$a\in A$，$\mathbf{A}$是$A$的一個(gè)$\sigma$-代數(shù)。可以定義決策函數(shù)$f:\Omega \to A$，也就是$f$是樣本空間到?jīng)Q策空間的一個(gè)映射。

比較常規(guī)的操作是用Markov概率轉(zhuǎn)移函數(shù)來定義一個(gè)決策過程。我們可以用轉(zhuǎn)移函數(shù)$T(w,a)$來表示如果觀察到樣本$w$，那么我們就選擇決策$a$的概率，從而給定樣本時(shí)策略的概率為$P_w(a)=T(w,a)$。按這種理解，決策空間也是一個(gè)概率空間，可以定義概率測(cè)度$Q$為
$$Q(a)=(PT)(a)={\int }_{\Omega }T(w,a)P(dw)$$
所以決策函數(shù)其實(shí)就是兩個(gè)概率空間之間的映射。

有了樣本與決策的對(duì)應(yīng)關(guān)系之后，接下來要回答的問題是觀察到一組樣本，怎么做決策才是最優(yōu)的？我們可以定義損失函數(shù)$L(a,\theta ):A\times \Theta \to \mathbb{R}$，它將參數(shù)-決策對(duì)映射到一個(gè)數(shù)，這個(gè)數(shù)表示真實(shí)參數(shù)為$\theta$時(shí)，選擇決策$a$的損失。因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$a$是概率空間$(A,\mathbf{A},Q)$中的元素，所以$L(a,\theta )$的值是隨機(jī)數(shù)。為了便于比較，可以定義風(fēng)險(xiǎn)函數(shù)
$$R(\theta ,T)={\int }_{A}L(a,\theta )Q(da)={\int }_A{\int }_{\Omega }L(a,\theta )T(w,a)P_{\theta }(dw)$$
稱這樣定義的風(fēng)險(xiǎn)為Wald風(fēng)險(xiǎn)。每一個(gè)決策函數(shù)$T$都會(huì)有一個(gè)風(fēng)險(xiǎn)與之對(duì)應(yīng)，最優(yōu)決策的思路是找到風(fēng)險(xiǎn)最小的那個(gè)決策函數(shù)，并用它來做決策。但Wald風(fēng)險(xiǎn)還與真實(shí)參數(shù)$\theta$有關(guān)，因此具體怎么操作以后再細(xì)談。

統(tǒng)計(jì)決策理論是由Wald系統(tǒng)性地建立起來的，在此之前數(shù)理統(tǒng)計(jì)主要有兩個(gè)領(lǐng)域，以Fisher為代表的參數(shù)估計(jì)理論和以Neyman、Pearson為代表的的假設(shè)檢驗(yàn)理論。統(tǒng)計(jì)決策理論的進(jìn)步性體現(xiàn)在它能把這兩個(gè)領(lǐng)域解決的問題用同一套話語體系來描述，并給出了一些共通的方法。這個(gè)系列的博客接下來的安排是把統(tǒng)計(jì)決策理論需要的基礎(chǔ)先簡(jiǎn)單敘述一遍，再開始介紹統(tǒng)計(jì)決策的理論。基礎(chǔ)部分需要的主要是條件概率、流形以及范疇論。條件概率是非常基礎(chǔ)但也很重要的的概率論工具，是鞅、Markov族的基礎(chǔ)。流形主要是用來處理一些和連續(xù)分布相關(guān)的分析問題。范疇是作為算子半群的推廣，用來處理一些Markov族的問題的。

總結(jié)

以上是生活随笔為你收集整理的统计决策理论1 统计问题与统计决策的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。