霍夫丁不等式及其他相關不等式證明

---

周志華老師的書和臺大的基石課程都用到了霍夫丁不等式,其常見形式如下:$$隨機變量x_i,x_i\in \{0,1\},\overline{x}=\frac{1}{n}(x_1+x_2+???+x_n)$$
$$則有P((\overline{x}?E[\overline{x}])\ge t)\le e^{?2n{t}^2}$$

含義: 給出二項分布均值偏離期望的概率上限.(上限與偏離值和次數有關)置信區間.

---

先證霍夫丁不等式的一般形式

霍夫丁一般形式

若:$$x_i相互獨立,且x_i\in [a_i,b_i],S_n=x_1+x_2+???+x_n$$
則有:$$P(S_n?E[S_n]\ge t)\le exp(?\frac{2t^2}{{\sum }_1^n(b_i?a_i{)}^2})$$

證明過程要用到霍夫丁引理和馬爾科夫不等式

馬爾科夫不等式

馬爾科夫不等式非常好證明,其形式如下
$$若a>0,x為非負隨機變量,則P(x\ge a)\le \frac{E[x]}{a}$$

證明:

得證.
(1)式中$x\ge a,縮放成a;x\ge 0,縮放成0$

證法2:可以用指示變量證明

馬爾科夫不等式的意義:

給出非負隨機變量大于某正數的概率的上界;
**實際應用:**不超過1/5的人口會有超過五倍人均收入的收入.

霍夫丁引理

$若E[x]=0且x\in [a,b],則對于任意的\lambda \in R,都有E[e^{\lambda x}]\le exp\{\frac{{\lambda }^2(b?a{)}^2}{8}\}$

證明:
凸函數性質:$(a,f(a)),(b,f(b))線段在f(x)圖像上面$

因為 $e^{\lambda x}$ 是一個凸函數(下凸)
所以 $e^{\lambda x}\le \frac{b?x}{b?a}{e}^{\lambda a}+\frac{x?a}{b?a}{e}^{\lambda b}$
所以 $E[e^{\lambda x}]\le \frac{b?E[x]}{b?a}{e}^{\lambda a}+\frac{E[x]?a}{b?a}{e}^{\lambda b}$
令 $h=\lambda (b?a),P=?\frac{a}{b?a},L(h)=?hP+ln(1?P+P{e}^h)$
帶入上面的表達式的右邊可以得到:
$E[e^{\lambda x}]\le e^{L(h)}$
查看$L(h)$,
$L(0)=0,L^{\prime }(0)=0,L^{\prime \prime }(h)\le \frac{1}{4}(還沒證明)$
由泰勒展開的二階形式得:
(二階項作為余項,所以不用$L^{\prime \prime }(0)$)
$存在v\in (0,h),使得$
$L(h)=\frac{1}{2!}{L}^{\prime \prime }(v)?v^2\le \frac{1}{8}{h}^2=\frac{1}{8}{\lambda }^2(b?a{)}^2$
所以$E[e^{\lambda x}]\le exp\{\frac{{\lambda }^2(b?a{)}^2}{8}\}$得證.

作用:$有E[x]=0,x\in [a,b],可以給出E[e^{\lambda x}]的一個上界$

證明霍夫丁不等式

若:$$x_i相互獨立,且x_i\in [a_i,b_i],S_n=x_1+x_2+???+x_n$$
則有:$$P(S_n?E[S_n]\ge t)\le exp(?\frac{2t^2}{{\sum }_1^n(b_i?a_i{)}^2})$$

證明:
對于s,t>0有

s是我們額外引入的變量,取合適的s值使(650)式最小.(得到盡可能緊致的上界)

由一般式得到特殊形式(常見形式)

1.$$若x_i\in [0,1],\overline{x}=\frac{1}{n}(x_1+x_2???+x_n),$$
$$用\frac{x_i}{n}代x_i,a_i=0,b_i=\frac{1}{n}$$
$$P(\overline{x}?E[\overline{x}]\ge t)\le exp(\frac{?2t^2}{{\sum }_{i=1}^n\frac{1}{n^2}})=exp(?2n{t}^2)$$

2.二項分布 $x_i\in \{0,1\},P(x_i=1)=p,x=(x_1+???x_n)$
$令x的偏離值t=?n,也就是p的偏離值為?(?>0)$,

$有hoeffding不等式知:$
$P(x?pn\ge ?n)\le exp(?\frac{2t^2}{{\sum }_1^n(b_i?a_i{)}^2})=exp(?\frac{2(?n{)}^2}{{\sum }_1^n(1?0{)}^2})=exp(?2n{?}^2)$
即$P(x?pn\ge ?n)\le exp(?2n{?}^2)(1)$
對稱寫出:
$P(x?pn\le ??n)\le exp(?2n{?}^2)(2)$

有(1)(2)得:
$P(｜x?pn｜\le ?n)\le 1?2exp(?2n{?}^2)$
或者寫成
$P(x\in [n(p??),n(p+?)])\le 1?2exp(?2n{?}^2)$

若記$x/n=\tilde{p}$
$P(\tilde{p}\in [p??,p+?])\le 1?2exp(?2n{?}^2)$

該公式給出置信區間.

$P(|\tilde{p}?p|>?)\le 2exp(?2n{?}^2)$

關于置信區間,一下引用自,維基百科-置信區間

在統計學中，一個概率樣本的置信區間（Confidence interval）是對這個樣本的某個總體參數的區間估計。置信區間展現的是，這個總體參數的真實值有一定概率落在與該測量結果有關的某對應區間。置信區間給出的是，聲稱總體參數的真實值在測量值的區間所具有的可信程度，即前面所要求的“一定概率”。這個概率被稱為置信水平。舉例來說，如果在一次大選中某人的支持率為55%，而置信水平0.95上的置信區間是（50%，60%），那么他的真實支持率落在50%和60%之區間的機率為95%，因此他的真實支持率不足50%的可能性小于2.5%（假設分布是對稱的)

總結

以上是生活随笔為你收集整理的霍夫丁不等式及其他相关不等式证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。