【时间序列分析】02. 线性平稳序列
Contents
- 線性平穩序列
- 有限運動平均
- 線性平穩序列
- 線性濾波
線性平穩序列
有限運動平均
線性平穩序列是由白噪聲的線性組合構成的平穩序列。最簡單的線性平穩序列是有限運動平均。
設 {?t}\{\epsilon_t\}{?t?} 是 WN(0,σ2){\rm WN}(0,\,\sigma^2)WN(0,σ2) ，對于非負整數 qqq 和常數 a0,a1,...,aqa_0,a_1,...,a_qa0?,a1?,...,aq? ，稱
Xt=∑j=0qaj?t?j=a0?t+a1?t?1+...+aq?t?q,t∈ZX_t=\sum_{j=0}^qa_j\epsilon_{t-j}=a_0\epsilon_t+a_1\epsilon_{t-1}+...+a_q\epsilon_{t-q} \ , \ \ \ \ t\in\Z Xt?=j=0∑q?aj??t?j?=a0??t?+a1??t?1?+...+aq??t?q??,????t∈Z
是白噪聲 {?t}\{\epsilon_t\}{?t?} 的有限運動平均，簡稱 MA{\rm MA}MA 序列。
驗證 MA{\rm MA}MA 序列的平穩性：
E(Xt)=0{\rm E}(X_t)=0 E(Xt?)=0
E(Xt+kXt)=E[∑i=0qai?t+k?i∑j=0qaj?t?j]=∑j=0q∑i=0qaiajE(?t+k?i?t?j)=σ2∑j=0q∑i=0qaiajδj+k?i=σ2∑j=0q?kajaj+k\begin{aligned} {\rm E}(X_{t+k}X_t)&={\rm E}\left[\sum_{i=0}^qa_i\epsilon_{t+k-i}\sum_{j=0}^qa_j\epsilon_{t-j}\right] \\ &=\sum_{j=0}^q\sum_{i=0}^qa_ia_j\,{\rm E}(\epsilon_{t+k-i}\epsilon_{t-j}) \\ &=\sigma^2\sum_{j=0}^q\sum_{i=0}^qa_ia_j\delta_{j+k-i} \\ &=\sigma^2\sum_{j=0}^{q-k}a_ja_{j+k} \end{aligned} E(Xt+k?Xt?)?=E[i=0∑q?ai??t+k?i?j=0∑q?aj??t?j?]=j=0∑q?i=0∑q?ai?aj?E(?t+k?i??t?j?)=σ2j=0∑q?i=0∑q?ai?aj?δj+k?i?=σ2j=0∑q?k?aj?aj+k??
E(Xt2)=σ2∑j=0qaj2<∞E(X_t^2)=\sigma^2\sum_{j=0}^qa_j^2<\infty E(Xt2?)=σ2j=0∑q?aj2?<∞
由此得證 {Xt}\{X_t\}{Xt?} 是平穩序列，自協方差函數可以改寫為
γk={σ2∑j=0q?kajaj+k,0≤k≤q,0,k>q.\gamma_k=\left\{ \begin{array}{ll} \sigma^2\displaystyle\sum_{j=0}^{q-k}a_ja_{j+k}\ , & 0\leq k\leq q\ ,\\ 0\ , & k>q\ . \end{array} \right. γk?=??????σ2j=0∑q?k?aj?aj+k??,0?,?0≤k≤q?,k>q?.?
線性平穩序列
把有限運動平均推廣到無限的場合需要概率論的極限理論，用來對隨機變量的無窮級數求數學期望。
單調收斂定理：如果非負隨機變量序列單調不減，即 0≤ξ1≤ξ2≤...0\leq\xi_1\leq\xi_2\leq...0≤ξ1?≤ξ2?≤... ，則當 ξn→ξa.s.\xi_n\to\xi\ \ a.s.ξn?→ξ??a.s. 時，有 Eξ=lim?n→∞Eξn{\rm E}\xi=\displaystyle\lim_{n\to\infty}{\rm E}\xi_nEξ=n→∞lim?Eξn? 。
控制收斂定理：如果隨機變量序列 {ξn}\{\xi_n\}{ξn?} 滿足 ∣ξn∣≤ξ0a.s.|\xi_n|\leq\xi_0\ \ a.s.∣ξn?∣≤ξ0???a.s. 和 E∣ξ0∣<∞{\rm E}|\xi_0|<\inftyE∣ξ0?∣<∞ ，則當 ξn→ξa.s.\xi_n\to\xi\ \ a.s.ξn?→ξ??a.s. 時，有 E∣ξ∣<∞{\rm E}|\xi|<\inftyE∣ξ∣<∞ 且 Eξn→Eξ{\rm E}\xi_n\to{\rm E}\xiEξn?→Eξ 。
在單調收斂定理或控制收斂定理的條件下，期望與極限可以交換次序：
lim?n→∞Eξn=Elim?n→∞ξn\lim_{n\to\infty}{\rm E}\xi_n={\rm E}\lim_{n\to\infty}\xi_n n→∞lim?Eξn?=En→∞lim?ξn?
進而得到推論：對于任何時間序列 {Yt}\{Y_t\}{Yt?}
E[∑t=?∞∞∣Yt∣]=E[lim?n→∞∑t=?nn∣Yt∣]=lim?n→∞E[∑t=?nn∣Yt∣]=lim?n→∞∑t=?nnE∣Yt∣=∑t=?∞∞E∣Yt∣{\rm E}\left[\sum_{t=-\infty}^\infty|Y_t|\right]={\rm E}\left[\lim_{n\to\infty}\sum_{t=-n}^n|Y_t|\right] =\lim_{n\to\infty}{\rm E}\left[\sum_{t=-n}^n|Y_t|\right] =\lim_{n\to\infty}\sum_{t=-n}^n{\rm E}|Y_t| =\sum_{t=-\infty}^\infty{\rm E}|Y_t| E[t=?∞∑∞?∣Yt?∣]=E[n→∞lim?t=?n∑n?∣Yt?∣]=n→∞lim?E[t=?n∑n?∣Yt?∣]=n→∞lim?t=?n∑n?E∣Yt?∣=t=?∞∑∞?E∣Yt?∣
下面給出線性平穩序列的定義并證明其平穩性
如果實數列 {aj}\{a_j\}{aj?} 是絕對可和的，即 ∑j=?∞∞∣aj∣<∞\displaystyle\sum_{j=-\infty}^\infty|a_j|<\inftyj=?∞∑∞?∣aj?∣<∞ ，定義零均值白噪聲 {?t}\{\epsilon_t\}{?t?} 的無窮滑動和如下：
Xt=∑j=?∞∞aj?t?j,t∈ZX_t=\sum_{j=-\infty}^\infty a_j\epsilon_{t-j}\ , \ \ \ \ t\in\Z Xt?=j=?∞∑∞?aj??t?j??,????t∈Z
則 {Xt}\{X_t\}{Xt?} 是平穩序列，有自協方差函數
γk=σ2∑j=?∞∞ajaj+k,k∈Z\gamma_k=\sigma^2\sum_{j=-\infty}^\infty a_ja_{j+k}\ , \ \ \ \ k\in\Z γk?=σ2j=?∞∑∞?aj?aj+k??,????k∈Z
首先證明 {Xt}\{X_t\}{Xt?} 的均值為 000 ，將 EXt{\rm E}X_tEXt? 寫成無窮滑動和的形式
EXt=E∑j=?∞∞aj?t?j=E[lim?n→∞∑j=?nnaj?t?j]{\rm E}X_t={\rm E}\sum_{j=-\infty}^\infty a_j\epsilon_{t-j}={\rm E}\left[\lim_{n\to\infty}\sum_{j=-n}^n a_j\epsilon_{t-j}\right] EXt?=Ej=?∞∑∞?aj??t?j?=E[n→∞lim?j=?n∑n?aj??t?j?]
觀察到 E∑j=?nnaj?t?j=∑j=?nnajE?t?j=0{\rm E}\displaystyle\sum_{j=-n}^na_j\epsilon_{t-j}=\displaystyle\sum_{j=-n}^na_j{\rm E}\epsilon_{t-j}=0Ej=?n∑n?aj??t?j?=j=?n∑n?aj?E?t?j?=0 ，因此要證 EXt=0{\rm E}X_t=0EXt?=0 ，只需證明上式中的期望和極限可以交換順序，所以考慮單調收斂定理和控制收斂定理。
定義 ξn=∑j=?nnaj?t?j\xi_n=\displaystyle\sum_{j=-n}^n a_j\epsilon_{t-j}ξn?=j=?n∑n?aj??t?j? ，ξ0=∑j=?∞∞∣aj?t?j∣\xi_0=\displaystyle\sum_{j=-\infty}^\infty |a_j\epsilon_{t-j}|ξ0?=j=?∞∑∞?∣aj??t?j?∣ ，ξ=∑j=?∞∞aj?t?j=Xt\xi=\displaystyle\sum_{j=-\infty}^\infty a_j\epsilon_{t-j}=X_tξ=j=?∞∑∞?aj??t?j?=Xt? ，
由之前的推論和柯西不等式得到
E∣ξ0∣=E∑j=?∞∞∣aj?t?j∣=∑j=?∞∞∣aj∣E∣?t?j∣≤σ∑j=?∞∞∣aj∣<∞{\rm E}|\xi_0|={\rm E}\displaystyle\sum_{j=-\infty}^\infty |a_j\epsilon_{t-j}|=\displaystyle\sum_{j=-\infty}^\infty |a_j|{\rm E}|\epsilon_{t-j}|\leq\sigma\displaystyle\sum_{j=-\infty}^\infty |a_j|<\infty E∣ξ0?∣=Ej=?∞∑∞?∣aj??t?j?∣=j=?∞∑∞?∣aj?∣E∣?t?j?∣≤σj=?∞∑∞?∣aj?∣<∞
又因為
∣ξn∣=∣∑j=?nnaj?t?j∣≤∑j=?∞∞=ξ0|\xi_n|=\bigg|\sum_{j=-n}^n a_j\epsilon_{t-j}\bigg|\leq \displaystyle\sum_{j=-\infty}^\infty=\xi_0 ∣ξn?∣=∣∣∣∣?j=?n∑n?aj??t?j?∣∣∣∣?≤j=?∞∑∞?=ξ0?
所以由控制收斂定理得到
EXt=E∑j=?∞∞aj?t?j=E[lim?n→∞∑j=?nnaj?t?j]=lim?n→∞E[∑j=?nnaj?t?j]=0{\rm E}X_t={\rm E}\sum_{j=-\infty}^\infty a_j\epsilon_{t-j}={\rm E}\left[\lim_{n\to\infty}\sum_{j=-n}^n a_j\epsilon_{t-j}\right]=\lim_{n\to\infty}{\rm E}\left[\sum_{j=-n}^n a_j\epsilon_{t-j}\right]=0 EXt?=Ej=?∞∑∞?aj??t?j?=E[n→∞lim?j=?n∑n?aj??t?j?]=n→∞lim?E[j=?n∑n?aj??t?j?]=0
然后計算自協方差函數 γk\gamma_kγk? ，同樣先寫成無窮滑動和的形式
E(XtXs)=E[∑j=?∞∞∑k=?∞∞ajak?t?j?s?k]=E[lim?n→∞∑j=?nn∑k=?nnajak?t?j?s?k]{\rm E}(X_tX_s)={\rm E}\left[\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty a_ja_k\epsilon_{t-j}\epsilon_{s-k}\right]={\rm E}\left[\lim_{n\to\infty}\sum_{j=-n}^n\sum_{k=-n}^na_ja_k\epsilon_{t-j}\epsilon_{s-k}\right] E(Xt?Xs?)=E[j=?∞∑∞?k=?∞∑∞?aj?ak??t?j??s?k?]=E[n→∞lim?j=?n∑n?k=?n∑n?aj?ak??t?j??s?k?]
定義 ξn=∑j=?nnaj?t?j\xi_n=\displaystyle\sum_{j=-n}^n a_j\epsilon_{t-j}ξn?=j=?n∑n?aj??t?j? ，ηn=∑j=?nnaj?s?j\eta_n=\displaystyle\sum_{j=-n}^n a_j\epsilon_{s-j}ηn?=j=?n∑n?aj??s?j? ，則有 ξnηn→XtXsa.s.\xi_n\eta_n\to X_tX_s\ \ a.s.ξn?ηn?→Xt?Xs???a.s.
同樣考慮單調收斂定理和控制收斂定理，
∣ξnηn∣≤∑j=?∞∞∑k=?∞∞∣ajak?t?j?s?k∣|\xi_n\eta_n|\leq\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty|a_ja_k\epsilon_{t-j}\epsilon_{s-k}| ∣ξn?ηn?∣≤j=?∞∑∞?k=?∞∑∞?∣aj?ak??t?j??s?k?∣
E∑j=?∞∞∑k=?∞∞∣ajak?t?j?s?k∣=∑j=?∞∞∑k=?∞∞∣ajak∣E∣?t?j?s?k∣≤σ2[∑j=?∞∞∣aj∣]2<∞{\rm E}\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty|a_ja_k\epsilon_{t-j}\epsilon_{s-k}|=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty|a_ja_k|{\rm E}|\epsilon_{t-j}\epsilon_{s-k}|\leq\sigma^2\left[\sum_{j=-\infty}^\infty|a_j|\right]^2<\infty Ej=?∞∑∞?k=?∞∑∞?∣aj?ak??t?j??s?k?∣=j=?∞∑∞?k=?∞∑∞?∣aj?ak?∣E∣?t?j??s?k?∣≤σ2[j=?∞∑∞?∣aj?∣]2<∞
所以由控制收斂定理得到
E(XtXs)=∑j=?∞∞∑k=?∞∞ajakE(?t?j?s?k){\rm E}(X_tX_s)=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty a_ja_k {\rm E}\left(\epsilon_{t-j}\epsilon_{s-k}\right) E(Xt?Xs?)=j=?∞∑∞?k=?∞∑∞?aj?ak?E(?t?j??s?k?)
寫成關于 kkk 的自協方差函數即證
γk=σ2∑j=?∞∞ajaj+k,k∈Z\gamma_k=\sigma^2\sum_{j=-\infty}^\infty a_ja_{j+k}\ , \ \ \ \ k\in\Z γk?=σ2j=?∞∑∞?aj?aj+k??,????k∈Z
一般的線性平穩序列只要求 {aj}\{a_j\}{aj?} 平方可和，即要求
∑j=?∞∞aj2<∞.\sum_{j=-\infty}^\infty a_j^2<\infty. j=?∞∑∞?aj2?<∞.
平方可和的條件比絕對可和的條件較弱，但仍然可以滿足 {Xt}\{X_t\}{Xt?} 是平穩序列。
對于線性平穩序列 {Xt}\{X_t\}{Xt?} 的研究，還需要對 {γk}\{\gamma_k\}{γk?} 的性質進行探討
設 {?t}\{\epsilon_t\}{?t?} 是 WN(0,σ2){\rm WN}(0,\,\sigma^2)WN(0,σ2) ，實數列 {aj}\{a_j\}{aj?} 平方可和，線性平穩序列 {Xt}\{X_t\}{Xt?} 定義為
Xt=∑j=?∞∞aj?t?j,t∈ZX_t=\sum_{j=-\infty}^\infty a_j\epsilon_{t-j} \ , \ \ \ \ t\in\Z Xt?=j=?∞∑∞?aj??t?j??,????t∈Z
則自協方差函數 lim?k→∞γk=0\displaystyle\lim_{k\to\infty}\gamma_k=0k→∞lim?γk?=0
線性濾波
對序列 {Xt}\{X_t\}{Xt?} 進行滑動求和：
Yt=∑j=?∞∞hjXt?j,t∈ZY_t=\sum_{j=-\infty}^\infty h_jX_{t-j} \ , \ \ \ \ t\in\Z Yt?=j=?∞∑∞?hj?Xt?j??,????t∈Z
稱為對 {Xt}\{X_t\}{Xt?} 進行線性濾波。其中絕對可和的實數列 H={hj}H=\{h_j\}H={hj?} 稱為保時線性濾波器。
如果輸入信號 {Xt}\{X_t\}{Xt?} 是平穩序列，則輸出信號 {Yt}\{Y_t\}{Yt?} 也是平穩序列。
數學期望
μY=EYt=E∑j=?∞∞hjXt?j=∑j=?∞∞hjEXt?j=μX∑j=?∞∞hj\mu_Y={\rm E}Y_t={\rm E}\sum_{j=-\infty}^\infty h_jX_{t-j}=\sum_{j=-\infty}^\infty h_j{\rm E}X_{t-j}=\mu_X\sum_{j=-\infty}^\infty h_j μY?=EYt?=Ej=?∞∑∞?hj?Xt?j?=j=?∞∑∞?hj?EXt?j?=μX?j=?∞∑∞?hj?
自協方差函數
γY(n)=Cov(Yn+1,Y1)=∑j=?∞∞∑k=?∞∞hjhkE[(Xn+1?j?μY)(X1?k?μ)]=∑j=?∞∞∑k=?∞∞hjhkγX(n+k?j)\gamma_Y(n)={\rm Cov}(Y_{n+1},\,Y_1)=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty h_jh_k {\rm E}[(X_{n+1-j}-\mu_Y)(X_{1-k}-\mu)]=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty h_jh_k\gamma_X(n+k-j) γY?(n)=Cov(Yn+1?,Y1?)=j=?∞∑∞?k=?∞∑∞?hj?hk?E[(Xn+1?j??μY?)(X1?k??μ)]=j=?∞∑∞?k=?∞∑∞?hj?hk?γX?(n+k?j)
總結
以上是生活随笔為你收集整理的【时间序列分析】02. 线性平稳序列的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Linux停服务器命令,使用linux的
- 下一篇： CS之攻击菜单详解-后门生成与上线