文章目錄

• 一、時間序列與平穩序列
• • 1.時間序列的概念
  • 2.重要的時間序列——平穩序列
  • 3.特殊的平穩序列——白噪聲
  • 4.多平穩序列的相互關系
  • 回顧總結

一、時間序列與平穩序列

1.時間序列的概念

時間序列，就是按照時間次序排列的隨機變量列，其最重要的特征就是具有時間關系，即處于不同時間的隨機變量可能具有一定的聯系。生活中有許多時間序列，如每個月的平均氣溫、股市每天的收盤價等等，都是時間序列。

任何時間序列，經過合理的變換后都可以看作由三個部分疊加而成：趨勢項，周期項和隨機噪聲項。趨勢項大體刻畫了時間序列的變化趨勢，是一個固定的、可以預測的項；周期項是具有一定周期的時間序列，比如一年四季每個季節有各自的特征，就可以用周期項來刻畫；隨機噪聲則是隨機干擾，一般被視為獨立的零均值序列。

以上關系概括說來，就是
$$X_t=T_t+S_t+R_t.$$
在實際生活中，時間不能倒流，所以時間序列往往只能夠發生一次，即獲得一次觀測。$X_1,X_2,?$的一組實際數值$x_1,x_2,?$是時間序列的一次實現或一條軌道。

在獲得觀測值后，要對時間序列進行以上的分解，才能夠獲得具有實際意義的分布。有一些常用的分解方式，如分段趨勢分解，回歸直線法，二次曲線回歸法，逐步平均法等等。

隨機過程中將時間指標分成連續集與離散集兩種，即$t$的取值可以是連續的$\mathbb{R},{\mathbb{R}}_{+}$或離散的$\mathbb{Z},{\mathbb{Z}}_{+}$，我們將重點放在離散時間序列上。

2.重要的時間序列——平穩序列

時間序列的趨勢項和季節項往往可以用非隨機的函數進行刻畫，剩下的隨機噪聲項，往往會具有某種平穩波動性，即在某條直線上下跳躍。平穩序列是用來描述某一種具有平穩波動性序列的序列，其定義如下。

如果時間序列$\{X_t\}$滿足：

$?t\in \mathbb{N},\mathrm{E}{X}_t^2<\infty$，即二階矩存在；

$?\in \mathbb{N},\mathrm{E}{X}_t=\mu$，即均值一致；

$?t,s\in \mathbb{N},\mathrm{E}[(X_t?\mu )(X_s?\mu )]={\gamma }_{t?s}$，即自協方差只與時間差有關。

就稱$\{X_t\}$是平穩時間序列，稱$\{{\gamma }_t\}$為$\{X_t\}$的自協方差函數。

從平穩序列的定義可以看出，它的平穩表現在兩個方面，一是均值、方差的平穩性，即均值、方差與時間無關；二是相關性的平穩性，即序列中的任意兩個隨機變量自協方差函數，只與時間差有關，而與它們的絕對位置無關。

需要注意，自協方差函數是包含分布的方差的，因為$\mathrm{D}{X}_t={\gamma }_0$。這也說明了方差與時間無關，因為對任何$X_t$，其方差都是${\gamma }_0$，是一個常數。如果${\gamma }_0=0$，那么隨機變量就是一個常數，沒有討論的必要，因此我們總假定${\gamma }_0>0$。

從平穩序列的定義來看，它最重要的元素無疑是自協方差函數，這刻畫了序列內部的關系。首先，很顯然對于任何實時間序列，其自協方差序列都是實數列，除此外自協方差函數有以下三條重要性質：

1、對稱性，即${\gamma }_k={\gamma }_{?k}$對所有$k\in \mathbb{Z}$成立。

2、非負定性，即對任何$n\in \mathbb{N}$，$n$階自協方差矩陣
$${\Gamma }_n=?\begin{array}{cccc}{\gamma }_0& {\gamma }_1& ?& {\gamma }_{n?1}\\ {\gamma }_1& {\gamma }_0& ?& {\gamma }_{n?2}\\ ?& ?& & ?\\ {\gamma }_{n?1}& {\gamma }_{n?2}& ?& {\gamma }_0\end{array}?$$
總是非負定的。

3、有界性，即對任何$k\in \mathbb{Z}$，有$|{\gamma }_k|\le {\gamma }_0$。

同時滿足以上三條性質的實數列稱為非負定序列，平穩序列的自協方差函數就是非負定序列，并且可以證明，每個非負定序列都可以是一個平穩序列的自協方差函數。這里建立了非負定序列與平穩序列的對應性。

接下來對平穩序列的這三條性質進行證明。對稱性最顯然，由定義就可以直接看出，即
$${\gamma }_k=\mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_{t+k})=\mathrm{C}\mathrm{o}\mathrm{v}(X_{t+k},X_{t+k?k})={\gamma }_{?k}.$$
非負定性，即自協方差矩陣是非負定矩陣，對于任何一個二次型要證明其非負，就任取一個常數向量，計算
$$\begin{array}{rl}{\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n=& \sum _{j=1}^n\sum _{k=1}^n{a}_j{a}_k{\gamma }_{j?k}\\ =& \sum _{j=1}^n\sum _{k=1}^n{a}_k{a}_j\mathrm{C}\mathrm{o}\mathrm{v}(X_k,X_j)\\ =& \mathrm{D}(\sum _{j=1}^n{a}_j{X}_j)\ge 0.\end{array}$$
這個證明過程中，需要牢記的是二次型的寫法，即將二次型寫成一個雙重求和的結果，每一項是$b_j{b}_k$與二次型矩陣的第$(j,k)$項乘積；并且將雙重求和轉化成一個單次求和的函數，這個思想也很重要。

有界性，用到柯西不等式，將隨機變量中心化，即$Y_t=X_t?\mu$，那么$\mathrm{D}{Y}_t=\mathrm{D}{X}_t={\gamma }_0$，$\mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_{t+k})=\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,Y_{t+k})={\gamma }_k$，就有$|{\gamma }_k|=|\mathrm{E}(Y_t{Y}_{t+k})|\le \sqrt{\mathrm{E}{Y}_t^2\mathrm{E}{Y}_{t+k}^2}={\gamma }_0$，這里小于等于號就是柯西不等式的結果。

由有界性可以知道$?1\le {\gamma }_k/{\gamma }_0\le 1$，與相關系數有很大的相似之處，所以我們將${\gamma }_k/{\gamma }_0$定義為平穩序列的自相關系數，也就是自協方差函數的歸一化。在某些情況下，自相關函數甚至比自協方差函數還要重要。

我們再將目光投射到三條性質中，最不平凡的那條，即非負定性上。既然我們知道$?{\mathbf{a}}_n$，有${\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n\ge 0$，那么作為臨界情況的等號成立時意味著什么呢？顯然等號很難對于所有${\mathbf{a}}_n$都成立（除非${\Gamma }_n=O$，但這是沒有意義的），所以我們討論對某個特定的${\mathbf{a}}_n$等號成立的情況。由于
$${\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n=\mathrm{D}(\sum _{j=1}^n{a}_j{X}_j),$$
我們不妨定義$\mathbf{X}=(X_1,?,X_n{)}^{\prime }$，那么${\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n=\mathrm{D}({\mathbf{a}}^{\prime }\mathbf{X})=0$，也就說明${\mathbf{a}}^{\prime }\mathbf{X}$是常數，結合其均值來看應該有${\mathbf{a}}^{\prime }X=\mu {\mathbf{a}}^{\prime }{1}_n$（$1_n$指全是1的列向量）。由于我們規定${\mathbf{a}}_n=0$，那么一定存在一個下標最大的分量$a_k=0$，使得$X_k$可以被$X_1,?,X_{k?1}$線性表示。這時，我們稱$X_1,?,X_n$是線性相關的。

并且進一步看，由于自協方差函數與序列位置無關，即
$${\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n=\sum _{j=1}^n\sum _{k=1}^n{a}_j{a}_k\mathrm{C}\mathrm{o}\mathrm{v}(X_{t+j},X_{t+k})=\mathrm{D}(\sum _{j=1}^n{a}_j{X}_{t+j})=0,$$
所以對任何一組的連續的$(X_{t+1},?,X_{t+n})$，都有$X_{t+k}$可以被$X_{t+1},?,X_{t+k?1}$線性表示，并且表示系數是相同的。這一性質，表明對于退化的${\Gamma }_n$，任何$X_t,t\ge n$都可以被$X_0,?,X_{n?1}$線性表示，這進一步說明了對于任意的$n$個$X_t$，它們一定是線性相關的，不管是不是連續增長的時間指標$t$。

事實上，用多元統計的觀點看，設$\mathbf{X}=(X_{t+1},X_{t+2},?,X_{t+n})$，那么${\Gamma }_n=\mathrm{D}(\mathbf{X})$，即隨機向量的協方差矩陣，那么自然有
$$\mathrm{E}(A\mathbf{X}+B)=A\mathbf{X}+B,\mathrm{D}(A\mathbf{X}+B)=A\mathrm{D}(\mathbf{X})A^{\prime }=A{\Gamma }_n{A}^{\prime }.$$
當$A={\mathbf{a}}_n^{\prime },B=c$的時候，顯然有$D({\mathbf{a}}_n^{\prime }\mathbf{X}+c)={\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n\ge 0$。

需要注意的是，平穩序列并不一定是平穩但散亂的，也可以具有很強的周期性，其典型例子就是調和平穩序列$X_t=b\cos (at+U),U～U(?\pi ,\pi )$，它的自協方差函數是$\frac{1}{2}{b}^2\cos ((t?s)a)$，具有很強的周期性，所以觀測樣本也會具有周期性。

3.特殊的平穩序列——白噪聲

白噪聲是一種最為簡單，但也頗具地位的平穩序列，其定義如下。

設$\{{\epsilon }_t\}$是一個平穩序列，如果對任何$s,t\in \mathbb{N}$，都有
$$\begin{gathered} \mathrm{E}{\epsilon }_t=\mu ,\mathrm{D}{\epsilon }_t={\sigma }^2, \\ \mathrm{C}\mathrm{o}\mathrm{v}({\epsilon }_t,{\epsilon }_s)=0,t=s. \end{gathered}$$
就稱$\{{\epsilon }_t\}$是一個白噪聲，記作$\mathrm{W}\mathrm{N}(\mu ,{\sigma }^2)$。

關于其方差和協方差的另一種寫法是
$$\mathrm{C}\mathrm{o}\mathrm{v}({\epsilon }_t,{\epsilon }_s)=\{\begin{array}{lc}{\sigma }^2,& t=s\\ 0,& t=s\end{array}={\sigma }^2{\delta }_{t?s}.$$
這里${\delta }_k$是克羅內克(Kronecker)函數，當$k=0$時${\delta }_k=1$，否則${\delta }_k=0$。

白噪聲又可以細分為以下幾類：

• 當$\{{\epsilon }_t\}$是獨立序列時，稱為獨立白噪聲（定義只保證了不相關）；
• 當$\mu =0$時，稱為零均值白噪聲；
• 當$\mu =0,{\sigma }^2=1$時，稱為標準白噪聲；
• 當$\{{\epsilon }_t\}$服從正態分布且是獨立序列時，稱為正態白噪聲。

4.多平穩序列的相互關系

多平穩序列的相互關系，指的是對于兩個平穩序列$\{X_t\}$和$\{Y_t\}$，它們之間具有的相互性質。具體可以細分為正交平穩序列和不相關平穩序列，其定義如下：

正交的：如果$?s,t\in \mathbb{Z}$，都有$\mathrm{E}(X_t{Y}_s)=0$，就稱$\{X_t\},\{Y_t\}$是正交的。

不相關的：如果$?s,t\in \mathbb{Z}$，都有$\mathrm{E}(X_t{Y}_s)=\mathrm{E}{X}_t\mathrm{E}{Y}_s$，就稱$\{X_t\},\{Y_s\}$是不相關的。

這兩個定義很好從字面意義上理解。正交是垂直的推廣，在線性代數中兩個向量$a,b$正交被定義為其內積$?a,b?=0$，在平穩序列中，就是乘積的期望為0；不相關就是二者不對對方產生影響，所以乘起來求期望與分開求期望相乘得到的結果理應是一樣的。如果$\mathrm{E}{X}_t\mathrm{E}{Y}_s=0$，那么正交序列和不相關序列本身等價，也就是說，對于零均值平穩序列，其正交性和不相關性是等價的。

為什么要討論這兩種特殊的關系呢？我們以后可能會對平穩序列進行求和，即$Z_t=X_t+Y_t$，如果$\{Z_t\}$本身也能夠是平穩序列那再好不過了。幸運的是，$\{X_t\},\{Y_t\}$是正交、不相關序列時，都能讓$\{Z_t\}$是平穩序列。

要證明$\{Z_t\}$是平穩序列，就要證明其二階矩有限、期望平穩、自協方差函數僅與時間差有關。期望平穩是顯然的，有${\mu }_Z={\mu }_X+{\mu }_Y$；二階矩有限也是顯然的，有
$$\mathrm{E}{Z}_t^2=\mathrm{E}(X_t+Y_t{)}^2\le 2\mathrm{E}{X}_t^2+2\mathrm{E}{Y}_t^2<\infty .$$
接下來對正交、不相關序列，分別求$\{Z_t\}$的自協方差函數。首先是正交的情況，有
$$\begin{array}{rl}\mathrm{C}\mathrm{o}\mathrm{v}(Z_t,Z_s)=& \mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_s)+\mathrm{C}\mathrm{o}\mathrm{v}(X_t,Y_s)+\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,X_s)+\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,Y_s)\\ =& {\gamma }_X(t?s)+{\gamma }_Y(t?s)+\mathrm{E}(X_s{Y}_t)?\mathrm{E}{X}_s\mathrm{E}{Y}_t+\mathrm{E}(X_t{Y}_s)?\mathrm{E}{X}_t\mathrm{E}{Y}_s\\ =& {\gamma }_X(t?s)+{\gamma }_Y(t?s)?2{\mu }_X{\mu }_Y;\end{array}$$
然后是不相關的情況，立馬得到$\mathrm{C}\mathrm{o}\mathrm{v}(Z_t,Z_s)={\gamma }_X(t?s)+{\gamma }_Y(t?s)$。這兩個數都是$t?s$的函數，這就證明了對正交、不相關平穩序列，其和仍然是平穩序列。

加和的自協方差函數不方便記憶，可以記以下的簡化結論：對于零均值的正交平穩序列$\{X_t\},\{Y_t\}$，他們的和$\{Z_t\},Z_t=X_t+Y_t$仍是平穩序列，且${\mu }_Z={\mu }_X+{\mu }_Y,{\gamma }_Z(k)={\gamma }_X(k)+{\gamma }_Y(k)$。

回顧總結

任何時間序列經過適當的變換，都可以拆解為趨勢項、季節項、隨機噪聲，并且趨勢項和季節項一般被認為是非隨機函數。

平穩序列是二階矩存在、期望一致、自協方差只與時間差有關的時間序列，滿足這三個條件就是平穩序列，這一般被用來驗證序列的平穩性。

平穩序列中最重要的是自協方差函數$\{{\gamma }_k\}$，這是一個實數列，滿足對稱性、非負定性、有界性三個性質。

滿足對稱性、非負定性、有界性的實數列被稱為非負定序列，一個非負定序列一定是某個平穩序列的自協方差函數。但非負定性的驗證比較麻煩，所以驗證一個序列是非負定序列一般是證明它是某個平穩序列的自協方差函數。

如果${\Gamma }_n$退化，則$X_1,?,X_n$線性相關，并且可以證明任何下標不小于$n$的項$X_t$都可以用$X_1$到$X_{n?1}$這$n?1$項線性表示。

平穩序列是特殊的時間序列，白噪聲$\mathrm{W}\mathrm{N}(\mu ,{\sigma }^2)$是特殊的平穩序列，它的主要特征是序列不相關性，也就是序列之間任意兩個不同的隨機變量無關，一樣需要滿足均值、方差的一致性。

白噪聲中，又有獨立白噪聲、零均值白噪聲、標準白噪聲、正態白噪聲幾類特殊白噪聲。

平穩序列正交指$\mathrm{E}(X_t{Y}_s)=0$，不相關指$\mathrm{E}(X_t{Y}_s)=\mathrm{E}{X}_t\mathrm{E}{Y}_s$，對零均值平穩序列這兩個定義是等價的。

平穩的正交、不相關序列加和仍然是平穩序列，且對于零均值的情況，自協方差函數為兩個分開的自協方差函數之和。

總結

以上是生活随笔為你收集整理的【时间序列分析】01.时间序列与平稳序列的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。