0 abstract

????????由于交通數(shù)據(jù)極強的非線性和復雜性，傳統(tǒng)方法很難進行中長期的交通預測。

????????我們提出了STGCN結構來解決交通領域的預測問題。我們的模型建立在卷積之上，有更快的訓練速度和更少的參數(shù)。

1 introduction

????????交通預測問題，根據(jù)預測時間片的長度，可以分為：短期（5~30分鐘）和長期（30分鐘以上）。大部分統(tǒng)計方法在短期預測上效果很好，但是因為交通流數(shù)據(jù)的不確定性和復雜性，這些模型在長期預測上效果很一般。

? ? ? ? 早期關于中長期交通預測的研究主要集中在動態(tài)建模和數(shù)據(jù)驅動的方法上。

? ? ? ? 數(shù)據(jù)建模：

? ? ? ? 使用數(shù)學工具（比如微分方程）和物理知識來模擬交通場景，解決交通問題

? ? ? ? 但這需要復雜的系統(tǒng)化的編程，還需要大量的算力。

? ? ? ? 同時，不切實際的假設和簡化很有可能會使得預測的精準度不足

? ? ? ? 因此，隨著交通數(shù)據(jù)收集和存儲技術的進步，越來越多的研究側重于數(shù)據(jù)驅動

? ? ? ? ?數(shù)據(jù)驅動：

? ? ? ? 又分為傳統(tǒng)統(tǒng)計學方法和機器學習方法

? ? ? ? 在時間序列分析問題里面，ARIMA和它的變體是很經(jīng)典的一類方法。但是這種模型受限于對于時間序列平穩(wěn)性的假設，同時它沒有把時空相關性納入考慮范圍。因此，這種方法沒法解決高度非線性的交通流量預測問題。

? ? ? ? 機器學習方法有KNN,SVM,NN等

? ? ? ? 深度學習方法

? ? ? ? 深度信念網(wǎng)絡DBN、迭代自動編碼器SAE都曾用作交通預測，但是，這些模型都無法同時提取交通數(shù)據(jù)的時間和空間特征。

? ? ? ? 之后出現(xiàn)了CNN+RNN的模型來同時考慮時間和空間特征，但是這些模型只能處理網(wǎng)格化交通路網(wǎng)（現(xiàn)實生活中網(wǎng)格狀路網(wǎng)是很少，甚至沒有的），同時RNN還有誤差累積以及訓練較慢、較難計算的問題。

? ? ? ? 為了解決這一問題，本文提出了使用ＧＮＮ代替ＣＮＮ，使用卷積代替ＲＮＮ的想法來建立一個完全由卷積組成的神經(jīng)網(wǎng)絡。

２　Preliminary

?2.1 圖上的交通預測

? ? ? ? 根據(jù)之前的M個時刻的交通觀測數(shù)據(jù)，預測之后H個時刻的交通數(shù)據(jù)：

其中?表示t時刻，n個交通觀測點的觀測結果

?

我們記交通網(wǎng)絡圖為：?

其中，Y表示時刻t的節(jié)點集合，ε是邊集合，W代表加權的鄰接矩陣

2.2 譜圖卷積

譜圖卷積通過圖傅里葉變換將卷積操作變換到譜域內(nèi)進行操作。

我們記*g為譜圖卷積算子，Θ為譜圖卷積核，那么我們有：

其中?標準化拉普拉斯矩陣

? ? ? ? In是單位矩陣

?????????是度矩陣，

? ? ? ? ?是L的特征值組成的對角矩陣

?????????傅里葉基是標準化拉普拉斯矩陣L的特征向量組成的矩陣

? ? ? ? 在譜域上的圖卷積核也是一個對角矩陣?

3 模型結構? ? ? ? ?

STGCN 有多個時空卷積塊組成，每一個是一個三明治結構，由兩層序列卷積層和一層空間圖卷積層組成

?

3.1 提取空間特征的圖卷積?

3.1.1 切比雪夫多項式近似

我們用關于的多項式來近似圖卷積核Θ，其中?是L的特征值組成的對角矩陣

?、

其中：K表示距離中心節(jié)點最遠的卷積范圍

? ? ? ? ? ?（λmax表示拉普拉斯矩陣L最大的特征值?）

?于是，切比雪夫多項式近似的圖卷積可以寫成：

?

其中?表示關于的k階切比雪夫多項式

?

通過切比雪夫多項式的近似，譜圖卷積的復雜度可以降低到（ε是邊集合）

3.1.2 一階近似

????????一個層級的線性方程可以由堆疊多個使用拉普拉斯矩陣的一階近似的局部圖卷積層來達到相同的效果（用深度換廣度）。

? ? ? ? 由于在神經(jīng)網(wǎng)絡中，參數(shù)可以放大縮小，可以歸一化，所以我們可以進一步假定

? ? ? ? 因此，我們可以進一步將譜圖卷積簡化?（相當于上面切比雪夫多項式近似的時候，K取2，也就是只考慮1階鄰居）：

????????是譜圖卷積核公用的參數(shù)。為了約束參數(shù)并為了穩(wěn)定數(shù)值計算?，θ0和θ1被一個參數(shù)θ代替：

????????

? ? ? ? 我們再令

????????

????????

? ? ? ? 那么我們有：

?

????????堆疊K-1個一階近似的圖卷積可以獲得和平行的K階卷積相同的效果，所有的卷積可以從一個頂點的K-1階鄰居中獲取到信息。

3.1.3 圖卷積的泛化

? ? ? ? ?在上定義的譜圖卷積算子*g可以延伸到多維度的標量中（每一個觀測點的交通數(shù)據(jù)不再是一維而是多維）

? ? ? ? 對于每個觀測點有Ci個維度的交通信號數(shù)據(jù)，泛化的譜圖卷積可以定義為：

?其中，切比雪夫多項式的系數(shù)有個，（Ci，Co分別表示輸入和輸出的大小）

? ? ? ? 那么對于譜圖卷積來說，?

?

? ? ? ? 回到我們的問題，我們交通數(shù)據(jù)X的輸入有M個時間片，交通路網(wǎng)途中一共有n個點，每個點有Ci維特征（在我們后續(xù)的數(shù)據(jù)中，Ci=1），即

3.2 提取空間特征的門控CNN、

? ? ? ? ?盡管基于RNN的模型被廣泛應用于時間序列分析任務中，RNN在交通預測領域仍然面臨著很多問題（迭代很費時間、復雜的門控機制、對于數(shù)據(jù)的動態(tài)變化相應較慢）

? ? ? ? 相反地，CNN計算快，結構簡單，可以并行，對于之前的步驟依賴性小。

? ? ? ? 于是我們在時間軸上應用卷積操作來捕捉交通流數(shù)據(jù)的時間動態(tài)特征。

????????如圖所示，時間卷積網(wǎng)絡包括了一個一維的因果卷積網(wǎng)絡（卷積核大小為Kt）和一個門控線性單元GLU作為非線性激活函數(shù)。

? ? ? ? 對于圖G中的每一個點，時間卷積操作考慮它的Kt個鄰居的信息。->每層時間卷積操作可以使得交通時間序列數(shù)據(jù)縮短Kt-1

? ? ? ? 時間卷積層每一個點的輸入可以看成是??（M——時間片長度，Ci每個點屬性的維度值）

? ? ? ? 時間卷積核，用來將輸入Y映射到輸出?上（P，Q是相同通道）

? ? ? ?

????????因此，門控時間卷積可以寫成

?

? ? ? ? 這里?P和Q是GLU門的兩個輸入

????????代表對應位置元素相乘的哈達瑪積

????????控制了哪些P是重要的，哪些P目前是不重要的

????????

? ? ? ? 相似地，時間卷積也可以泛化到三位變量

?3.3 時空卷積塊

?

每一個時空卷積快最后都會過一個層歸一化，來放置過擬合?

對于塊l來說，它的輸入為

它的輸出為??（每一個時間卷積減少Kt-1維）

?整體ST卷積塊的計算流程為：

?其中是第一個和第二個時間卷積層的卷積核?

?是空間譜圖卷積層的卷積核

?

????????在迭代了兩個ST卷積塊之后，我們使用了一個額外的時間卷積層，以及一個全連接層，來得到輸出結果?

? ? ? ? ?然后我們用一個線性變換獲得每個點的預測速度，是權重向量，b是偏差

? ? ? ? 我們使用L2 loss來衡量我們模型的優(yōu)劣

?

? ? ? ? 這里Wθ是所有模型中可訓練的參數(shù)

? ? ? ? v(t+1)是實際的交通速度?

3.4 STGCN總結

• STGCN可以用來處理結構化時間序列，不僅僅在交通領域，更多其它時空數(shù)據(jù)挖掘領域的數(shù)據(jù)都適用

• STGCN使用時間和空間上的卷積操作，這可以更好地捕捉時間和空間上的特征

• 由于模型是由完完全全的卷積結構組成，所以我們可以并行處理他，有更少的參數(shù)，更快的訓練速度

4 實驗部分

?

4.1 數(shù)據(jù)預處理?

????????鄰接矩陣由觀測點之間的距離計算而得：????????

?

? ? ? ? ε和σ都是控制鄰接矩陣稀疏程度的閾值

? ? ? ? 鄰接矩陣的可視化見上圖（右）

4.2 實驗結果

STGCN（Cheb）中的Kt設置為3?

?????????STGCN的預測表現(xiàn)是很不俗的

????????傳統(tǒng)的統(tǒng)計和機器學習方法可能在短期預測中效果不錯，但是在中長期預測中，因為誤差累積、缺少空間信息、沒有記憶等問題，效果不理想

? ? ? ? ARIMA效果是最差的，因為它不能處理復雜的時空數(shù)據(jù)據(jù)

? ? ? ? 深度學習方法比機器學習方法效果要好

?

與此同時，模型的訓練時間是很短的：

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的交通预测论文笔记：Spatio-Temporal Graph Convolutional Networks: A Deep Learning Frameworkfor Traffic Forecast的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。