本文介紹本組時間序列預測方向的最新工作：Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting。

論文鏈接：

https://arxiv.org/abs/2106.13008　

論文作者：

吳海旭，徐介暉，王建民，龍明盛

引言

時間序列預測已經被廣泛用于能源、交通、氣象等眾多領域。在實際應用中，盡可能延長預測時效是一個迫切的需求，如能源、交通的長期規劃，和氣象災害的早期預警等。

因此，我們探索了長期時間序列預測問題：待預測的序列長度遠遠大于輸入長度，即基于有限的信息預測更長遠的未來。上述需求使得此預測問題極具挑戰性，對于模型的預測能力及計算效率有著很強的要求。

分析

之前基于Transformer的時間序列預測模型，通過自注意力機制（self-attention）來捕捉時刻間的依賴，在時序預測上取得了一些進展。但是在長期序列預測中，仍存在不足：

• 長序列中的復雜時間模式使得注意力機制難以發現可靠的時序依賴。

• 基于Transformer的模型不得不使用稀疏形式的注意力機制來應對二次復雜度的問題，但造成了信息利用的瓶頸。

為突破上述問題，我們全面革新了Transformer，并提出了名為Autoformer的模型，主要包含以下創新：

• 突破將序列分解作為預處理的傳統方法，提出深度分解架構（Decomposition Architecture），能夠從復雜時間模式中分解出可預測性更強的組分。

• 基于隨機過程理論，提出自相關機制（Auto-Correlation Mechanism），代替點向連接的注意力機制，實現序列級（series-wise）連接和復雜度，打破信息利用瓶頸。

在長期預測問題中，Autoformer在能源、交通、經濟、氣象、疾病五大時序領域大幅超越之前SOTA，實現38% 的相對效果提升。

Autoformer

我們提出的Autoformer全面革新Transformer為深度分解架構，包括內部的序列分解單元、自相關機制以及對應的編-解碼器。

深度分解架構

圖1: Autoformer架構。

時間序列分解是指將時間序列分解為幾個組分，每個組分表示一類潛在的時間模式，如周期項（seasonal），趨勢項（trend-cyclical）。由于預測問題中未來的不可知性，通常先對過去序列進行分解，再分別預測。但這會造成預測結果受限于分解效果，并且忽視了未來各個組分之間的相互作用。

我們提出深度分解架構，將序列分解作為Autoformer的一個內部單元，嵌入到編-解碼器中。在預測過程中，模型交替進行預測結果優化和序列分解，即從隱變量中逐步分離趨勢項與周期項，實現漸進式分解。

序列分解單元（series decomposition block）基于滑動平均思想，平滑周期項、突出趨勢項：其中，為待分解的隱變量，分別為趨勢項和周期項，我們將上述公式記為。我們將上述序列分解單元嵌入Autoformer層間。

編碼器： 在Encoder部分，我們逐步消除趨勢項（這部分會在Deocder中通過累積得到），得到周期項，。而基于這種周期性，我們設計自相關機制，聚合不同周期的相似子過程，實現信息聚合：

解碼器： 在Decoder部分，我們對趨勢項與周期項分別建模。其中，對于周期項，自相關機制利用序列的周期性質，聚合不同周期中具有相似過程的子序列；對于趨勢項，我們使用累積的方式，逐步從預測的隱變量中提取出趨勢信息（最后一行）：

基于上述漸進式分解架構，模型可以在預測過程中逐步分解隱變量，并通過自相關機制、累積的方式分別得到周期、趨勢組分的預測結果，實現分解、預測結果優化的交替進行、相互促進。

自相關機制

我們提出自相關機制來實現高效的序列級連接，從而擴展信息效用。觀察到，不同周期的相似相位之間通常表現出相似的子過程，我們利用這種序列固有的周期性來設計自相關機制，其中，包含基于周期的依賴發現（Period-based dependencies）和時延信息聚合（Time delay aggregation）。

基于周期的依賴發現： 基于隨機過程理論，對于實離散時間過程，我們可以如下計算其自相關系數：

其中，自相關系數表示序列與它的延遲之間的相似性。我們將這種時延相似性看作未歸一化的周期估計的置信度，即周期長度為的置信度為。

圖2: 時延信息聚合。

時延信息聚合： 為了實現序列級連接，我們需要將相似的子序列信息進行聚合。我們這里依據估計出的周期長度，首先使用操作進行信息對齊，再進行信息聚合，我們這里依然使用query、key、value的形式，從而可以無縫替代自注意力機制。

這里，我們挑選最有可能的個周期長度，用于避免挑選到無關、甚至相反的相位。在Autoformer中，我們使用多頭（multi-head）版本（圖3）。

圖3: 多頭自相關機制。

高效計算： 基于Wiener-Khinchin理論，自相關系數可以使用快速傅立葉變換（FFT）得到，計算過程（圖3）如下：

其中，和分別表示FFT和其逆變換。因此，自相關機制的復雜度為。

對比分析： 相比于之前的注意力機制或者稀疏注意力機制，自注意力機制（Auto-Correlation Mechanism）實現了序列級的高效連接，從而可以更好的進行信息聚合，打破了信息利用瓶頸。

圖4: 自相關機制與注意力機制對比。

實驗

我們在6個數據集上進行了模型驗證，涵蓋能源、交通、經濟、氣象、疾病五大領域。更多基準模型和結果請見論文。

表1:實驗結果，輸入長度為96（ILI數據集為24），表左側為輸出長度屬于{96,192,336,720}（ILI數據集為{24,36,48,60}）。

Autoformer在所有數據集、各種輸入-輸出長度的設置下，取得了最優（SOTA）結果。

數據集相比之前SOTA，MSE提升

ETT	74%（1.3340.351）
Electricity	24%（0.2800.213）
Exchange	64%（1.3570.488）
Traffic	14%（0.7330.634）
Weather	26%（0.4550.335）
ILI	30%（4.5833.227）

其中，前五個數據集指標為輸入96預測336設置，ILI數據集為輸入24預測60設置。在上述6個數據集的設置下，Autoformer在MSE指標上平均提升38%。

對比實驗

深度分解架構： 我們將提出的深度分解架構具有較好通用性，可以應用于其他基于Transformer的模型，均可以得到明顯提升，且隨著預測時效的延長，效果提升更明顯。

我們也對比了深度分解架構和先分解再使用兩個模型分別預測的方式，后者雖然有更多的參數、更大的模型，但是受限于前述原因，我們的深度分解依然優于預處理用法。

表2: 深度分解架構的通用性與必要性分析。

自相關機制 vs. 自注意力機制： 我們在眾多輸入-輸出設置下，對比了自相關機制與各種自注意力機制，比如，經典Transformer中Full Attention，Informer中PropSparse Attention等。我們提出的自相關機制依然取得了最優的結果。

表3: 自相關機制與自注意力機制對比分析。

模型分析

漸進式分解效果： 隨著序列分解單元的數量增加，模型的學到的趨勢項會越來越接近數據真實結果，周期項可以更好的捕捉序列變化情況，這驗證了漸進式分解的作用。

圖5: 漸進式分解效果可視化，從圖(a)到圖(d)，序列分解單元逐漸增多。

時序依賴可視化： 通過對比可以發現，Autoformer中自相關機制可以正確發掘出每個周期中的下降過程，并且沒有誤識別和漏識別，而自注意力機制存在錯誤和缺漏。

圖6: 各模型學到的時序依賴可視化，圖(a)中紅色線表示對于最后一個時刻所執行序列聚合的位置，圖(b)-(d)黃色線表示對于最后一個時刻的注意力。

效率分析： 在顯存占用和運行時間兩個指標上，自相關機制均表現出了優秀的空間時間效率，兩個層面均超過自注意力機制，表現出高效的復雜度。

圖7: 時間空間效率對比，紅色線為Autoformer。

總結

針對長時序列預測中的復雜時間模式難以處理與運算效率高的問題，我們提出了基于深度分解架構和自相關機制的Autoformer模型。通過漸進式分解和序列級連接，大幅提高了長時預測效率。

同時，Autoformer在能源、交通、經濟、氣象、疾病五大主流領域均表現出了優秀的長時預測結果，模型具有良好的效果魯棒性，具有很強的應用落地價值。

歡迎感興趣的朋友閱讀我們的論文查看更多細節內容。

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的Autoformer: 基于深度分解架构和自相关机制的长期序列预测模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。