快速ES-RNN: ES-RNN算法的GPU實現

題目：

Fast ES-RNN: A GPU Implementation of the ES-RNN Algorithm

作者：

Andrew Redd, Kaung Khin, Aldo Marini

來源：

Machine Learning (cs.LG)

Submitted on 7 Jul 2019

文檔鏈接：

arXiv:1907.03329

代碼鏈接：

摘要

由于它們的普遍存在，時間序列預測在多個領域都是至關重要的。我們力求使最先進的預測快速、簡便、可推廣。ES-RNN是經典狀態空間預測模型與現代RNNs的結合，在M4競爭中取得了9.4%的sMAPE改進。關鍵是，ES-RNN的實現需要每次序列參數。通過對原始實現進行矢量化并將算法移植到GPU上，我們根據批處理大小實現了高達322x的訓練加速，結果與原始提交中報告的結果類似。

英文原文

Due to their prevalence, time series forecasting is crucial in multiple domains. We seek to make state-of-the-art forecasting fast, accessible, and generalizable. ES-RNN is a hybrid between classical state space forecasting models and modern RNNs that achieved a 9.4% sMAPE improvement in the M4 competition. Crucially, ES-RNN implementation requires per-time series parameters. By vectorizing the original implementation and porting the algorithm to a GPU, we achieve up to 322x training speedup depending on batch size with similar results as those reported in the original submission.

要點

我們的任務是使最先進的預測快速、簡便、可推廣。首先，我們通過將Smyl s的原始c++提交移植到Pytorch來實現快速培訓。這種矢量化允許使用GPU，提供高達322x的訓練加速。其次，Python代碼使預測和機器學習社區更容易訪問模型。1 .最后，Pytorch的使用使得模型的泛化更加容易，因為庫中包含多個架構，可以補充ES-RNN在非m4時間序列中的應用。我們期望我們的貢獻，以加快采用混合模型在時間序列預測。

表1：網絡中設置的參數總結

圖1：Smyl等人(2018)的NN架構示意圖

表2:M4按類型和系列頻率排列的數據

表3:頻率序列長度統計

圖2:Smyl等人(2018)定義的時間序列規范化和消除季節性因素處理

表4:結果與M4基線模型的比較

表5:15輪的運行時間迭代后結果比較

圖3:Smyl等人(2018)的NN架構

在這個項目中，我們成功地將最先進的ES-RNN算法應用于一個快速、可訪問、可推廣的預測框架中。我們克服的主要挑戰是每次序列參數的訓練。由于直接在CPU上實現原始提交，這證明是困難的。我們的工作集中在每次序列參數的矢量化上，以使GPU計算在一個支持快速執行的框架中(如Pytorch)。我們得到了與原始提交的結果相似的結果，但是少了幾個數量級的訓練時間。

我們預計我們的貢獻將使最先進的算法在單變量序列上得到強有力的采用，并有助于將模型推廣到可使用協變量的特定問題。

總結

以上是生活随笔為你收集整理的es 怎么嵌入 算法模型_快速ES-RNN: ES-RNN算法的GPU实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。