快速ES-RNN: ES-RNN算法的GPU實現(xiàn)

題目：

Fast ES-RNN: A GPU Implementation of the ES-RNN Algorithm

作者：

Andrew Redd, Kaung Khin, Aldo Marini

來源：

Machine Learning (cs.LG)

Submitted on 7 Jul 2019

文檔鏈接：

arXiv:1907.03329

代碼鏈接：

摘要

由于它們的普遍存在，時間序列預測在多個領(lǐng)域都是至關(guān)重要的。我們力求使最先進的預測快速、簡便、可推廣。ES-RNN是經(jīng)典狀態(tài)空間預測模型與現(xiàn)代RNNs的結(jié)合，在M4競爭中取得了9.4%的sMAPE改進。關(guān)鍵是，ES-RNN的實現(xiàn)需要每次序列參數(shù)。通過對原始實現(xiàn)進行矢量化并將算法移植到GPU上，我們根據(jù)批處理大小實現(xiàn)了高達322x的訓練加速，結(jié)果與原始提交中報告的結(jié)果類似。

英文原文

Due to their prevalence, time series forecasting is crucial in multiple domains. We seek to make state-of-the-art forecasting fast, accessible, and generalizable. ES-RNN is a hybrid between classical state space forecasting models and modern RNNs that achieved a 9.4% sMAPE improvement in the M4 competition. Crucially, ES-RNN implementation requires per-time series parameters. By vectorizing the original implementation and porting the algorithm to a GPU, we achieve up to 322x training speedup depending on batch size with similar results as those reported in the original submission.

要點

我們的任務是使最先進的預測快速、簡便、可推廣。首先，我們通過將Smyl s的原始c++提交移植到Pytorch來實現(xiàn)快速培訓。這種矢量化允許使用GPU，提供高達322x的訓練加速。其次，Python代碼使預測和機器學習社區(qū)更容易訪問模型。1 .最后，Pytorch的使用使得模型的泛化更加容易，因為庫中包含多個架構(gòu)，可以補充ES-RNN在非m4時間序列中的應用。我們期望我們的貢獻，以加快采用混合模型在時間序列預測。

表1：網(wǎng)絡(luò)中設(shè)置的參數(shù)總結(jié)

圖1：Smyl等人(2018)的NN架構(gòu)示意圖

表2:M4按類型和系列頻率排列的數(shù)據(jù)

表3:頻率序列長度統(tǒng)計

圖2:Smyl等人(2018)定義的時間序列規(guī)范化和消除季節(jié)性因素處理

表4:結(jié)果與M4基線模型的比較

表5:15輪的運行時間迭代后結(jié)果比較

圖3:Smyl等人(2018)的NN架構(gòu)

在這個項目中，我們成功地將最先進的ES-RNN算法應用于一個快速、可訪問、可推廣的預測框架中。我們克服的主要挑戰(zhàn)是每次序列參數(shù)的訓練。由于直接在CPU上實現(xiàn)原始提交，這證明是困難的。我們的工作集中在每次序列參數(shù)的矢量化上，以使GPU計算在一個支持快速執(zhí)行的框架中(如Pytorch)。我們得到了與原始提交的結(jié)果相似的結(jié)果，但是少了幾個數(shù)量級的訓練時間。

我們預計我們的貢獻將使最先進的算法在單變量序列上得到強有力的采用，并有助于將模型推廣到可使用協(xié)變量的特定問題。

總結(jié)

以上是生活随笔為你收集整理的es 怎么嵌入 算法模型_快速ES-RNN: ES-RNN算法的GPU实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。