论文笔记：Unsteady Multi-Element Time Series Analysis and Prediction Based on Spatial-Temporal Attention
2020 MDPI
0 摘要
有害藻華（HABs）往往對(duì)漁業(yè)生產(chǎn)和人類生命安全造成極大危害。因此，HABs的檢測和預(yù)測成為一個(gè)重要的課題。
????????機(jī)器學(xué)習(xí)在國內(nèi)外越來越多地用于預(yù)測HAB。然而，很少有人能夠提前捕捉到 Chl-a 的突然變化并適當(dāng)?shù)靥幚黹L期依賴關(guān)系。
????????為了應(yīng)對(duì)這些挑戰(zhàn)，提出了基于長短期記憶 (LSTM) 的葉綠素-a (Chl-a) 濃度預(yù)測時(shí)空注意模型，該模型可以捕捉各種因素與 Chl-a 之間的相關(guān)性，自適應(yīng)地捕獲來自先前時(shí)間間隔的動(dòng)態(tài)時(shí)間信息以進(jìn)行預(yù)測。
????????該模型還可以提前捕捉到紅潮爆發(fā)時(shí)數(shù)值飆升的 Chl-a 階段。由于當(dāng)前 Chl-a 濃度預(yù)測模型的不穩(wěn)定性，該模型也被應(yīng)用于預(yù)測可靠性的預(yù)測，以對(duì)模型誤差的范圍和波動(dòng)有一個(gè)基本的了解，并為描述海洋災(zāi)害誤差范圍提供參考。
????????實(shí)驗(yàn)所用數(shù)據(jù)取自福建省海洋預(yù)報(bào)站2009-2011年數(shù)據(jù)，合并為8維數(shù)據(jù)。結(jié)果表明，所提出的方法比其他 Chl-a 預(yù)測算法（例如 Attention LSTM 和 Seq2seq 以及反向傳播）表現(xiàn)更好。誤差預(yù)測結(jié)果也表明，誤差預(yù)測方法在赤潮防治方面具有優(yōu)勢。
1 introduction
????????現(xiàn)有環(huán)境預(yù)測模型大多使用總平均誤差來評(píng)價(jià)預(yù)測結(jié)果，當(dāng)自然災(zāi)害突然發(fā)生時(shí)，這些模型會(huì)出現(xiàn)較大的誤差波動(dòng)。
???????? 因此，在預(yù)測自然災(zāi)害的發(fā)生時(shí)，不僅要了解模型的預(yù)測結(jié)果，還要掌握模型誤差的波動(dòng)情況，為預(yù)測的可靠性提供參考。
????????人工神經(jīng)網(wǎng)絡(luò) (ANN) 是最廣泛使用的機(jī)器學(xué)習(xí) (ML) 方法來預(yù)測藻華 [7,8]，尤其是反向傳播 (BP) 神經(jīng)網(wǎng)絡(luò) [9]。
????????然而，由于赤潮是一個(gè)爆發(fā)性的過程而不是一個(gè)漸進(jìn)的過程，目前大多數(shù)赤潮預(yù)測方法都存在不準(zhǔn)確和誤差波動(dòng)的問題。
????????當(dāng)赤潮發(fā)生時(shí)，海水中的 Chl-a 值會(huì)突然上升。 現(xiàn)有赤潮預(yù)報(bào)方法無法預(yù)測赤潮爆發(fā)時(shí)Chl-a值的快速變化，也未考慮模型誤差的波動(dòng)。 ?
????????我們在本文中使用 Chl-a 作為赤潮的指標(biāo)。 考慮到赤潮與氣壓、光照、風(fēng)速、風(fēng)向、氣溫等氣象因子的諸多維度相關(guān)，有必要建立多維度的空間注意力機(jī)制來捕捉這些因子與Chl-a的動(dòng)態(tài)關(guān)聯(lián)。
???????? 我們還應(yīng)用時(shí)間注意力來模擬目標(biāo)時(shí)間序列中不同時(shí)間間隔之間的動(dòng)態(tài)時(shí)間相關(guān)性，這可以解決encoder-decoder的性能會(huì)隨著編碼器長度的增加而迅速下降的問題。
??????在本文中，基于雙階段注意力的 RNN（DA-RNN）[16] 被應(yīng)用于預(yù)測 Chl-a 并預(yù)測模型誤差的波動(dòng)。
我們的主要貢獻(xiàn)如下：
（1）首先，我們開發(fā)了 DARNN 來預(yù)測 Chl-a 值，我們發(fā)現(xiàn)雙注意力機(jī)制在 RMSE 和平均絕對(duì)誤差（MAE）上的表現(xiàn)都優(yōu)于其他模型 ，DARNN可以比其他模型更好地預(yù)測 Chl-a 值的突變，這對(duì)于防止赤潮具有重要意義。
(2) 其次，我們還對(duì)預(yù)報(bào)的可靠性進(jìn)行了預(yù)測，對(duì)模型誤差的范圍和波動(dòng)有一個(gè)基本的認(rèn)識(shí)，為描述海洋災(zāi)害的范圍提供參考。
2 方法
2.1 問題描述??
我們已知Chl-a的歷史時(shí)間序列（T是時(shí)間窗口的大小）
已知其他特征（如溫度，適度，氧氣含量等）
?
其中表示k特征的時(shí)間序列，表示時(shí)刻t的所有其他特征（n是其他特征的數(shù)量），
那么我們希望預(yù)測現(xiàn)在的Chl-a的值
?
?2.2 模型
????????圖 1 展示了我們模型的框架。 按照decode-encoder架構(gòu) [11]，我們構(gòu)建了一個(gè)基于 DA-RNN [16] 的預(yù)測網(wǎng)絡(luò)。
???????? 編碼器處理多維空間注意機(jī)制，可以自適應(yīng)地捕捉 Chl-a 與其他特征時(shí)間序列之間的動(dòng)態(tài)相關(guān)性。
????????解碼器使用時(shí)間注意力來自適應(yīng)地選擇相關(guān)的先前時(shí)間間隔進(jìn)行預(yù)測。
????????借助時(shí)空注意機(jī)制，DA-RNN 可以捕捉輸入特征與 Chl-a 之間的相關(guān)程度，并應(yīng)用時(shí)間維度的注意來捕捉動(dòng)態(tài)時(shí)間相關(guān)性。
?
?2.2.1編碼器
????????編碼器本質(zhì)上是一個(gè)LSTM，它將輸入序列X編碼潛在表示h 。
機(jī)器學(xué)習(xí)筆記：GRU_UQI-LIUWJ的博客-CSDN博客
???????
???????機(jī)器學(xué)習(xí)筆記： attention_UQI-LIUWJ的博客-CSDN博客
2.2.2?空間注意力機(jī)制
空間注意力機(jī)制自適應(yīng)地學(xué)習(xí)ChI-a 的時(shí)間序列和其他特征序列之間的關(guān)聯(lián)
? ?
這里[.;,] 是一個(gè)concat操作
是需要學(xué)習(xí)的參數(shù)
?
這里使用的不是一般所說的attention layer（就是Q矩陣乘K矩陣那樣的），使用的是attention in Seq2Seq
有了權(quán)重，我們就可以更新不同時(shí)間步的輸入和隱藏狀態(tài)?
?
?2.2.3 解碼器
? ? ? ? 空間上的注意力機(jī)制
3 實(shí)驗(yàn)部分
3.1 數(shù)據(jù)集
實(shí)驗(yàn)數(shù)據(jù)來自福建省海洋預(yù)報(bào)站
?
?各變量之間的皮爾遜關(guān)聯(lián)系數(shù)為：
?3.2 衡量方法
?3.3 實(shí)驗(yàn)結(jié)果
?
可以看出Chl-a 可以更好地?cái)M合突變情況
?
總結(jié)
以上是生活随笔為你收集整理的论文笔记：Unsteady Multi-Element Time Series Analysis and Prediction Based on Spatial-Temporal Attention的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 强化学习笔记 DDPG (Deep De
- 下一篇： NTU 课程笔记：CV6422 样本分布