原文連接：https://sinews.siam.org/Details-Page/reservoir-computing-harnessing-a-universal-dynamical-system

目前人們對開發用于處理海量數據集的人工智能算法非常感興趣，通常用于分類任務，例如識別照片中的面部。但是，如果我們的目標是學習一個確定性的動力系統呢？相關應用包括預測天氣，控制復雜的動力系統，以及指紋識別射頻發射器以保護物聯網。訓練“通用”動力系統來預測所需系統的動力學是解決這個問題的一種方法，非常適合于水庫計算（RC）：一種用于處理時間相關信息的循環人工神經網絡（見圖1）。它可以在許多模式下操作，包括預測模式，上述任務。雖然研究人員已經研究了RCs超過20年[1]并成功應用于各種任務[2]，但仍有許多開放性問題，動力系統社區可能會感興趣并能夠解決。RC與傳統的前饋神經網絡的區別在于以下特性：

• 每個網絡節點都具有不同的動態行為
• 信號的時間延遲可能沿著網絡鏈路發生
• 網絡的隱藏部分具有循環連接
• 輸入和內部權重是固定的并隨機選擇
• 在訓練期間僅調整輸出權重。(加速訓練)
  
  

Figure 1.. Illustration of the reservoir computer architecture. Figure credit: Daniel J. Gauthier.

數學上，RC由一組自治的，時滯微分方程描述

非線性函數f通常是S形的，我們可以采用開關閾值（布爾）函數的極限，如在傳統的Hopfield網絡中所做的那樣。儲層將J維輸入數據流映射到更高維度的相空間 - 維度擴展

對于預測任務，我們使用有限持續時間的“訓練”數據樣本調整權重W_out，以便得到的輸出以最小二乘意義表示輸入數據。訓練之后，輸入信號斷開，輸出連接到輸入以開始預測階段。 更詳細地，通過在時間T_train上注入輸入訓練數據集U并在該間隔上觀察網絡動態X來確定W_out。基于這些觀察，我們修改權重以將輸出YY的誤差最小化到期望的輸出Y_des，從而得到
我們可以使用偽逆矩陣例程在最小二乘意義上求解上式，這些例程通常包含在各種計算機語言中，其中一些可以利用矩陣的稀疏性。非零值確保W_out的范數不會變大，這改善了系統對不同輸入的普遍性并增加了噪聲容限。我們還可以使用梯度下降方法的解決方案，這在矩陣維度很大時很有用，并利用來自深度學習社區的工具包利用圖形處理單元。使用遞歸最小二乘法是另一種方法。
RC可以在預測任務中很好地工作。例如，當在訓練之前將儲層動力學投射到較低維度的相空間時，可以學習動力系統的吸引子[3]。我們還可以通過標準訓練方法學習吸引子，并從RC產生的時間序列中準確地找到Lyapunov指數，甚至是時空動力系統[7]。此外，我們可以將預測的時間序列用作控制系統中的觀察者[4]，或者用于大型時空系統的數據同化而不使用基礎模型[6]。這些結果表明RC是表征復雜動力系統的有力工具。 雖然這些結論很有說服力，但為特定任務設計RC很大程度上是一種反復試驗，而作者傾向于提供有效的結果，而不是那些失敗的結果。以下是一個懸而未決的問題：我們如何優化模型中的參數以在預測或分類任務中獲得最準確的預測，同時允許RC在類似于數據的數據上運行良好訓練數據集？早期的研究集中在網絡的所謂回聲狀態屬性 - 輸出最終應該忘記輸入和一致性屬性，相同試驗的輸出在某些時期應該是相似的。當Wres的光譜半徑小于1時（對于bi = 0的情況），最初假設這些條件得到保證。 但是，這種情況忽略了輸入動態（input dynamics），主要是X = 0穩定性的陳述。最近的工作開始解決單輸入通道情況的這一缺點，證明在給定輸入的情況下必須有一個完整的輸出解決方案[5]。 雖然存在過去研究的基礎，但許多需要定量和嚴格答案的問題仍然存在。例如，N必須有多大才能達到理想的錯誤率？我們應該如何調整γi相對于原始動力系統的時間尺度？為什么稀疏連接的儲層經常表現最好？ 在去年五月在猶他州Snowbird舉行的2017年SIAM動力系統應用會議上，Edward Ott和作者組織了一次關于RCs的minisymposium討論這些問題和其他問題。 Ott表明，RC可以學習動態系統的“氣候”，并以可擴展的方式準確預測時空混亂。 Roger Brockett表示，密集的網絡連接可能會導致儲層節點的部分或完全同步，從而減少RC可以學習的波形的多樣性。 Brian Hunt建議，當用于預測任務時，RC必須以廣義的意義與輸入數據同步。最后，我討論了一種能夠以超過幾十MHz的速率進行預測的基于硬件的RC。 總之，RC可以作為一個能夠學習其他系統動力學的通用動力系統。例如，當獲得用于學習的動力系統的數據昂貴或困難時，這可能證明是有利的。雖然該領域正在迅速發展，但仍有大量空缺可供其他人加入。 References
[1] Jaeger, H., & Haas, H. (2004). Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication.?Science, 304(5667), 78-80.
[2] Larger, L., Baylón-Fuentes, A., Martinenghi, R., Udaltsov, V.S., Chembo, Y.K., & Jacquot, M. (2017). High-speed photonic reservoir computing using time-delay-based architecture: Million words per second classification.?Phys. Rev. X, 7, 011015.
[3] L?kse, S., Bianchi, F.M., & Jessen, R. (2017). Training echo state networks with regularization through dimensionality reduction.?Cogn. Comput., 9, 364.
[4] Lu, Z., Pathak, J., Hunt, B., Girvan, M., Brockett, R., & Ott, E. (2017). Reservoir observers: Model-free inference of unmeasured variables in chaotic systems.?Chaos, 27, 041102.
[5] Manjunath, G., & Jaeger, H. (2013). Echo State Property Linked to an Input: Exploring a Fundamental Characteristic of Recurrent Neural Networks.?Neur. Comp., 25, 671.
[6] Pathak, J., Hunt, B., Girvan, M., Lu, Z., & Ott, E. (2018). Model-free prediction of large spatiotemporally chaotic systems from data: A reservoir computing approach.?Phys. Rev. Lett., 120, 024102.
[7] Pathak, J., Lu, Z., Hunt, B.R., Girvan, M., & Ott, E. (2017). Using machine learning to replicate chaotic attractors and calculate Lyapunov exponents from data. Preprint,?arXiv:1710.07313.

?

轉載于:https://www.cnblogs.com/skykill/p/9319950.html

總結

以上是生活随笔為你收集整理的Reservoir Computing: Harnessing a Universal Dynamical System的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。