神經常微分方程(NODEs)為構造(連續時間)神經網絡提供了一種新的范式。雖然在參數的數量和構造神經網絡的靈活性方面顯示出一些良好的特性，但它們也有一些眾所周知的局限性:i)理論上節點只學習同態映射函數，ii)有時節點在解決積分問題時顯示出數值不穩定性。為了處理這個問題，提出了許多改進。然而，據我們所知，將注意力集成到node中已經被忽視了一段時間。為此，我們提出了一種新的注意性雙協同進化節點(ACE-NODE)方法:一個主節點用于下游機器學習任務，另一個主節點用于向主節點提供注意。我們的ACE-NODE同時支持成對注意和elementwise注意。在我們的實驗中，我們的方法在幾乎所有情況下都比現有的基于node和非基于node的基線有顯著的優勢。

?

?

?

總結：文中的創新點：將ODE與attention機制結合起來

總結

以上是生活随笔為你收集整理的ACE-NODE: Attentive Co-Evolving Neural Ordinary DifferentialEquations（KDD 2021）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。