神經(jīng)常微分方程（2018）

• Abstract
• 1 Introduction
• 2 Reverse-mode automatic differentiation of ODE solutions(反向模式的自動微分ODE的解決方案)
• 3 Replacing residual networks with ODEs for supervised learning
• 4 Continuous Normalizing Flows
• • 4.1 CNF試驗

Abstract

我們引入了一種新的深度神經(jīng)網(wǎng)絡模型家族。我們沒有指定一個離散的隱藏層序列，而是使用神經(jīng)網(wǎng)絡參數(shù)化隱藏狀態(tài)的導數(shù)。該網(wǎng)絡的輸出是用一個黑盒微分方程求解器來計算的。這些連續(xù)深度模型具有恒定的內(nèi)存成本，可以根據(jù)每個輸入調(diào)整其評估策略，并可以明確地用數(shù)值精度換取速度。我們在連續(xù)深度剩余網(wǎng)絡和連續(xù)時間潛變量模型中證明了這些特性。我們還構造了連續(xù)的歸一化流，一個生成模型，可以通過最大似然進行訓練，而不需要對數(shù)據(jù)維進行劃分或排序。對于訓練，我們展示了如何通過任何ODE求解器可伸縮地反向傳播，而不訪問其內(nèi)部操作。這允許在更大的模型中對ode進行端到端訓練。

1 Introduction

殘差網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡解碼器和正則化流等模型通過組合一系列到隱藏狀態(tài)的轉換來構建復雜的轉換：
$$h_{t+1}=h_t+f({\theta }_t,h_t)\text{\hspace{1em}(1)}$$其中$t\in \{1,...,T\},h_t\in {\mathbb{R}}^d$，這些迭代更新可以看作是一個連續(xù)變換的歐拉離散化。
當我們添加更多的圖層和采取更小的步驟時，會發(fā)生什么？在極限情況下，我們使用一個由神經(jīng)網(wǎng)絡指定的常微分方程(ODE)來參數(shù)化隱藏單元的連續(xù)動態(tài)：
$$\frac{dh(t)}{dt}=f(h(t),t,\theta )\text{\hspace{1em}(2)}$$從輸入層$h(0)$，我們可以定義輸出層$h(T)$為在T時刻上ODE初值問題的解，這個值可以通過黑盒微分方程求解器計算，它評估隱藏神經(jīng)元動力學f 在任何需要的地方求解符合精度要求的解。圖1對比了這兩種方法。

使用ODE求解器來定義和評估模型有幾個好處：
Memory efficiency： 在第2節(jié)中，我們展示了如何計算關于任何ODE求解器的所有輸入的標量值損失的梯度，而不通過求解器的操作反向傳播。如果不存儲任何中間數(shù)量的正向傳遞，我們就可以用恒定的內(nèi)存成本作為深度的函數(shù)來訓練我們的模型，這是訓練深度模型的一個主要瓶頸。

Adaptive computation： 歐拉的方法可能是求解ode的最簡單的方法。從那以后，高效和精確的ODE求解器已經(jīng)發(fā)展了120多年?，F(xiàn)代ODE求解器為近似誤差的增長提供了保證，監(jiān)測誤差水平，并動態(tài)調(diào)整其評估策略，以達到所要求的精度水平。這使得評估模型的成本與問題的復雜性而變化。經(jīng)過訓練后，實時或低功耗應用程序的精度可以降低。

Scalable and invertible normalizing flows： 連續(xù)變換的一個意想不到的副作用是，變量公式的變化變得更容易計算。在第4節(jié)中，我們推導了這個結果，并利用它來構造一類新的可逆密度模型，它避免了規(guī)范化流的單個單元瓶頸，并且可以直接通過最大似然進行訓練。

Continuous time-series models： 與需要離散觀測和發(fā)射間隔的循環(huán)神經(jīng)網(wǎng)絡不同，連續(xù)定義的動態(tài)可以自然地合并在任意時間到達的數(shù)據(jù)。在第5節(jié)中，我們構建并演示了這樣一個模型。

2 Reverse-mode automatic differentiation of ODE solutions(反向模式的自動微分ODE的解決方案)

訓練連續(xù)深度網(wǎng)絡的主要技術困難是通過ODE求解器執(zhí)行反向模式微分（也稱為反向傳播）。通過前向傳遞的操作進行區(qū)分是很簡單的，但會導致很高的內(nèi)存成本，并引入額外的數(shù)值誤差。

我們將ODE求解器視為一個黑盒子，并使用伴隨靈敏度方法計算梯度(Pontryaginetal.，1962)。該方法通過求解第二個、增強了的時間向后（時間軸反向）的 ODE 來計算梯度，適用于所有的ODE求解器。這種方法與問題的大小成線性關系，內(nèi)存成本低，并顯式地控制數(shù)值誤差。
考慮優(yōu)化一個標量值損失函數(shù)$L()$，它的前向傳播過程可以如下表示：

$z(t_1)$代表$t_1$時刻的隱藏狀態(tài)，而當隱藏狀態(tài)被連續(xù)化后，$t_0$到$t_1$時刻的中間隱藏狀態(tài)的和就是等式中間部分的積分項。而整個前向過程可以用 ODE 求解器進行求解。

為了優(yōu)化L，我們需要對θ求梯度。第一步就是要求L在每一個時刻對隱狀態(tài)z(t)的梯度，這個量被稱為伴隨矩陣$a(t)=?L/?z(t)$。它的動態(tài)過程被另一個 ODE 來求解，可以把這種瞬時性被看作鏈式法則：
$$\frac{da(t)}{dt}=?a(t{)}^T\frac{?f(z(t),\theta ,t)}{?z}\text{\hspace{1em}(4)}$$這樣, 再調(diào)一次求解器就可以解出$?L/?z(t_0)$。

這個求解器從初始值$?L/?z(t_1)$開始反向運行。一個復雜的問題是，解決這個ODE需要知道$z(t)$沿其整個軌跡的值。然而，我們可以簡單地從最終值$z(t_1)$開始，將它的伴隨$z(t)$一起反向重新計算。
計算關于參數(shù)θ的梯度需要計算第三個積分，它同時取決于z(t)和a(t)：

（4）和（5）中的$a(t{)}^T\frac{?f}{?z}$和$a(t{)}^T\frac{?f}{?\theta }$的vector-Jacobian products 都可以通過 ODE solver 快速求解， 所有的積分解z，a和$?L/?\theta$都可以通過一個 ODE solver 來求解，可以將它們組合成一個向量解 (增強的狀態(tài)，augmented state)。算法1展示了如何構造必要的動態(tài)，并調(diào)用一個ODE求解器來一次計算所有的梯度。

大多數(shù)ODE求解器都可以選擇多次輸出狀態(tài)z(t)。當損失依賴于這些中間狀態(tài)時，反向偏導數(shù)必須被分解成一個單獨的解序列，在每對連續(xù)的輸出時間之間有一個解(圖2)。在每次觀測時，按相應的偏導數(shù)$?L/?z(t_i)$方向調(diào)整。

由損失敏感度$\frac{?L}{?z(t_N)}$調(diào)節(jié)伴隨狀態(tài)a(t)， 然后再有伴隨狀態(tài) a(t) 得到損失敏感度$\frac{?L}{?z(t_N)}$。這是 ODE 反向的鏈式過程。至此，模擬了整個反向傳播的過程

3 Replacing residual networks with ODEs for supervised learning

在本節(jié)中，我們將實驗研究監(jiān)督學習的神經(jīng)ode的訓練。

Software 為了從數(shù)值上解決ODE初值問題，我們使用了在LSODE和VODE中實現(xiàn)的隱式Adams方法，并通過scipy。集成包進行接口。作為一種隱式方法，它比龍格-庫塔等顯式方法有更好的保證，但需要在每一步都要求解一個非線性優(yōu)化問題。這種設置使得通過集成器的直接反向傳播變得困難。我們在Python的自動網(wǎng)格框架中實現(xiàn)了伴隨靈敏度方法(Maclaurinetal.，2015)。在本節(jié)的實驗中，我們使用張量流評估了GPU上的隱藏狀態(tài)動力學及其導數(shù)，然后從FortranODE求解器中調(diào)用，從Python自動grad代碼中調(diào)用。

Model Architectures 我們實驗了一個小殘差網(wǎng)絡，該網(wǎng)絡對輸入進行兩次降采樣，然后應用6個標準殘差塊He等人(2016b)，它們被ODE-Net變體中的ODESolve模塊所取代。我們還測試了一個具有相同架構的網(wǎng)絡，但梯度直接通過龍格-庫塔積分器反向傳播，稱為RK-Net。表1顯示了測試誤差、參數(shù)數(shù)量和內(nèi)存成本。L表示ResNet中的層數(shù)，$L$是ODE求解器在單個向前傳遞中請求的函數(shù)計算數(shù)，可以解釋為隱式的層數(shù)。我們發(fā)現(xiàn)ODE-Nets和RK-nets可以實現(xiàn)與ResNet幾乎相同的性能。

Error Control in ODE-Nets ODE求解器可以近似地確保輸出在真實解的給定容忍度范圍內(nèi)。更改此公差會改變網(wǎng)絡的行為。我們首先驗證了在圖3a中確實可以控制錯誤。前向調(diào)用所花費的時間與函數(shù)評估的數(shù)量成正比(圖3b)，因此調(diào)整公差給了我們一個在精度和計算成本之間的權衡。人們可以進行高精度的訓練，但在測試時會切換到較低的精度。

Network Depth目前尚不清楚如何定義ODE解決方案的“深度”。一個相關的數(shù)量是所需的隱藏狀態(tài)動態(tài)計算的數(shù)量，這個細節(jié)委托給ODE求解器，并依賴于初始狀態(tài)或輸入。圖3d顯示，在整個訓練過程中，功能評估的數(shù)量在訓練過程中不斷增加，這可能是為了適應模型不斷增加的復雜性。

4 Continuous Normalizing Flows

離散化的方程（1）也出現(xiàn)在規(guī)范化流(Rezende和Mohamed，2015)和NICE框架(Dinh等人，2014)中。這些方法利用變量變化定理來計算樣本通過雙射函數(shù)$f$ 進行變換時概率的精確變化：$${\mathbf{z}}_1=f\left({\mathbf{z}}_0\right)?\log p\left({\mathbf{z}}_1\right)=\log p\left({\mathbf{z}}_0\right)?\log \left|\det \frac{?f}{?{\mathbf{z}}_0}\right|$$
經(jīng)典的正則化流模型， planar normalization flows的公式如下:
$$\mathbf{z}(t+1)=\mathbf{z}(t)+uh\left(w^{?}\mathbf{z}(t)+b\right),\log p(\mathbf{z}(t+1))=\log p(\mathbf{z}(t))?\log \left|1+u^{?}\frac{?h}{?\mathbf{z}}\right|$$
使用變量代換公式的瓶頸是計算雅克比矩陣。它的計算復雜度要么是z維度的立方, 要么是隱藏單元數(shù)量的立方，最近的研究都是在NF模型的表達能力和計算復雜度做取舍。
令人驚訝的是，從一組離散的層移動到一個連續(xù)的變換，簡化了規(guī)范化常數(shù)變化的計算。

定理1 變量瞬時變化定理
設$z(t)$ 是一個有限連續(xù)隨機變量，概率$p(z(t))$ 依賴于時間. 則$\frac{dz}{dt}=f(z(t),t)$是$z(t)$ 隨時間連續(xù)變化的微分方程，假設$f$ 關于z一致$Lipschitz$ 連續(xù)，關于$t$ 連續(xù)，那么對數(shù)概率密度的變化也遵循微分方程$$\frac{?\log p(\mathbf{z}(t))}{?t}=?\mathrm{tr}\left(\frac{df}{d\mathbf{z}(t)}\right)\text{\hspace{1em}(8)}$$
$proof$
為了證明這個定理，我們?nèi)×?span id="ozvdkddzhkzd" class="katex--inline">$logp(z(t))$ 隨時間的有限變化的無窮小極限。首先，我們表示$z$ 對$\epsilon$ 的時間變化的變換為$$\mathbf{z}(t+?)=T_{?}(\mathbf{z}(t))\text{\hspace{1em}(14)}$$
我們假設$f$ 在$z(t)$ 上是Lipschitz連續(xù)的，在t上是連續(xù)的，因此每個初值問題通過皮卡德存在性定理都有一個唯一解。我們還假設$z(t)$ 是有界的。這些條件表明$f,T_{\epsilon }$ 和$\frac{?}{?z}{T}_{\epsilon }$ 都是有界的。在下面，我們使用這些條件來交換極限和乘積。

我們利用用變量的離散變化公式表示微分方程$\frac{?logp(z(t))}{?t}$，以及導數(shù)的定義：

行列式的導數(shù)可以用雅可比公式表示，則有

行列式求導公式$$\frac{d|A|}{dt}=tr(A^{?}\frac{dA}{dt})$$

用$T_{\epsilon }$的泰勒級數(shù)展開式代替$T_{\epsilon }$并取極限，完成了證明。

與(6)的$log$ 計算不同, 本式只需要計算跡(trace)的操作。另外, 不像標準的NF模型, 本式不要求f是可逆的, 因為如果滿足唯一性，那么整個轉換自然就是可逆的。

應用變量瞬時變化定理，我們可以看一下planar normalization flows的連續(xù)模擬版本：
$$\frac{d\mathbf{z}(t)}{dt}=uh\left(w^{?}\mathbf{z}(t)+b\right),\frac{?\log p(\mathbf{z}(t))}{?t}=?u^{?}\frac{?h}{?\mathbf{z}(t)}\text{\hspace{1em}(9)}$$
給定一個初始分布p(z(0))，我們可以從p(z(T))中采樣，并通過求解這組ODE來評估其概率密度。

使用多個線性成本的隱藏單元

當det不是線性方程時, 跡的方程還是線性的, 并且滿足$tr({\sum }_n{J}_n={\sum }_{n}tr(J_n))$ ，這樣我們的方程就可以由一系列的求和得到, 概率密度的微分方程也是一個求和:
$$\frac{d\mathbf{z}(t)}{dt}=\sum _{n=1}^M{f}_n(\mathbf{z}(t)),\frac{d\log p(\mathbf{z}(t))}{dt}=\sum _{n=1}^M\mathrm{tr}\left(\frac{?f_n}{?\mathbf{z}}\right)\text{\hspace{1em}(10)}$$這意味著我們可以很簡便的評估多隱藏單元的流模型，其成本僅與隱藏單元M的數(shù)量呈線性關系。使用標準的NF模型評估這種“寬”層的成本是$O(M^3)$，這意味著標準NF體系結構的多個層只使用單個隱藏單元.

依賴于時間的動態(tài)方程

我們可以將流的參數(shù)指定為t的函數(shù)，使微分方程$f(z(t),t)$隨$t$ 而變化。這種參數(shù)化的方法是一種超網(wǎng)絡. 我們還為每個隱藏層引入了門機制，$\frac{d\mathbf{z}}{dt}={\sum }_n{\sigma }_n(t)f_n(\mathbf{Z})$ ,${\sigma }_n(t)\in (0,1)$是一個神經(jīng)網(wǎng)絡, 可以學習到何時使用fn. 我們把該模型稱之為連續(xù)正則化流(CNF, continuous normalizing flows)

4.1 CNF試驗

我們首先比較連續(xù)的和離散的planar規(guī)范化流在學習一個已知的分布樣本。我們證明了一個具有M個隱藏單元的連續(xù) planar CNF至少可以與一個具有K層(M = K)的離散 planar NF具有同樣的擬合能力，某些情況下CNF的擬合能力甚至更強。

擬合概率密度
設置一個前述的CNF, 用adam優(yōu)化器訓練10000個step. 對應的NF使用RMSprop訓練500000個step. 此任務中損失函數(shù)為$KL(q(x)||p(x))$ , 最小化這個損失函數(shù), 來用$q(x)$ 擬合目標概率分布$p(x)$ . 圖4表明, CNF可以得到更低的損失.

極大似然訓練

CNF一個有用的特性是: 計算反向轉換和正向的成本差不多, 這一點是NF模型做不到的. 這樣在用CNF模型做概率密度估計任務時, 我們可以通過極大似然估計來進行訓練 也就是最大化${\mathbb{E}}_{p(x)}[log(q(x))]$ ，其中$q$ 是變量代換之后的函數(shù)，然后反向轉換CNF來從$q(x)$ 中進行采樣

對于這個實驗, 我們使用64個隱藏單元的CNF和64層的NF來進行對比，圖5展示了最終的訓練結果. 從最初的高斯分布, 到最終學到的分布, 每一個圖代表時間t的某一步. 有趣的是: 為了擬合兩個圓圈, CNF把planar 流 進行了旋轉, 這樣粒子會均分到兩個圓中. 跟 CNF的平滑可解釋相對的是, NF模型比較反直覺, 并且很難擬合雙月牙的概率分布(見圖5.b)

總結

以上是生活随笔為你收集整理的Neural Ordinary Differential Equations的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。