--------------------------序-----------------------------------------------
主要針對[1]提到的"Jacobian向量積"
這篇文章的核心思想就是:
code2.py的代碼比code1.py的代碼運(yùn)行更快.

運(yùn)行環(huán)境:
Ubuntu18.10
Jupyter Notebook(python3.6)

注意不要使用終端運(yùn)行下面的代碼,會導(dǎo)致圖片無法顯示的.

-----------------code1.py代碼如下---------------------------------------------------------

import theano import numpy as np import theano.tensor as T import time start= time.time() # x_val = np.random.randn(3) # u_val = np.random.randn(3)x_val=[2,-0.4,1] u_val=[-1.5,0.5,-0.5]x = T.vector('x')#轉(zhuǎn)化為張量 # f = T.sin(T.sin(T.sin(x))) f=T.sin(x) u = T.vector('u') #----------------------------------------------------------------------- jvp = T.Rop(f, x, u) jvp_compiled = theano.function([x, u], jvp)#這句代碼是與code2.py不一樣的地方 result=jvp_compiled(x_val, u_val) print("result=",result) end=time.time() print("消耗時間=",end-start)display(Image(theano.printing.pydotprint(jvp, return_image=True, var_with_name_simple=True)))

運(yùn)行結(jié)果如下:

-----------------code2.py代碼如下---------------------------------------------------------

import theano import numpy as np import theano.tensor as T import time from IPython.display import display,Image start= time.time()# x_val = np.random.randn(3) # u_val = np.random.randn(3) x_val=[2,-0.4,1] u_val=[-1.5,0.5,-0.5] # print("x_val=",x_val) # print("u_val=",u_val) x = T.vector('x') # f = T.sin(T.sin(T.sin(x))) f=T.sin(x) u = T.vector('u')def alternative_Rop(f, x, u):v = f.type('v') # Dummy variable v of same type as fprint("v=",v)g = T.Lop(f, x, v) # Jacobian of f left multiplied by vreturn T.Lop(g, v, u) #----------------------------------------------------------------------- alternative_jvp = alternative_Rop(f, x, u) alternative_jvp_compiled = theano.function([x, u], alternative_jvp) result=alternative_jvp_compiled(x_val, u_val) print("result=",result) # result= [0.27014816 0.39571335 -0.13225414]end=time.time() print("消耗時間=",end-start)display(Image(theano.printing.pydotprint(alternative_jvp, return_image=True, var_with_name_simple=True)))

運(yùn)行結(jié)果如下:

----------------------------------------------下面是theano中的Lop與Rop的作用-------------------------------------------------------
設(shè)定:

$f=x?W$
Jacobian式:
$\frac{?f}{?W}$,

那么功能如下:

T.Lop(f,W,V)T.Rop(f,W,V)

$(\frac{?f}{?W}{)}^{T}V$	$\frac{?f}{?W}V$

-------------------------------------下面是alternative_Rop函數(shù)中的代碼與數(shù)學(xué)公式的具體對應(yīng)關(guān)系-------------------------------
alternative_Rop的核心思想:
引入冗余變量(dummy variable)V,然后連續(xù)使用兩次T.Lop操作來實現(xiàn)T.Rop的效果,
所以取名叫做alternative_Rop.

代碼數(shù)學(xué)公式備注

g=T.Lop(f, x, v)	$g=(\frac{?f}{?x}{)}^{T}V$	第1次Lop操作
T.Lop(g, v, u)	$(\frac{?g}{?V}{)}^{T}u=\frac{?f}{?x}u$	第2次Lop操作

代碼的最終目標(biāo)是實現(xiàn):
$\frac{?f}{?x}u$
-----------------------------------------------------結(jié)論----------------------------------------------------------------------------------------
上述理論證明:
兩次Lop確實可以實現(xiàn)Rop的效果.

上述代碼運(yùn)行結(jié)果證明:
alternative_Rop的Graph(上述代碼運(yùn)行后得到的彩圖)比T.Rop更為簡潔.
alternative_Rop的速度明顯比T.Rop更快.

Reference:
[1]A new trick for calculating Jacobian vector products
[2]theano中的Rop和Lop的詳細(xì)解釋

總結(jié)

以上是生活随笔為你收集整理的Jacobian vector products(转载+翻译+代码+解读)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。