遞歸神經(jīng)網(wǎng)絡的基礎知識參考：
https://www.zybuluo.com/hanbingtao/note/626300

自然語言和自然場景解析

• 在自然語言處理任務中，如果我們能夠?qū)崿F(xiàn)一個解析器，將自然語言解析為語法樹，那么毫無疑問，這將大大提升我們對自然語言的處理能力。而遞歸神經(jīng)網(wǎng)絡就能夠完成句子的語法分析，并產(chǎn)生一個語法解析樹。
• 除了自然語言之外，自然場景也具有可組合的性質(zhì)。因此，我們可以用類似的模型完成自然場景的解析

下面是代碼實現(xiàn)：
代碼中涉及的公式推導參考上面的連接。

activator.py

#!/usr/bin/env python # -*- coding: UTF-8 -*-import numpy as npclass ReluActivator(object):def forward(self, weighted_input):#return weighted_inputreturn max(0, weighted_input)def backward(self, output):return 1 if output > 0 else 0class IdentityActivator(object):def forward(self, weighted_input):return weighted_inputdef backward(self, output):return 1class SigmoidActivator(object):def forward(self, weighted_input):return 1.0 / (1.0 + np.exp(-weighted_input))def backward(self, output):return output * (1 - output)class TanhActivator(object):def forward(self, weighted_input):return 2.0 / (1.0 + np.exp(-2 * weighted_input)) - 1.0def backward(self, output):return 1 - output * output

遞歸神經(jīng)網(wǎng)絡部分組件實現(xiàn)部分：

# -*- coding: UTF-8 -*-import numpy as np from activators import IdentityActivator# 用它保存遞歸神經(jīng)網(wǎng)絡生成的整棵樹,用來構(gòu)造父和子的關(guān)系 class TreeNode(object):def __init__(self, data, children=[], children_data=[]):self.parent = Noneself.children = childrenself.children_data = children_dataself.data = datafor child in children: # 設定子節(jié)點的父類child.parent = self #print 'here:',child.parent# 遞歸神經(jīng)網(wǎng)絡實現(xiàn) class RecursiveLayer(object):def __init__(self, node_width, child_count, activator, learning_rate):'''遞歸神經(jīng)網(wǎng)絡構(gòu)造函數(shù)node_width: 表示每個節(jié)點的向量的維度child_count: 每個父節(jié)點有幾個子節(jié)點activator: 激活函數(shù)對象learning_rate: 梯度下降算法學習率'''self.node_width = node_widthself.child_count = child_countself.activator = activatorself.learning_rate = learning_rate# 權(quán)重數(shù)組Wself.W = np.random.uniform(-1e-4, 1e-4,(node_width, node_width * child_count))# 偏置項bself.b = np.zeros((node_width, 1))# 遞歸神經(jīng)網(wǎng)絡生成的樹的根節(jié)點self.root = Nonedef forward(self, *children): # 可變參數(shù)的用法參考https://blog.csdn.net/lilong117194/article/details/80091217'''前向計算'''children_data = self.concatenate(children)#print 'children_data:', children_dataparent_data = self.activator.forward(np.dot(self.W, children_data) + self.b)#print 'parent_data:',parent_dataprint 'children:',childrenself.root = TreeNode(parent_data, children, children_data)print 'tt..',self.rootprint 'self.root.children:',self.root.childrendef backward(self, parent_delta):'''BPTS反向傳播算法'''self.calc_delta(parent_delta, self.root)self.W_grad, self.b_grad = self.calc_gradient(self.root)def update(self):'''使用SGD算法更新權(quán)重'''self.W -= self.learning_rate * self.W_gradself.b -= self.learning_rate * self.b_graddef reset_state(self):self.root = Nonedef concatenate(self, tree_nodes):'''將各個樹節(jié)點中的數(shù)據(jù)拼接成一個長向量'''concat = np.zeros((0,1))for node in tree_nodes:concat = np.concatenate((concat, node.data))#print 'concat:',concatreturn concat# 這里是難點def calc_delta(self, parent_delta, parent):'''計算每個節(jié)點的delta'''parent.delta = parent_deltaif parent.children:# 根據(jù)式2計算每個子節(jié)點的delta(只是下一層的)children_delta = np.dot(self.W.T, parent_delta) * (self.activator.backward(parent.children_data))print 'children_delta——>',children_delta# slices = [(子節(jié)點編號，子節(jié)點delta起始位置，子節(jié)點delta結(jié)束位置)]slices = [(i, i * self.node_width, (i + 1) * self.node_width)for i in range(self.child_count)]print 'slices:',slices# 針對每個子節(jié)點，遞歸調(diào)用calc_delta函數(shù)for s in slices:print 'children_delta[s[1]:s[2]]:',children_delta[s[1]:s[2]]print 'parent.children[s[0]]):',parent.children[s[0]]self.calc_delta(children_delta[s[1]:s[2]], parent.children[s[0]])def calc_gradient(self, parent):'''計算每個節(jié)點權(quán)重的梯度，并將它們求和，得到最終的梯度'''W_grad = np.zeros((self.node_width, self.node_width * self.child_count))b_grad = np.zeros((self.node_width, 1))if not parent.children:return W_grad, b_gradparent.W_grad = np.dot(parent.delta, parent.children_data.T)parent.b_grad = parent.deltaW_grad += parent.W_gradb_grad += parent.b_gradfor child in parent.children:W, b = self.calc_gradient(child)W_grad += Wb_grad += breturn W_grad, b_grad# 打印輸出def dump(self, **kwArgs):print 'root.data: %s' % self.root.dataprint 'root.children_data: %s' % self.root.children_dataif kwArgs.has_key('dump_grad'):print 'W_grad: %s' % self.W_gradprint 'b_grad: %s' % self.b_graddef data_set():children = [TreeNode(np.array([[1],[2]])),TreeNode(np.array([[3],[4]])),TreeNode(np.array([[5],[6]]))]d = np.array([[0.5],[0.8]])return children, ddef gradient_check():'''梯度檢查'''# 設計一個誤差函數(shù)，取所有節(jié)點輸出項之和error_function = lambda o: o.sum()rnn = RecursiveLayer(2, 2, IdentityActivator(), 1e-3)# 計算forward值x, d = data_set()rnn.forward(x[0], x[1])rnn.forward(rnn.root, x[2])# 求取sensitivity mapsensitivity_array = np.ones((rnn.node_width, 1),dtype=np.float64)# 計算梯度rnn.backward(sensitivity_array)# 檢查梯度epsilon = 10e-4for i in range(rnn.W.shape[0]):for j in range(rnn.W.shape[1]):rnn.W[i,j] += epsilonrnn.reset_state()rnn.forward(x[0], x[1])rnn.forward(rnn.root, x[2])err1 = error_function(rnn.root.data)rnn.W[i,j] -= 2*epsilonrnn.reset_state()rnn.forward(x[0], x[1])rnn.forward(rnn.root, x[2])err2 = error_function(rnn.root.data)expect_grad = (err1 - err2) / (2 * epsilon)rnn.W[i,j] += epsilonprint 'weights(%d,%d): expected - actural %.4e - %.4e' % (i, j, expect_grad, rnn.W_grad[i,j])return rnndef test():children, d = data_set()# node_width, child_count, activator, learning_raternn = RecursiveLayer(2, 2, IdentityActivator(), 1e-3)rnn.forward(children[0], children[1])rnn.dump() # 打印輸出父子節(jié)點的關(guān)系和datarnn.forward(rnn.root, children[2])rnn.dump()rnn.backward(d)rnn.dump(dump_grad='true')return rnntest()

運行結(jié)果：

children: (<__main__.TreeNode object at 0x000000000BA4BF60>, <__main__.TreeNode object at 0x000000000BA4BD68>) tt.. <__main__.TreeNode object at 0x000000000BA5E400> self.root.children: (<__main__.TreeNode object at 0x000000000BA4BF60>, <__main__.TreeNode object at 0x000000000BA4BD68>) root.data: [[ 8.10365462e-05][ -1.20068464e-06]] root.children_data: [[ 1.][ 2.][ 3.][ 4.]] children: (<__main__.TreeNode object at 0x000000000BA5E400>, <__main__.TreeNode object at 0x000000000BA4BC88>) tt.. <__main__.TreeNode object at 0x000000000BAA6358> self.root.children: (<__main__.TreeNode object at 0x000000000BA5E400>, <__main__.TreeNode object at 0x000000000BA4BC88>) root.data: [[ 8.67226403e-05][ -2.18991385e-04]] root.children_data: [[ 8.10365462e-05][ -1.20068464e-06][ 5.00000000e+00][ 6.00000000e+00]] children_delta——> [[ -3.40659777e-05][ 7.72187116e-05][ -2.12167087e-05][ -4.29089851e-06]] slices: [(0, 0, 2), (1, 2, 4)] children_delta[s[1]:s[2]]: [[ -3.40659777e-05][ 7.72187116e-05]] parent.children[s[0]]): <__main__.TreeNode object at 0x000000000BA5E400> children_delta——> [[ -2.03214060e-09][ 4.49859993e-09][ -1.02736169e-08][ 5.25062172e-09]] slices: [(0, 0, 2), (1, 2, 4)] children_delta[s[1]:s[2]]: [[ -2.03214060e-09][ 4.49859993e-09]] parent.children[s[0]]): <__main__.TreeNode object at 0x000000000BA4BF60> children_delta[s[1]:s[2]]: [[ -1.02736169e-08][ 5.25062172e-09]] parent.children[s[0]]): <__main__.TreeNode object at 0x000000000BA4BD68> children_delta[s[1]:s[2]]: [[ -2.12167087e-05][ -4.29089851e-06]] parent.children[s[0]]): <__main__.TreeNode object at 0x000000000BA4BC88> root.data: [[ 8.67226403e-05][ -2.18991385e-04]] root.children_data: [[ 8.10365462e-05][ -1.20068464e-06][ 5.00000000e+00][ 6.00000000e+00]] W_grad: [[ 6.45229542e-06 -6.87322977e-05 2.49989780e+00 2.99986374e+00][ 1.42047949e-04 1.53476876e-04 4.00023166e+00 4.80030887e+00]] b_grad: [[ 0.49996593][ 0.80007722]]

代碼中做了一些打印輸出，以便于理解代碼。

這里要注意幾點：

• 由于權(quán)重是在所有層共享的，所以和循環(huán)神經(jīng)網(wǎng)絡一樣，遞歸神經(jīng)網(wǎng)絡的最終的權(quán)重梯度是各個層權(quán)重梯度之和。
• 網(wǎng)絡的樹構(gòu)建大概是這樣的：
  
  具體的實現(xiàn)流程還要看代碼。
• 這里沒有進行梯度檢查，但在上一篇lstm中實現(xiàn)過，這里的原理都是一樣的。
• 整個代碼架構(gòu)的搭建是難點

通過初步學習遞歸神經(jīng)網(wǎng)絡的實現(xiàn)和應用場景，感覺遞歸神經(jīng)網(wǎng)絡很神奇，期待進一步的深入學習。

總結(jié)

以上是生活随笔為你收集整理的递归神经网络部分组件（七）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。