鏈接：https://arxiv.org/abs/1704.07130

文本研究了對(duì)稱合作對(duì)話(symmetric collaborative dialogue)任務(wù)，任務(wù)中，兩個(gè)代理有著各自的先驗(yàn)知識(shí)，并通過(guò)有策略的交流來(lái)達(dá)到最終的目標(biāo)。本文還產(chǎn)生了一個(gè)11k大小的對(duì)話數(shù)據(jù)集。為了對(duì)結(jié)構(gòu)化的知識(shí)和非結(jié)構(gòu)化的對(duì)話文本進(jìn)行建模，本文提出了一個(gè)神經(jīng)網(wǎng)絡(luò)模型，模型在對(duì)話過(guò)程中對(duì)知識(shí)庫(kù)的向量表示進(jìn)行動(dòng)態(tài)地修改。

任務(wù)

在對(duì)稱合作對(duì)話任務(wù)中，存在兩個(gè)agent，每個(gè)代理有其私有的知識(shí)庫(kù)，知識(shí)庫(kù)由一系列的項(xiàng)(屬性和值)組成。兩個(gè)代理中共享一個(gè)相同的項(xiàng)，兩個(gè)代理的目標(biāo)是通過(guò)對(duì)話找到這個(gè)相同的項(xiàng)。

數(shù)據(jù)集

本文建立了一個(gè)對(duì)稱合作對(duì)話任務(wù)數(shù)據(jù)集，數(shù)據(jù)集中知識(shí)庫(kù)對(duì)應(yīng)的schema 中包含3000個(gè)實(shí)體，7種屬性。數(shù)據(jù)集的統(tǒng)計(jì)信息如下所示

模型

針對(duì)對(duì)稱合作對(duì)話任務(wù)，本文提出了DynoNet(Dynamic Knowledge GraphNetwork)，模型結(jié)構(gòu)如下所示

Knowledge graph

圖譜中包含三種節(jié)點(diǎn):item節(jié)點(diǎn)，attribute節(jié)點(diǎn)，entity節(jié)點(diǎn)。圖譜根據(jù)對(duì)話中的信息進(jìn)行相應(yīng)的更新

Graph Embedding

t時(shí)刻知識(shí)圖譜中每個(gè)節(jié)點(diǎn)的向量表示為V_t(v)，向量表示中包含了以下來(lái)源的信息:代理私有知識(shí)庫(kù)的信息，共享的對(duì)話中的信息，來(lái)自知識(shí)庫(kù)中相鄰節(jié)點(diǎn)的信息

Node Features

這個(gè)特征表示了知識(shí)庫(kù)中的一些簡(jiǎn)單信息，如節(jié)點(diǎn)的度(degree)，節(jié)點(diǎn)的類型。這個(gè)特征是一個(gè)one-hot編碼

Mention vectors

Mentions vector M_t(v) 表示在t時(shí)刻的對(duì)話中與節(jié)點(diǎn)v相關(guān)的上下文信息。對(duì)話的表示u_t 由個(gè)LSTM絡(luò)計(jì)算得到(后文會(huì)提到) 為了區(qū)分agent自身產(chǎn)生的對(duì)話語(yǔ)句和另一個(gè)代理產(chǎn)生的對(duì)話語(yǔ)句，對(duì)話語(yǔ)句表示為

Mentions vector通過(guò)以下公式進(jìn)行更新

Recursive Node Embeddings

一個(gè)節(jié)點(diǎn)對(duì)應(yīng)的向量表示也會(huì)收到相鄰其他節(jié)點(diǎn)的影響

其中k表示深度為k的節(jié)點(diǎn)，R表示邊對(duì)應(yīng)的關(guān)系的向量表示

最后節(jié)點(diǎn)的向量表示為一系列深度的值的連接結(jié)果

本文中使用了

Utterance Embedding

對(duì)話的向量表示u_t由一個(gè)LSTM網(wǎng)絡(luò)計(jì)算得到

其中A_t為實(shí)體抽象函數(shù)，若輸入為實(shí)體，則通過(guò)以下公式計(jì)算

若不為實(shí)體，則為文本對(duì)應(yīng)的向量表示進(jìn)行zero padding的結(jié)果(保證長(zhǎng)度一致)

使用一個(gè)LSTM進(jìn)行對(duì)話語(yǔ)句的生成

輸出包含字典中的詞語(yǔ)以及知識(shí)庫(kù)中的實(shí)體

實(shí)驗(yàn)結(jié)果

筆記整理：王旦龍，浙江大學(xué)碩士，研究方向?yàn)樽匀徽Z(yǔ)言處理。

---

OpenKG.CN

中文開(kāi)放知識(shí)圖譜（簡(jiǎn)稱OpenKG.CN）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開(kāi)放與互聯(lián)，促進(jìn)知識(shí)圖譜和語(yǔ)義技術(shù)的普及和廣泛應(yīng)用。

轉(zhuǎn)載須知：轉(zhuǎn)載需注明來(lái)源“OpenKG.CN”、作者及原文鏈接。如需修改標(biāo)題，請(qǐng)注明原標(biāo)題。

?

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 基于动态知识图谱向量表示的对称合作对话代理的学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。