?原創(chuàng) ·?作者 |?王馨月

學(xué)校?|?四川大學(xué)本科生

研究方向?|?自然語言處理

SciClaim

論文標(biāo)題：

Extracting Fine-Grained Knowledge Graphs of Scientific Claims: Dataset and Transformer-Based Results

論文鏈接：

https://arxiv.org/abs/2109.10453

項(xiàng)目地址：

https://github.com/siftech/SciClaim

本文作者提出了?SciClaim 數(shù)據(jù)集。SciClaim 對(duì)社會(huì)和行為科學(xué)（SBS）、PubMed 和 CORD-19 論文的科學(xué)聲明數(shù)據(jù)集的非結(jié)構(gòu)化文本的知識(shí)圖進(jìn)行了注釋。注釋不僅包含粗粒度的實(shí)體跨度作為節(jié)點(diǎn)和關(guān)系作為它們之間的邊，而且還包含修改實(shí)體及其關(guān)系的細(xì)粒度屬性，語料庫中總共有 12,738 個(gè)標(biāo)簽。通過包含更多標(biāo)簽類型和兩倍以上的標(biāo)簽密度，SciClaim 捕獲了實(shí)驗(yàn)變量的因果、比較、預(yù)測、統(tǒng)計(jì)和比例關(guān)聯(lián)及其資格、子類型和證據(jù)。并且擴(kuò)展了基于 transforemr 的聯(lián)合實(shí)體和關(guān)系提取的工作，以有效地推斷模式，展示了科學(xué)聲明及其他領(lǐng)域中細(xì)粒度知識(shí)圖的前景。

如上圖所見，SciClaim 知識(shí)圖具有實(shí)體（節(jié)點(diǎn)）、關(guān)系（邊）和屬性（括號(hào)），通過 arg0 將自變量連接到通過 arg1 與因變量的不同相關(guān)性。兩個(gè)關(guān)聯(lián)實(shí)體將兩對(duì)從屬因素與一個(gè)獨(dú)立因素相關(guān)聯(lián)，而屬性和附加關(guān)系界定了權(quán)利要求的范圍和定性比例。受語義角色標(biāo)簽的啟發(fā)，屬性修改關(guān)聯(lián)及其參數(shù)的角色，使我們能夠表示因果、比較、預(yù)測、統(tǒng)計(jì)和比例關(guān)聯(lián)的主張及其資格、子類型和證據(jù)。

實(shí)體（Entities）是標(biāo)記的文本跨度。實(shí)體包括 SciClaim 圖的節(jié)點(diǎn)，在這些節(jié)點(diǎn)上聲明屬性和關(guān)系。共有六種實(shí)體類型：Factors 是在聲明中測試或斷言的變量。Associations 是關(guān)聯(lián)一個(gè)或多個(gè)因素的明確短語。Magnitudes 是關(guān)聯(lián)的修飾符，表明其可能性、強(qiáng)度或方向。Evidence 是對(duì)支持關(guān)聯(lián)的研究、理論或方法的明確提及。Epistemics 表達(dá)了關(guān)聯(lián)的信念狀態(tài)，通常表明某事是否是假設(shè)、假設(shè)或觀察到的。Qualifiers 限制了斷言的適用性或范圍。

屬性（Attributes）是多標(biāo)簽細(xì)粒度注釋（在括號(hào)中顯示），其中零個(gè)或多個(gè)可能適用于任何給定實(shí)體。共包括以下幾種屬性：Causation 表示對(duì)其構(gòu)成因素的因果關(guān)系。Correlation 表示對(duì)其構(gòu)成因素的相互依賴。Comparison 表達(dá)了與參考框架的關(guān)聯(lián)。Sign+ 和 Sign- 表示高/低或增加/減少的因子值。Test 表示統(tǒng)計(jì)測量。Indicates 表示預(yù)測關(guān)系。

關(guān)系（Relations）是 SciClaim 圖中標(biāo)記實(shí)體之間的有向邊。共有六種關(guān)系：arg0 將關(guān)聯(lián)與其原因、前因、主題或自變量相關(guān)聯(lián)。arg1 將關(guān)聯(lián)與其結(jié)果或因變量相關(guān)聯(lián)。comp_to 是比較關(guān)聯(lián)中的顯式參考框架。subtype 將頭部實(shí)體與亞型尾部相關(guān)聯(lián)（例如，“死產(chǎn)”作為“妊娠結(jié)果”的亞型）。modifier 將關(guān)聯(lián)與限定詞、量級(jí)、認(rèn)知和證據(jù)相關(guān)聯(lián)。q+ 和 q- 分別表示正和負(fù)的定性比例，其中增加頭部因素分別增加或減少尾部因素。

上圖是作者對(duì) SpERT 組件（a、b 和 c）的擴(kuò)展具有多標(biāo)簽屬性（d）和基于注意力的實(shí)體跨度表示（e）。

CSKB-Population

論文標(biāo)題：

Benchmarking Commonsense Knowledge Base Population with an Effective Evaluation Dataset

論文鏈接：

https://arxiv.org/abs/2109.07679

項(xiàng)目地址：

https://github.com/HKUST-KnowComp/CSKB-Population

對(duì)元素為自由文本形式的常識(shí)知識(shí)庫（commonsense knowledge bases, CSKB）進(jìn)行推理是 NLP 中一項(xiàng)重要而艱巨的任務(wù)。雖然 CSKB 補(bǔ)全（completion）只填補(bǔ)了 CSKB 域內(nèi)的缺失鏈接，但 CSKB 填充（population） 也被提出，目的是從外部資源中推理出看不見的斷言。在此任務(wù)中，CSKB 以大規(guī)模事件（活動(dòng)、狀態(tài)和事件）圖為基礎(chǔ)，以區(qū)分來自事件圖的新三元組是否合理。然而，現(xiàn)有的對(duì) population 任務(wù)的評(píng)估要么不準(zhǔn)確（使用隨機(jī)采樣的負(fù)樣本進(jìn)行自動(dòng)評(píng)估）要么規(guī)模小（人工注釋）。下圖是補(bǔ)全任務(wù)和填充任務(wù)的對(duì)比。

在本文中，作者通過首先對(duì)齊四個(gè)流行的 CSKB 和一個(gè)事件圖 ASER，然后提供高質(zhì)量的人工注釋評(píng)估集來探索神經(jīng)模型的常識(shí)推理能力，從而使用新的大規(guī)模數(shù)據(jù)集對(duì) CSKB population 任務(wù)進(jìn)行基準(zhǔn)測試。作者還提出了一種新穎的歸納常識(shí)推理模型，KG-BERTSAGE 將知識(shí)三元組的語義和子圖結(jié)構(gòu)結(jié)合起來進(jìn)行推理，在其他同類中取得了最佳性能。實(shí)驗(yàn)結(jié)果表明，在看不見的斷言上概括常識(shí)推理本質(zhì)上是一項(xiàng)艱巨的任務(wù)。在訓(xùn)練期間實(shí)現(xiàn)高精度的模型在評(píng)估集上表現(xiàn)不佳，與人類表現(xiàn)之間存在很大差距。

上圖是標(biāo)準(zhǔn)化 ASER 知識(shí)庫的示例。橙色節(jié)點(diǎn)和邊是來自 ASER 的原始數(shù)據(jù)，藍(lán)色的是通過將“he”和“she”轉(zhuǎn)換為占位符“PersonX”和“PersonY”的歸一化圖。

KGML

論文標(biāo)題：

Knowledge-Aware Meta-learning for Low-Resource Text Classification

論文鏈接：

https://arxiv.org/abs/2109.04707

元學(xué)習(xí)在僅從當(dāng)前元學(xué)習(xí)算法采用的歷史任務(wù)中學(xué)習(xí)知識(shí)，沒有得到訓(xùn)練任務(wù)的良好支持時(shí)，可能無法很好地推廣到測試任務(wù)。這篇文章研究了一個(gè)低資源文本分類問題，并通過利用外部知識(shí)庫彌合了元訓(xùn)練和元測試任務(wù)之間的差距。具體來說，作者提出了一種新方法 KGML 為從提取的特定于句子的知識(shí)圖中學(xué)習(xí)的每個(gè)句子引入額外的表示。在三個(gè)數(shù)據(jù)集上的大量實(shí)驗(yàn)證明了 KGML 在有監(jiān)督適應(yīng)和無監(jiān)督適應(yīng)設(shè)置下的有效性。

上圖是從共享知識(shí)庫中提取特定于句子的 KG 的圖示。

上圖是 KGML 框架在有監(jiān)督和無監(jiān)督適應(yīng)的設(shè)置。ACG 代表知識(shí)融合的聚合器 。

上圖是 KGML 的有監(jiān)督適應(yīng)情況的算法。

GATER

論文標(biāo)題：

Heterogeneous Graph Neural Networks for Keyphrase Generation

論文鏈接：

https://arxiv.org/abs/2109.04703

為了解決在關(guān)鍵短語生成（Keyphrase generation, KG）任務(wù)中，encoder-decoder 結(jié)構(gòu)僅依賴源文檔可能會(huì)導(dǎo)致生成無法控制和不準(zhǔn)確的缺失關(guān)鍵短語問題，復(fù)旦張奇老師團(tuán)隊(duì)提出了一種新的基于圖的方法，可以從相關(guān)參考文獻(xiàn)中捕獲顯性知識(shí)。

模型首先從預(yù)定義的索引中檢索一些類似于源文檔的文檔-關(guān)鍵短語對(duì)作為參考。然后構(gòu)建異構(gòu)圖來捕獲源文檔與其引用之間不同粒度的關(guān)系。為了指導(dǎo)解碼過程，引入了分層注意和復(fù)制機(jī)制，該機(jī)制根據(jù)相關(guān)性和重要性直接從源文檔及其參考文獻(xiàn)中復(fù)制適當(dāng)?shù)膯卧~。在多個(gè) KG 基準(zhǔn)上的實(shí)驗(yàn)結(jié)果表明，所提出的模型相對(duì)于其他基線模型取得了顯著的改進(jìn)，尤其是在缺少關(guān)鍵短語預(yù)測方面。

上圖是本文提出的的 GATER (Graph ATtention network basEd on References) 模型的圖示。首先使用源文檔檢索引用，其中每個(gè)引用都是來自訓(xùn)練集中的文檔和關(guān)鍵短語對(duì)的串聯(lián)。然后構(gòu)建一個(gè)異構(gòu)圖并進(jìn)行迭代更新。最后，提取源文檔節(jié)點(diǎn)以使用分層注意和復(fù)制機(jī)制對(duì)關(guān)鍵短語序列進(jìn)行解碼。

上圖是不同模型生成的關(guān)鍵短語示例。對(duì)于當(dāng)前和不存在的關(guān)鍵短語，正確的預(yù)測分別以粗體藍(lán)色和粗體紅色顯示。參考文獻(xiàn)中出現(xiàn)的缺失預(yù)測以黃色突出顯示，其中只有檢索到的文檔的關(guān)鍵短語被視為 KG-KE-KR-M 的參考。

TimeTraveler

論文標(biāo)題：

TimeTraveler: Reinforcement Learning for Temporal Knowledge Graph Forecasting

論文鏈接：

https://arxiv.org/abs/2109.04101

時(shí)間知識(shí)圖（Temporal knowledge graph, TKG）推理是近年來引起越來越多研究興趣的一項(xiàng)關(guān)鍵任務(wù)。現(xiàn)有的大多數(shù)方法都側(cè)重于對(duì)過去時(shí)間戳進(jìn)行推理以完成缺失的事實(shí)，而在已知 TKG 上進(jìn)行推理以預(yù)測未來事實(shí)的工作很少。與完成任務(wù)相比，預(yù)測任務(wù)更加困難，面臨兩個(gè)主要挑戰(zhàn)：（1）如何有效地對(duì)時(shí)間信息進(jìn)行建模以處理未來的時(shí)間戳？（2）如何進(jìn)行歸納推理來處理隨時(shí)間出現(xiàn)的先前看不見的實(shí)體？

為了應(yīng)對(duì)這些挑戰(zhàn)，本文作者提出了一種用于預(yù)測的強(qiáng)化學(xué)習(xí)方法。具體來說，“時(shí)間旅行者”（TIme Traveler, TITer）在歷史 KG 快照上旅行以尋找未來查詢的答案。TITer 從查詢主題節(jié)點(diǎn)開始，根據(jù)與當(dāng)前節(jié)點(diǎn)相關(guān)的時(shí)間事實(shí)依次轉(zhuǎn)移到新節(jié)點(diǎn)，并預(yù)計(jì)在答案節(jié)點(diǎn)處停止。為了處理看不見的時(shí)間戳挑戰(zhàn)，TITer 使用相對(duì)時(shí)間編碼功能在做出決策時(shí)捕獲時(shí)間信息。

作者進(jìn)一步設(shè)計(jì)了一種基于狄利克雷分布的新穎的時(shí)間形獎(jiǎng)勵(lì)來引導(dǎo)模型捕捉時(shí)間信息。為了解決看不見的實(shí)體，作者引入了一個(gè)基于時(shí)間路徑的框架，并提出了一種新的看不見的實(shí)體表示機(jī)制，稱為歸納均值（Inductive Mean, IM）表示，以提高模型的歸納推理能力。與現(xiàn)有的最先進(jìn)方法相比，在四個(gè)基準(zhǔn)數(shù)據(jù)集上的大量實(shí)驗(yàn)證明了顯著的性能改進(jìn)，同時(shí)具有更高的可解釋性、更少的計(jì)算和更少的參數(shù)。

上圖是具有時(shí)間邊的 TKG 的圖示。

上圖是 TITer 的概覽。給定一個(gè)查詢 ，TITer 從節(jié)點(diǎn) 開始在，每一步，TITer 采樣一條出邊，并根據(jù) （策略網(wǎng)絡(luò)）遍歷到一個(gè)新節(jié)點(diǎn)。以搜索的最后一步為例。 是當(dāng)前節(jié)點(diǎn)。策略網(wǎng)絡(luò)的圖示提供了對(duì)候選動(dòng)作 之一進(jìn)行評(píng)分的過程。TITer 根據(jù)從所有候選分?jǐn)?shù)計(jì)算的轉(zhuǎn)換概率對(duì)動(dòng)作進(jìn)行采樣。當(dāng)搜索完成時(shí)，時(shí)間形獎(jiǎng)勵(lì)函數(shù)將根據(jù)估計(jì)的狄利克雷分布 給代理一個(gè)獎(jiǎng)勵(lì)。

上圖是 IM 機(jī)制的圖示。對(duì)于一個(gè)看不見的實(shí)體 ，“”表示 在 處有共現(xiàn)關(guān)系 ，并根據(jù) 更新其表示，最后在 處得到 IM 表示。然后為了回答一個(gè)查詢 ，我們基于 做一個(gè)預(yù)測轉(zhuǎn)換。

Object-Aware Transformer

論文標(biāo)題：

Structured Context and High-Coverage Grammar for Conversational Question Answering over Knowledge Graphs

論文鏈接：

https://arxiv.org/abs/2109.00269

作者使用神經(jīng)語義解析方法解決了在大型知識(shí)圖上的弱監(jiān)督 QA 問題。作者引入了一種新的邏輯形式（Logical Form, LF）語法，它可以對(duì)圖上的各種查詢進(jìn)行建模，同時(shí)保持足夠簡單以有效地生成監(jiān)督數(shù)據(jù)。

作者基于 Transformer 的模型將類似 JSON 的結(jié)構(gòu)作為輸入，使我們能夠輕松地合并知識(shí)圖和對(duì)話上下文。這種結(jié)構(gòu)化輸入被轉(zhuǎn)換為嵌入列表，然后饋送到標(biāo)準(zhǔn)注意力層。

作者在兩個(gè)公開的數(shù)據(jù)集 CSQA 和 ConvQuestions 上進(jìn)行實(shí)驗(yàn)，在語法覆蓋率和 LF 執(zhí)行準(zhǔn)確性方面驗(yàn)證了本文的方法。在 CSQA 上，本文的方法將覆蓋率從 80% 增加到 96.2%，將 LF 執(zhí)行準(zhǔn)確率從 70.6% 增加到 75.6%，

先前的幾個(gè) KG-QA 作品都是基于 D2A 的語法。作者重新設(shè)計(jì)語法以對(duì)更廣泛的查詢進(jìn)行建模。通過定義更通用的運(yùn)算符，作者在不增加運(yùn)算符數(shù)量和 LF 平均深度的情況下實(shí)現(xiàn)了這一點(diǎn)。實(shí)體是 KG 中的一個(gè)節(jié)點(diǎn)。兩個(gè)實(shí)體可以通過稱為屬性的有向標(biāo)記邊相關(guān)聯(lián)。屬性還可以將實(shí)體與值相關(guān)聯(lián)，該值可以是日期、布爾值、數(shù)量或字符串。實(shí)體和屬性有幾個(gè)類型，主要是名稱和整數(shù) ID。成員屬性將成員實(shí)體與類實(shí)體聯(lián)系起來。

我們將在下面考慮的對(duì)象是實(shí)體、屬性、類和值。語法由一系列運(yùn)算符組成，這些運(yùn)算符將對(duì)象或?qū)ο蠹鳛閰?shù)。邏輯形式是運(yùn)算符的二元表達(dá)式樹。

上圖是運(yùn)算符，分為五類。其中變量可以是實(shí)體 (E)、類 (C)、值 (V)、此類元素的有序集（分別為 SE、SC 和 SV）或?qū)傩?(P)。

上圖是本文提出的模型的架構(gòu)。初始字段嵌入是 Positional (P)、Property ID (PID)、Entity ID (EID) 和 Class ID (CID)。在第一個(gè) Flattener 層之后，我們獲得了屬性嵌入（PE）、類嵌入（CE）、實(shí)體嵌入（EE）。輸出中還有 Grammar Token (GT) 嵌入。

作者還在附錄中對(duì)實(shí)驗(yàn)設(shè)置以及更詳細(xì)的結(jié)果做了進(jìn)一步描述，值得閱讀。

iMRC Graph

論文標(biāo)題：

Interactive Machine Comprehension with Dynamic Knowledge Graphs

論文鏈接：

https://arxiv.org/abs/2109.00077

項(xiàng)目地址：

https://github.com/xingdi-eric-yuan/imrc_graph_public

交互式機(jī)器閱讀理解（Interactive machine reading comprehension, iMRC）是一種機(jī)器理解任務(wù)，其中知識(shí)源是部分可觀察的。代理必須按順序與環(huán)境交互以收集必要的知識(shí)以回答問題。我們假設(shè)圖表示是很好的歸納偏差，可以在 iMRC 任務(wù)中作為代理的記憶機(jī)制。作者探索了四種不同類別的圖，它們可以在不同級(jí)別捕獲文本信息。作者還描述了在信息收集期間動(dòng)態(tài)構(gòu)建和更新這些圖的方法，以及在 RL 代理中編碼圖表示的神經(jīng)模型。iSQuAD 上的大量實(shí)驗(yàn)表明，圖形表示可以顯著提高 RL 代理的性能。

上圖左邊是本文代理的概覽。作者建議使用圖表示作為 iMRC 代理的附加輸入模式。右邊是從 iMRC 擴(kuò)展而來的編碼器模塊的放大視圖。作者建議在管道中添加一個(gè)新的圖更新器模塊和一個(gè)圖編碼層。具體來說，在步驟 t，圖更新器將文本觀察 和上一步中的圖 作為輸入并生成新圖 。

隨后，圖被編碼為隱藏狀態(tài)，然后與文本表示聚合。請(qǐng)注意，與靜態(tài) MRC 工作中完全觀察到的知識(shí)圖 (KG) 不同，本文中的圖是動(dòng)態(tài)生成的，即在每個(gè)交互步驟中，代理可以將新觀察中的信息更新為其圖表示。

在生成和更新圖的步驟中，類似于最近為靜態(tài) MRC 任務(wù)設(shè)計(jì)的方法，作者研究了通過語義角色標(biāo)簽（Semantic Role Labeling, SRL）構(gòu)建知識(shí)圖。SRL 系統(tǒng)可以檢測與句子中的每個(gè)謂詞（或動(dòng)詞）相關(guān)聯(lián)的參數(shù)以及它們?nèi)绾畏诸悶樘囟ń巧４藢傩詫?duì)于處理 MRC 任務(wù)至關(guān)重要，尤其是對(duì)于提取 QA 數(shù)據(jù)集，其中答案通常是短文本塊（例如，實(shí)體），此類塊通常可以被 SRL 解析器識(shí)別為參數(shù)。

通過 SRL，我們可以很容易地了解參數(shù)之間是如何相互作用的，進(jìn)一步連接多個(gè)句子中檢測到的共同塊可以產(chǎn)生有助于理解段落的參數(shù)流。上圖為與給定句子對(duì)應(yīng)的 SRL 圖的部分視圖。藍(lán)色：句根；紅色：謂詞/動(dòng)詞；綠色：參數(shù)；黃色：修飾符。

作者在附錄中對(duì)于模型結(jié)構(gòu)和完整結(jié)果有更詳細(xì)的描述，方便讀者進(jìn)一步了解模型。

CR-Walker

論文標(biāo)題：

CR-Walker: Tree-Structured Graph Reasoning and Dialog Acts for Conversational Recommendation

論文鏈接：

https://arxiv.org/abs/2010.10333

項(xiàng)目地址：

https://github.com/truthless11/CR-Walker

會(huì)話推薦系統(tǒng)（Conversational Recommender Systems, CRS）吸引了越來越多的興趣，它通過會(huì)話交互探索用戶偏好，以便做出適當(dāng)?shù)耐扑]。然而，現(xiàn)有 CRS 仍然缺乏以下能力：（1）在背景知識(shí)上遍歷多條推理路徑以引入相關(guān)項(xiàng)目和屬性，以及（2）在當(dāng)前系統(tǒng)意圖下適當(dāng)安排所選實(shí)體以控制響應(yīng)生成。

為了解決這些問題，清華大學(xué)黃民烈老師團(tuán)隊(duì)提出了 CR-Walker，這是一種在知識(shí)圖上執(zhí)行樹結(jié)構(gòu)推理的模型，能夠生成信息性對(duì)話行為來指導(dǎo)語言生成。樹結(jié)構(gòu)推理的獨(dú)特方案將每一跳的遍歷實(shí)體視為對(duì)話的一部分，以促進(jìn)語言生成，這將如何選擇和表達(dá)實(shí)體聯(lián)系起來。自動(dòng)和人工評(píng)估表明 CR-Walker 可以得出更準(zhǔn)確的推薦，并產(chǎn)生更多信息和引人入勝的響應(yīng)。

CRS 的第一個(gè)挑戰(zhàn)是如何推理背景知識(shí)以獲得準(zhǔn)確推薦。上圖是示例對(duì)話的前三輪。該對(duì)話顯示在左側(cè)，KG 上的實(shí)體以粗體顯示。每個(gè)對(duì)話右邊的圖展示了 CR-Walker 的推理過程，推理樹標(biāo)記為紅色。在整篇論文中，候選項(xiàng)目用數(shù)字標(biāo)注，通用類/屬性用大寫/小寫字母標(biāo)注。橙色/藍(lán)色表示實(shí)體在前面的上下文中被提及/未提及。

在用戶提到“Hemsworth”之后，agent 就聊聊“Hemsworth”主演的“Vacation”，進(jìn)一步探索用戶對(duì)“Comedy”電影的興趣。然后，它根據(jù)對(duì)用戶偏好（“喜劇”和“動(dòng)作”）的幾種不同推理路徑推薦“Thor”。

第二個(gè)挑戰(zhàn)是如何在響應(yīng)生成中充分利用所選實(shí)體。由于可以在對(duì)話推薦中應(yīng)用不同的對(duì)話動(dòng)作，因此需要使用對(duì)話動(dòng)作指南（對(duì)話語義和意圖的抽象表示）正確表達(dá)所選實(shí)體，以形成自然、信息豐富且引人入勝的話語與用戶交互。

然而，之前的大多數(shù)工作都停留在推斷實(shí)體而不對(duì)響應(yīng)生成進(jìn)行建模。同樣在上圖中，agent 首先詢問用戶喜歡的類型和演員，然后談?wù)撁餍呛碗娪耙晕脩魠⑴c對(duì)話，最后根據(jù)用戶興趣推薦電影。此外，agent 在第三輪提供解釋，使推薦更具可解釋性和說服力。

為了應(yīng)對(duì)上述兩個(gè)挑戰(zhàn)，作者提出了 Conversational Recommendation Walker （CR-Walker）。模型首先選擇一個(gè)系統(tǒng)意圖來決定系統(tǒng)是詢問信息、談?wù)撃呈逻€是提出建議。

然后，它對(duì)知識(shí)圖（KG）和對(duì)話上下文執(zhí)行樹結(jié)構(gòu)推理，創(chuàng)建由相關(guān)實(shí)體組成的推理樹，以作為響應(yīng)引入。樹上實(shí)體的層次排列保留了當(dāng)前系統(tǒng)意圖下的邏輯選擇順序，將其轉(zhuǎn)化為對(duì)話行為。對(duì)話的線性化表示進(jìn)一步指導(dǎo)使用預(yù)訓(xùn)練的語言模型生成信息豐富且引人入勝的響應(yīng)。

上圖是 CR-Walker 的整體架構(gòu)。右邊是單個(gè) Walker 單元的詳細(xì)結(jié)構(gòu)， Walker 單元計(jì)算圖上的實(shí)體與集成了話語嵌入和用戶畫像的上下文嵌入之間的相似性。通過邏輯回歸學(xué)習(xí)實(shí)體選擇以實(shí)現(xiàn)多選。下圖是 CR-Walker 的具體算法。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的知识图谱领域有哪些最新研究进展？不妨从EMNLP 2021录用论文寻找答案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。