論文題目：Explainable Zero-shot Learning via Attentive Graph Convolutional Network and Knowledge Graphs

本文作者：耿玉霞，浙江大學在讀博士，研究方向為知識圖譜、零樣本學習、可解釋性

發表期刊：Semantic Web Journal (IF=3.524)

論文鏈接：http://www.semantic-web-journal.net/content/explainable-zero-shot-learning-attentive-graph-convolutional-network-and-knowledge-graphs-1

---

零樣本學習（Zero-shot Learning, ZSL）近年來引起了廣泛關注，它可以將訓練類別（Seen Classes）學習到的樣本特征遷移到未出現在訓練集中的新類別（Unseen Classes）上，有效減少了機器學習模型尤其是深度學習模型對標記數據的依賴。然而，目前大部分的ZSL方法是缺乏可解釋性的，其模型預測的結果很容易被人質疑。因此，本文基于知識圖譜和注意力圖卷積神經網絡提出了一個ZSL的可解釋性框架，解釋ZSL場景中樣本特征的可遷移性，以此提升模型的可信賴度。

圖1 KG-based ZSL 可解釋性框架說明圖

本文提出了一個基于知識圖譜的ZSL可解釋框架，在使用知識圖譜幫助ZSL特征遷移的同時，利用知識圖譜中豐富的類別知識，對特征的可遷移性作出解釋。框架如圖1所示，主要包括兩部分：注意力ZSL學習器（Attentive ZSL Learner）和解釋生成器（Explanation Generator）。其中：

(1) 注意力ZSL學習器（Attentive ZSL Learner）主要負責ZSL中的特征遷移并為后續可解釋性奠定基礎。具體地，學習器首先利用知識圖譜如WordNet建立seen classes和unseen classes之間的語義關系，隨后借助注意力圖卷積神經網絡（Attentive Graph Convolutional Network, AGCN）中的圖卷積層（Graph Convolutional Layer）和注意力層（Attention Layer）將圖結構的語義關系編碼映射到樣本空間并與類別對應的樣本特征（即classifier）進行對齊。在訓練階段，學習器以seen classes的classifiers作監督，同時在圖卷積層的聚合操作下進行特征遷移為unseen classes學習 classifiers。其中，注意力層為不同的類別尤其是seen classes學習不同的權重，最終，為每一個unseen class學習到在特征遷移過程中最有貢獻的一些seen classes（即impressive seen classes, IMSCs），學習器的模型結構圖如圖2所示。

圖2 注意力ZSL學習器模型結構圖

(2) 給定unseen class和它學習到的IMSCs，解釋生成器（Explanation Generator）將它們分別對齊到外部知識圖譜如Attribute Graph和DBpedia中抽取類別間的共有知識，并生成自然語言的解釋，以此驗證IMSCs的特征遷移到該unseen class的合理性，對類別間特征的可遷移性作出解釋。其中，考慮到不同知識圖譜中知識類型的不同，本文設計了三種知識抽取的算法，如基于關聯規則挖掘的屬性抽取算法、基于三元組模式和SPARQL查詢語句的三元組抽取算法、以及基于TextRank的關鍵詞抽取算法分別抽取類別間共有的屬性、三元組及關鍵詞。對應地，本文為抽取到的不同類型的知識，設計了不同的模版，以自然語言句子的形式組織這些知識，最終生成人可以理解的解釋，生成器的模型結構圖如圖3所示。

圖3 解釋生成器模型結構圖

最終，本文在AwA和ImageNet兩個數據集以及更稠密的ImageNet*數據集上驗證了ZSL學習器的效果，同時邀請志愿者對生成的解釋在可信度和可讀性兩方面進行了評估，并給出了一些案例。基于生成的解釋，本文對ZSL模型中特征遷移的情況進行了更深入的討論。評估結果分別如下：

圖4 注意力ZSL學習器實驗結果

圖5 注意力層權重學習可視化結果

圖6 可遷移性解釋案例，包括：類別對應的圖片、DBpedia實體，從不同的知識圖譜中抽取的知識，以及最終生成的解釋和人工評分結果

總而言之，這篇文章研究工作的主要貢獻是：

(1) 首次提出了基于知識圖譜的ZSL可解釋框架，用于解釋ZSL中特征的可遷移性；??????

(2) 提出了一個新的、基于知識圖譜和注意力圖卷積神經網絡的ZSL算法，它利用知識圖譜建模類別間的語義關系，并且將樣本特征由seen classes遷移到unseen classes，在標準數據集上提升ZSL模型效果的同時，為后面的可解釋工作提供了基礎；

(3) 提出了一個可解釋生成器，包含多個知識抽取算法抽取外部知識圖譜如領域特定的Attribute Graph和通用域的DBpedia中豐富的類別知識；本文同時設計了一系列模板用于將從外部知識圖譜中抽取的知識組織為自然語言句子，增加生成解釋的可閱讀性。

(4) 實驗表明，基于知識圖譜和注意力圖卷積神經網絡的ZSL可解釋性框架可有效地對ZSL模型中特征的可遷移性作出解釋，同時一定程度上保證ZSL算法本身的預測能力。

如果對本文的工作感興趣，歡迎大家閱讀原文，也歡迎大家和我們交流。

???

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - SWJ | 基于知识图谱和注意力图卷积神经网络的可解释零样本学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。