1．知識圖譜的多模態數據來源

本節探討多模態知識圖譜的問題。前面曾多次提到，知識圖譜的數據來源不僅僅是文本和結構化數據，也可以是圖片、視頻和音頻等視覺或聽覺形式的數據。多模態就是指視覺、聽覺和語言等不同模態通道的融合。能夠充分融合和利用語言、視覺和聽覺等多種模態來源數據的知識圖譜叫作多模態知識圖譜。

一方面，凡是蘊含知識的原始數據都可以作為知識圖譜構建的數據來源，例如對于圖片，也需要完成類似于文本中的實體識別和關系抽取任務。另一方面，多種模態的數據也可以被用來增強知識圖譜上實現實體對齊、鏈接預測和關系推理的效果，這就好比人類在完成推理任務時，也會充分利用視覺、聽覺信號加強認知層的推理能力。

此外，如果將圖片、視頻中的實體采用類似于實體鏈接等技術與知識圖譜中的實體進行鏈接，就可以充分利用知識圖譜增強對多模態數據的分類、檢索和識別等能力，后面會看到知識圖譜被用來幫助解決圖片的零樣本分類問題。這些都是研究多模態知識圖譜的意義所在。

2．System 1和System 2

先來看一些觀點。正如深度學習專家Yoshua Bengio在NeuralPS 2019的大會報告中所介紹的，在認知理論中，大家有這樣的一個共識，即人的認知系統包含兩個子系統，如圖1所示。直覺系統System1，主要負責快速、無意識、非語言的認知，即所謂感知層面的系統，這是目前深度學習主要做的事情。邏輯分析系統System2，是有意識的、帶邏輯、負責規劃和推理以及可以用語言表達的系統，這方面深度學習能力還很有限，而知識圖譜關注的正好是這部分的系統。這里有一個值得深思的問題，就是這兩個系統是分離的兩個系統，還是一個系統的兩個部分？至少到目前為止，以語言和

總結

以上是生活随笔為你收集整理的知识图谱应用合辑第一篇：多模态知识图谱的使用领域及最新进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。