上周，我在Connected Data London上就Octavian開(kāi)發(fā)的方法發(fā)表了演講，使用神經(jīng)網(wǎng)絡(luò)在知識(shí)圖上執(zhí)行任務(wù)。

這是來(lái)自Connected Data London的演講錄音：

?

在這篇文章中，我將總結(jié)那篇演講（包括大部分幻燈片）并提供對(duì)我們影響最大的論文的鏈接。

要了解有關(guān)構(gòu)建下一代數(shù)據(jù)庫(kù)查詢(xún)引擎的新方法的更多信息， 請(qǐng)參閱我們最近的文章 。

---

什么是圖表？

兩個(gè)功能相同的圖形模型

我們正在使用屬性圖或?qū)傩詧D模型。 節(jié)點(diǎn)（頂點(diǎn)）和關(guān)系（邊）可以具有屬性。 此外，我們的神經(jīng)網(wǎng)絡(luò)具有圖表外部的全局狀態(tài)。 幻燈片顯示了這個(gè)模型的兩個(gè)表示，一個(gè)來(lái)自Neo4j，另一個(gè)來(lái)自DeepMind（這些實(shí)際上是相同的）。

為什么我們對(duì)圖表感興趣？

所有的圖表！

圖表具有豐富的歷史，從18世紀(jì)的Leohnard Euler開(kāi)始到今天的各種圖表。 在計(jì)算機(jī)科學(xué)領(lǐng)域，有許多圖形應(yīng)用：圖形數(shù)據(jù)庫(kù)，知識(shí)圖形，語(yǔ)義圖形，計(jì)算圖形，社交網(wǎng)絡(luò)，傳輸圖形等等。

圖表在谷歌的崛起中發(fā)揮了關(guān)鍵作用（他們的第一個(gè)突破是使用PageRank為搜索提供動(dòng)力，今天他們的知識(shí)圖譜已經(jīng)變得越來(lái)越重要）和Facebook。 從政治到低成本的國(guó)際航空旅行，圖算法對(duì)我們的世界產(chǎn)生了重大影響。

什么是深度學(xué)習(xí)？

我不確定AI讓我們談?wù)撋疃葘W(xué)習(xí)......

深度學(xué)習(xí)是以使用梯度下降訓(xùn)練多層（“深層”）神經(jīng)網(wǎng)絡(luò)為中心的機(jī)器學(xué)習(xí)的一個(gè)分支。 這些神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建塊是密集（或完全連接）的網(wǎng)絡(luò)。

使用密集層的深度神經(jīng)網(wǎng)絡(luò)

使用深度學(xué)習(xí)使我們能夠訓(xùn)練計(jì)算機(jī)來(lái)解決一系列先前具有挑戰(zhàn)性的任務(wù)，從玩Go到具有超人表現(xiàn)的圖像識(shí)別。

MacNets和其他超人圖像處理神經(jīng)網(wǎng)絡(luò)的例子

機(jī)器學(xué)習(xí)

通常，機(jī)器學(xué)習(xí)是一個(gè)簡(jiǎn)單的概念。 我們創(chuàng)建了一個(gè)我們認(rèn)為事物如何運(yùn)作的模型，例如y = mx + c這可能是：

house_price = m?number_of_bedrooms + c

機(jī)器學(xué)習(xí)，從20,000英尺的視圖

我們使用我們擁有的數(shù)據(jù)訓(xùn)練（擬合）模型的參數(shù)（示例中的m和c ）。 一旦我們的訓(xùn)練完成，我們就有一些學(xué)習(xí)的參數(shù)值，我們有一個(gè)模型可以用來(lái)做出預(yù)測(cè)。

有時(shí)參數(shù)本身是有用的（例如，當(dāng)我們使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練單詞嵌入時(shí)，例如word2vec）。

深度學(xué)習(xí)圖表

在Octavian，我們問(wèn)自己的一個(gè)問(wèn)題是：我們?nèi)绾螐?0,000英尺的高度看圖表上的機(jī)器學(xué)習(xí)？

為了幫助回答這個(gè)問(wèn)題，我們將傳統(tǒng)形式的深度學(xué)習(xí)與圖形學(xué)習(xí)的世界進(jìn)行了比較：

比較圖形機(jī)器學(xué)習(xí)與其他設(shè)置

我們確定了三個(gè)圖形數(shù)據(jù)任務(wù)，我們認(rèn)為這些任務(wù)需要圖形原生實(shí)現(xiàn)： 回歸 ， 分類(lèi)和嵌入 。

除此之外：還有其他特定于圖表的任務(wù)，例如鏈接預(yù)測(cè)，這些任務(wù)不容易適合上述三個(gè)任務(wù)。

我們觀察到許多用于圖形上的機(jī)器學(xué)習(xí)的現(xiàn)有技術(shù)具有一些基本限制：

• 有些不適用于看不見(jiàn)的圖形（因?yàn)樗鼈冃枰紫扔?xùn)練圖形嵌入）
• 有些人需要將圖表轉(zhuǎn)換為表格并丟棄其結(jié)構(gòu)（例如，使用隨機(jī)漫步從圖表中采樣）

現(xiàn)有工作

DL模型在圖形問(wèn)題上的表現(xiàn)并不是超人

在圖表上使用深度學(xué)習(xí)的大部分現(xiàn)有工作集中在兩個(gè)方面。

預(yù)測(cè)分子（包括蛋白質(zhì)），它們的性質(zhì)和反應(yīng)。

大型靜態(tài)圖中的節(jié)點(diǎn)分類(lèi)/分類(lèi)。

圖形，神經(jīng)網(wǎng)絡(luò)和結(jié)構(gòu)原理

人們常說(shuō)深度學(xué)習(xí)適用于非結(jié)構(gòu)化數(shù)據(jù) - 圖像，自由文本，強(qiáng)化學(xué)習(xí)等。

但是我們的超人神經(jīng)網(wǎng)絡(luò)實(shí)際上處理的是非常具體的結(jié)構(gòu)化信息，而神經(jīng)網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì)與其工作良好的信息結(jié)構(gòu)相匹配。

與神經(jīng)網(wǎng)絡(luò)一起使用的數(shù)據(jù)結(jié)構(gòu)

圖像在某種意義上是結(jié)構(gòu)化的：它們具有剛性的2D（或3D）結(jié)構(gòu)，其中彼此接近的像素彼此更相關(guān)，而不是相距很遠(yuǎn)的像素。 序列（例如，隨著時(shí)間的推移）具有一維結(jié)構(gòu)，其中相鄰的項(xiàng)目彼此之間的相關(guān)性比相距較遠(yuǎn)的項(xiàng)目更相關(guān)。

對(duì)于Go而言，密集層是有意義的，其中板上相隔很遠(yuǎn)的位置可以彼此具有相同的影響

處理圖像和序列時(shí)，密集層（例如，每個(gè)輸入連接到每個(gè)輸出的位置）都不能很好地工作。 反映和利用輸入介質(zhì)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)層可以獲得最佳結(jié)果。

對(duì)于序列，使用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）并且對(duì)于圖像使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）。

卷積網(wǎng)絡(luò)在結(jié)構(gòu)上編碼彼此接近的像素比相距很遠(yuǎn)的像素更重要

在卷積神經(jīng)網(wǎng)絡(luò)中，隱藏層中的每個(gè)像素僅取決于輸入中的一組鄰近像素（將其與密集層相比較，其中每個(gè)隱藏層像素取決于每個(gè)輸入像素）。

密集和卷積網(wǎng)絡(luò)都不適用于傳輸圖

圖中的節(jié)點(diǎn)不具有固定關(guān)系，如圖像中的附近像素或序列中的相鄰項(xiàng)。 為了使圖形深度學(xué)習(xí)成功，將圖形轉(zhuǎn)換為矩陣表示并將該輸入放入現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型是不夠的。 我們必須弄清楚如何創(chuàng)建適用于圖形的神經(jīng)網(wǎng)絡(luò)模型。

本文比我更有效地提出相同的論點(diǎn) - 檢查出來(lái) ！

我們不是唯一想到這一點(diǎn)的人。 DeepMind，Google Brain，麻省理工學(xué)院和愛(ài)丁堡大學(xué)的一些非常聰明的人在關(guān)于關(guān)系歸納偏差的論文中提出了類(lèi)似的立場(chǎng)。 我向有興趣深入學(xué)習(xí)圖表的人推薦這篇論文。

本文介紹了一種通過(guò)圖形傳播信息的通用算法，并認(rèn)為通過(guò)使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)六種函數(shù)來(lái)在圖形結(jié)構(gòu)內(nèi)執(zhí)行聚合和變換，它們可以在選擇的圖形任務(wù)上實(shí)現(xiàn)最先進(jìn)的性能。

一種算法來(lái)統(tǒng)治它們嗎？

通過(guò)主要使用圖形邊緣在節(jié)點(diǎn)之間傳播信息，作者認(rèn)為它們維持了圖形結(jié)構(gòu)中存在的關(guān)系歸納偏差。

我們?cè)贠ctavian開(kāi)發(fā)的MacGraph神經(jīng)網(wǎng)絡(luò)架構(gòu)與關(guān)系歸納偏差方法有相似之處。 它使用存在于圖外部的全局狀態(tài)，并在圖節(jié)點(diǎn)之間傳播信息

屋大維的實(shí)驗(yàn)結(jié)果

在我告訴你Octavian的結(jié)果之前，我必須提到我們用來(lái)測(cè)試神經(jīng)圖架構(gòu)的任務(wù)。

我們的綜合基準(zhǔn)數(shù)據(jù)集

您可以在此處閱讀有關(guān)CLEVR-Graph的更多信息 。 它是一個(gè)合成的（程序生成的）數(shù)據(jù)集，由在倫敦地下松散建模的10,000個(gè)虛構(gòu)的運(yùn)輸網(wǎng)絡(luò)組成。 對(duì)于每個(gè)隨機(jī)生成的傳輸網(wǎng)絡(luò)圖，我們只有一個(gè)問(wèn)題和正確的答案。

來(lái)自CLEVR-Ggraph問(wèn)題庫(kù)的一些示例問(wèn)題和示例圖

這項(xiàng)任務(wù)的關(guān)鍵是用于測(cè)試網(wǎng)絡(luò)的每個(gè)圖形是網(wǎng)絡(luò)從未見(jiàn)過(guò)的圖形。 因此，它無(wú)法記住問(wèn)題的答案，但必須學(xué)習(xí)如何從新圖表中提取答案。

在撰寫(xiě)本文時(shí)，MacGraph在需要6種不同技能的任務(wù)上取得了幾乎完美的結(jié)果：

MacGraph在CLEVR圖上的最新結(jié)果

我認(rèn)為最令人興奮的技能之一是MacGraph能夠回答“{station}和{station}之間有多少站”，因?yàn)橐鉀Q這個(gè)問(wèn)題，有必要確定站之間的最短路徑（Dijkstra算法），這是一個(gè)復(fù)雜和圖形特定的算法。

MacGraph如何運(yùn)作？

僅使用轉(zhuǎn)換和聚合函數(shù)在圖中的節(jié)點(diǎn)之間傳播信息是不夠的。 要回答關(guān)于具有自然語(yǔ)言答案的圖形的自然語(yǔ)言問(wèn)題，有必要將輸入問(wèn)題轉(zhuǎn)換為圖形狀態(tài)，從而得到正確答案，并且有必要從圖形狀態(tài)中提取答案信息并將其轉(zhuǎn)換為所需答案。

…幾乎

我們?cè)谧匀徽Z(yǔ)言和圖形狀態(tài)之間轉(zhuǎn)換的解決方案是使用注意力。 您可以在此處詳細(xì)了解其工作原理 。

密集層的替代品

注意力細(xì)胞與致密層完全不同。 注意單元格與信息列表一起使用，根據(jù)其內(nèi)容或位置提取單個(gè)元素。

這些屬性使關(guān)注單元格非常適合從構(gòu)成圖形的節(jié)點(diǎn)和邊緣列表中進(jìn)行選擇。

在MacGraph中，注意用于基于查詢(xún)和節(jié)點(diǎn)的屬性向圖中的節(jié)點(diǎn)輸入信號(hào)。 然后，該信號(hào)應(yīng)該使圖形消息傳遞以與與問(wèn)題最相關(guān)的節(jié)點(diǎn)進(jìn)行交互。

使用寫(xiě)注意使用查詢(xún)填充圖形

信息通過(guò)圖形節(jié)點(diǎn)傳播后，注意用于從圖形中提取答案：

使用注意力從圖表中讀取

使用圖形結(jié)構(gòu)將寫(xiě)入和讀取注意力與圖形中節(jié)點(diǎn)之間的傳播相結(jié)合，我們將獲得MacGraph的核心。

Mac Graph架構(gòu)

結(jié)論

有一個(gè)很好的例子，即在基于圖形的任務(wù)上實(shí)現(xiàn)超人的結(jié)果需要圖形特定的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

我們已經(jīng)向MacGraph展示了神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)從圖中的節(jié)點(diǎn)中提取屬性以響應(yīng)問(wèn)題，并且神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)在之前從未遇到的圖形上執(zhí)行圖算法（例如找到最短路徑）。 。

?

https://medium.com/octavian-ai/deep-learning-with-knowledge-graphs-3df0b469a61a

總結(jié)

以上是生活随笔為你收集整理的【译】Deep Learning with Knowledge Graphs的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。