2020北京智源大会 图神经网络专题 总结
目錄
- 引言
- [1] 基于感知和認知系統(tǒng)的邏輯關(guān)系推理
- 作者介紹
- 分享內(nèi)容
- system1 和 syetem2 reasoning
- GMNN: Graph Markov Neural Networks (ICML2019)
- Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
- 總結(jié)
- [2] 圖神經(jīng)網(wǎng)絡(luò)在信息檢索等領(lǐng)域的應用
- 作者介紹
- 分享內(nèi)容
- 數(shù)據(jù)：結(jié)構(gòu)化、半結(jié)構(gòu)化
- Free-Text Knowledge Graph (WebConf2020)
- Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
- 總結(jié)
- [3] 圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)的前沿研究
- 作者介紹
- 分享內(nèi)容
- Related Work
- NGCF (SIGIR2019)
- LightGCN (SIGIR2020)
- DGCF (SIGIR2020)
- 總結(jié)
- [4] 圖神經(jīng)網(wǎng)絡(luò)的表達能力
- 作者介紹
- 分享內(nèi)容
- GNN的框架
- GNN的表達能力
- 總結(jié)
- [5] 構(gòu)建高效易用的深圖學習引擎
- 作者介紹
- 分享內(nèi)容
- 圖分析引擎
- 現(xiàn)有深度學習框架
- DGL: Deep Graph Library
- 總結(jié)
引言
聽這個講座的時候，怕沒聽懂，錄了屏，并進行了整理。不過由于軟件故障，何向南老師的內(nèi)容有三處沒錄上，斷開了，每段缺失1-2分鐘，不影響整體觀感。
鏈接：https://pan.baidu.com/s/1QU-3yEcTL2oFkGNJMxLImg
提取碼：0pzm
如有侵權(quán)，請聯(lián)系我刪除。
[1] 基于感知和認知系統(tǒng)的邏輯關(guān)系推理
作者介紹
唐建 Mila和HEC Montreal的助理教授
個人主頁
分享內(nèi)容
system1 和 syetem2 reasoning
放一張ppt。
- system1 reasoning適用于快速思考、system2 reasoning適用于緩慢思考
- 當前的深度學習普遍處于system1，正在向system2邁進。
- system1是直覺系統(tǒng)，主要負責快速、無意識、非語言的認知，這是目前深度學習主要做的事情；
- system2是邏輯分析系統(tǒng)，是有意識的、帶邏輯、規(guī)劃、推理以及可以語言表達的系統(tǒng)。這是未來深度學習需要著重考慮的。
再放一張ppt
GMNN: Graph Markov Neural Networks (ICML2019)
motivation：
contribution：
system1 or system2：
- 半監(jiān)督+EM算法
- system1 和 system2 結(jié)合
Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
motivation：
method：
system1 or system2：
總結(jié)
唐建老師分享的內(nèi)容圍繞著system1和system2進行展開，現(xiàn)有的DL方法正在由system1逐步邁向system2，唐老師的幾篇文章都是講system1和system2的優(yōu)勢相結(jié)合，這顯然會比單純的system1方法結(jié)果要好。[2] 圖神經(jīng)網(wǎng)絡(luò)在信息檢索等領(lǐng)域的應用
作者介紹
熊辰炎 微軟研究院高級研究員
個人主頁
分享內(nèi)容
說實話，這部分內(nèi)容我都沒太聽懂。。。
數(shù)據(jù)：結(jié)構(gòu)化、半結(jié)構(gòu)化
結(jié)構(gòu)化數(shù)據(jù)的優(yōu)劣：
使用的數(shù)據(jù)大多是半結(jié)構(gòu)化的。
Free-Text Knowledge Graph (WebConf2020)
motivation：
Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
用transformer去model半結(jié)構(gòu)化的數(shù)據(jù)。
總結(jié)
講的主要內(nèi)容都是基于半結(jié)構(gòu)化數(shù)據(jù)，而且較為偏向NLP領(lǐng)域，我沒太聽懂，收獲是：工業(yè)上可能有些時候無法去進行昂貴的數(shù)據(jù)標注，只能使用半結(jié)構(gòu)化的數(shù)據(jù)，所以這類方法可能更具有現(xiàn)實意義？
[3] 圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)的前沿研究
作者介紹
何向南 中國科學技術(shù)大學大數(shù)據(jù)學院教授
個人主頁
分享內(nèi)容
Related Work
CF: Collaborative Filtering，協(xié)同過濾
早期CF：手動計算相似度，用cosin等方法，再進行融合。
近10年：在隱空間學用戶和物品的表示，衡量相似度。
近兩年：把整個圖都拿過來，學習相似度。
NGCF (SIGIR2019)
將用戶、物品關(guān)系建模成二分圖，用高階連接性（對于節(jié)點u，指的是u能到達的所有節(jié)點，但是路徑長度要大于1）建模協(xié)同過濾的信號。
method：
LightGCN (SIGIR2020)
針對CF task，對GCN進行改進。
method：
最終得到的模型很簡單，丟掉了self-connection，但是能夠達到有self-connection的效果。
DGCF (SIGIR2020)
motivation：
中間的方法部分，沒錄上，沒有ppt。
總結(jié)
何老師講的內(nèi)容，都有著很明確的motivation，雖然我們不做推薦這個領(lǐng)域，但是發(fā)現(xiàn)問題、研究問題的過程其實都應該是互通的。何老師講的三篇論文是漸進的，一步一步改進的，但每次改進都能帶來較大提升，這種能把方法做成一系列的，非常值得我們思考和借鑒。
[4] 圖神經(jīng)網(wǎng)絡(luò)的表達能力
作者介紹
沈華偉 中國科學院計算技術(shù)研究所研究員，智源青年科學家
個人主頁
分享內(nèi)容
GNN的框架
GNN的表達能力
一層GCN和兩層GCN的對比如下圖所示，深度越深，**節(jié)點表達能力**更高（表達能力還有：圖表達能力、結(jié)構(gòu)表達能力）。 但是GCN的表達能力存在瓶頸： 下面介紹WL Test。 WL Test是aggregation-based GNNs的表達能力上限。 結(jié)論： 解決方法：總結(jié)
思考：
- DNN理論上能夠逼近任意連續(xù)函數(shù)，近似能力強，無需擔心表達能力，需要考慮泛化能力。
- GCN能不能做深？需要把特征變換、鄰居聚合分開做，因為鄰居聚合會給GCN的表達能力帶來瓶頸。
[5] 構(gòu)建高效易用的深圖學習引擎
作者介紹
王敏捷 亞馬遜上海人工智能研究院應用科學家
個人主頁
分享內(nèi)容
GNN和PageRank的計算方式存在很大的共通之處：
圖分析引擎
現(xiàn)有深度學習框架
現(xiàn)有的深度學習框架對圖神經(jīng)網(wǎng)絡(luò)支持不好，原因在于圖計算和張量計算的區(qū)別。
DGL: Deep Graph Library
這部分是王老師分享的主要內(nèi)容，也是他們團隊做的東西。DGL是圖世界和張量世界的一座橋，適用于圖神經(jīng)網(wǎng)絡(luò)的深度學習引擎。
總結(jié)
- 目前沒有較好的、較全面的圖神經(jīng)網(wǎng)絡(luò)計算引擎。
- 圖計算和張量計算存在本質(zhì)區(qū)別。
總結(jié)
以上是生活随笔為你收集整理的2020北京智源大会 图神经网络专题 总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 2020-07-03 CVPR2020
- 下一篇： 2020-07-07 CVPR2020