? ? ? ? ? ? ? ?

由于深度學(xué)習(xí)在可推理和可解釋性方面的局限性，結(jié)合圖計(jì)算與深度學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò) ( GNN ) 成為近期學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)新方向之一，并在社交網(wǎng)絡(luò)、推薦系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用。

本次技術(shù)沙龍，由北京郵電大學(xué) GAMMA Lab 博士生紀(jì)厚業(yè)出品，邀請來自澳洲國立大學(xué)、蒙特利爾大學(xué)、UIUC、中科院自動化所等國內(nèi)外知名高校的5位嘉賓，與大家分享交流，一起探討GNN在學(xué)術(shù)界的最新研究進(jìn)展。

沙龍名稱：圖神經(jīng)網(wǎng)絡(luò)(GNN)最新研究進(jìn)展

活動主辦：美團(tuán)、圖與推薦、DataFunTalk

直播時間：2021年2月27日(本周六)，09:30-12:00

直播地點(diǎn)：DataFunTalk直播間

01

分享日程

02

詳細(xì)介紹

出品人：

紀(jì)厚業(yè)

北京郵電大學(xué) GAMMA Lab | 博士生

阿里 / 微信 Research Intern，在 AAAI / WWW / EMNLP 等頂會上發(fā)表多篇論文，引用290+， 擔(dān)任 AAAI / WSDM / ACL / Access 等會議期刊審稿人。

分享嘉賓：

01

祝浩

澳洲國立大學(xué) | 博士生

前京東金融技術(shù)專家，主要從事反欺詐反面的工作?，F(xiàn)在在澳洲國立大學(xué)攻讀博士。對AI有廣泛的興趣，發(fā)表十余篇論文于ICLR, IJCAI, ACMMM, ICDE, NAACL, ACCV, ICASSP等會議。

分享主題：一種簡單的譜圖卷積

議題介紹：本演講主要介紹我們在 ICLR2021 上被收錄的工作。圖卷積網(wǎng)絡(luò) ( Graph Convolutional Networks，GCNs ) 已經(jīng)引起了人們的極大關(guān)注，并成為學(xué)習(xí)圖表示的主要方法。當(dāng)模型的深度增加時，大多數(shù)GCNs都會遭受性能損失。與CNN類似，如果沒有特別設(shè)計(jì)的架構(gòu)，網(wǎng)絡(luò)的性能會隨著深度的增加而迅速下降。一些研究者認(rèn)為，所需的鄰域大小和神經(jīng)網(wǎng)絡(luò)深度是圖表示的兩個完全正交的方面。因此，一些方法在使用淺層神經(jīng)網(wǎng)絡(luò)的同時，通過聚合節(jié)點(diǎn)的k-跳鄰域來擴(kuò)展鄰域。然而，這些方法仍然會遇到過平滑、計(jì)算和存儲成本高的問題。在論文中，我們使用一個改進(jìn)的馬爾科夫擴(kuò)散核來推導(dǎo)出一種名為簡單譜圖卷積 ( S2GC ) 的GCN變體。我們的頻譜分析表明，我們在S2GC中使用的簡單頻譜圖卷積是一種低通和高通濾波器的權(quán)衡，它可以捕獲每個節(jié)點(diǎn)的全局和局部上下文。我們提供了兩個理論主張，證明與競爭對手相比，我們可以在一個越來越大的鄰域序列上進(jìn)行聚合，同時限制嚴(yán)重的過平滑。

聽眾收益：了解關(guān)于簡化譜卷積的相關(guān)工作，因?yàn)檫@一類卷積方式在實(shí)際使用過程中 ( 也就是homophily比較高的圖 ) 具有很多不錯的性質(zhì)。比如算的快，穩(wěn)定，性能優(yōu)異等。

新技術(shù)/實(shí)用技術(shù)點(diǎn)：Graph Neural Networks圖卷積網(wǎng)絡(luò)

02

王蘇羽晨

蒙特利爾大學(xué) | 博士生

北京航空航天大學(xué)高等理工學(xué)院計(jì)算機(jī)科學(xué)學(xué)士，目前在蒙特利爾大學(xué)/MILA研究所攻讀計(jì)算機(jī)科學(xué)博士學(xué)位，主要研究方向?yàn)樽匀徽Z言處理。曾在騰訊天衍實(shí)驗(yàn)室作為研究實(shí)習(xí)生進(jìn)行NLP相關(guān)研究。

分享主題：充分利用層級結(jié)構(gòu)的分類樹擴(kuò)展算法

議題介紹：分類樹作為一種描述上下位詞關(guān)系的層級狀知識圖譜在包括電子商務(wù)、數(shù)據(jù)庫索引等應(yīng)用領(lǐng)域有廣泛應(yīng)用。本次報(bào)告將介紹我們在WWW2021關(guān)于分類樹擴(kuò)展算法的新工作，該算法相比已有算法能更加充分地利用分類樹的層級特征，且對概念的理解具有更好的實(shí)時性和準(zhǔn)確性，大幅提升了將新概念添加至分類樹適當(dāng)位置的準(zhǔn)確性。

聽眾收益：觀眾可以借此了解在分類樹相關(guān)算法上的最新工作，以及對于我們最新工作的更好了解。

新技術(shù)/實(shí)用技術(shù)點(diǎn)：目錄樹擴(kuò)展算法（Taxonomy expansion algorithms）

03

簡翌

UIUC?|?Ph.D Candidate

Eli?Chien?is?currently?a?Ph.D.?candidate?in?the?department?of?Electrical?and?Computer?Engineering?at?the?University?of?Illinois?Urbana-Champaign.?He?works?on?a?broad?range?of?problems?related?to?algorithms?to?process?the?non-Euclidean?data,?including?(hyper)graph?and?hyperbolic?space.?His?researches?mainly?focus?on?connecting?theory?and?practice?by?developing?and?analyzing?principled?algorithms.?Specifically,?his?recent?research?results?include?Generalized?PageRank?algorithm,?theory?for?graph?neural?networks,?active?learning?on?(hyper)graphs,?hypergraph?analysis?for?biology?applications?and?learning?in?hyperbolic/product?space.?Previously,?he?also?works?on?semi-supervised?k-means?problem,?support?estimation?problem?and?statistical?modeling?for?hypergraphs.?His?works?got?published?in?TIT,?NeurIPS,?ICLR,?AISTATS,?AAAI,?ISIT?and?ICASSP.

彭建浩

UIUC?|?Ph.D Candidate

Education:?Current?PhD?student?in?ECE?department?of?Univerity?of?Illinois,?Urbana-Champaign?(UIUC).?M.S?degree?from?UIUC,?B.S?degree?from?South?China?Univeristy?of?Technology.

Work?Experience:?Internships?in?Amazon?Search?Science?and?Artificial?Intelligence.

Research?Interest:?Computational?biology,?online?learning,?graph?neural?networks.

Ongoing?work:?learning?on?hypergraph,?online?network?dictionary?learning.

分享主題：Adaptive Universal Generalized PageRank Graph Neural Network

內(nèi)容摘要：In?many?important?graph?data?processing?applications,?the?acquired?information?includes?both?node?features?and?observations?of?the?graph?topology.?Graph?neural?networks?(GNNs)?are?designed?to?exploit?both?sources?of?evidence?but?they?do?not?optimally?trade-off?their?utility?and?integrate?them?in?a?manner?that?is?also?universal.?Here,?universality?refers?to?independence?on?homophily?or?heterophily?graph?assumptions.?We?address?these?issues?by?introducing?a?new?Generalized?PageRank?(GPR)?GNN?architecture?that?adaptively?learns?the?GPR?weights?so?as?to?jointly?optimize?node?feature?and?topological?information?extraction,?regardless?of?the?extent?to?which?the?node?labels?are?homophilic?or?heterophilic.?Learned?GPR?weights?automatically?adjust?to?the?node?label?pattern,?irrelevant?on?the?type?of?initialization,?and?thereby?guarantee?excellent?learning?performance?for?label?patterns?that?are?usually?hard?to?handle.?Furthermore,?they?allow?one?to?avoid?feature?over-smoothing,?a?process?which?renders?feature?information?nondiscriminative,?without?requiring?the?network?to?be?shallow.?Our?accompanying?theoretical?analysis?of?the?GPR-GNN?method?is?facilitated?by?novel?synthetic?benchmark?datasets?generated?by?the?so-called?contextual?stochastic?block?model.?We?also?compare?the?performance?of?our?GNN?architecture?with?that?of?several?state-of-the-art?GNNs?on?the?problem?of?node-classification,?using?well-known?benchmark?homophilic?and?heterophilic?datasets.?The?results?demonstrate?that?GPR-GNN?offers?significant?performance?improvement?compared?to?existing?techniques?on?both?synthetic?and?benchmark?data.

聽眾收益：Learn?how?GPR-GNN?simultaneously?resolves?fundamental?weaknesses?in?GNNs,?including:

• adapt?to?arbitrary?level?of?homophily?and?heterophily?

• make?use?of?long?path?information?and?prevent?over-smoothing?

• resolve?over-fitting?problem

• Interpretability?of?learned?weights?in?GPR-GNN

新技術(shù)/實(shí)用技術(shù)點(diǎn)：

• Generalized?PageRank.

• Optimal?polynomial?graph?filtering?(adapts?to?heterophilic?graph?data)

• Prevent?over-smoothing

04

朱彥樵

中國科學(xué)院自動化研究所 | 碩士研究生

朱彥樵目前在中國科學(xué)院自動化研究所攻讀計(jì)算機(jī)科學(xué)碩士。他目前的研究興趣是圖表達(dá)學(xué)習(xí)及其在推薦系統(tǒng)中的應(yīng)用，已在領(lǐng)域內(nèi)知名會議如AAAI、WWW和SIGIR上發(fā)表多篇論文，論文被引用超過290次。

分享主題：Recent Progress on Graph Contrastive Learinng

內(nèi)容摘要：Self-supervised?learning?(SSL)?has?been?studied?extensively?for?alleviating?the?label?scarcity?problem?of?deep?models.?Recent?SSL?techniques?are?converging?around?the?central?theme?of?contrastive?learning?(CL),?which?aims?to?maximize?the?agreement?of?representations?under?multiple?views?of?input?data.?However,?the?development?of?CL?for?graph-structured?data?remains?nascent.?In?this?talk,?I?will?introduce?recent?progress?on?graph?CL.?In?particular,?I?will?introduce?a?general?graph?CL?paradigm?and?our?recent?work?on?graph?CL?with?adaptive?augmentation.?Moreover,?I?will?share?some?thoughts?and?outline?future?directions?regarding?this?topic.

聽眾收益：聽眾可以了解自監(jiān)督表達(dá)學(xué)習(xí)在圖結(jié)構(gòu)數(shù)據(jù)上的最新研究進(jìn)展——圖對比學(xué)習(xí)。

新技術(shù)/實(shí)用技術(shù)點(diǎn)：

• 圖表達(dá)學(xué)習(xí)最新研究進(jìn)展

• 圖表達(dá)學(xué)習(xí)的一般框架?(GRL+@ICML?2020)

• 結(jié)合結(jié)構(gòu)自適應(yīng)增強(qiáng)的圖表達(dá)學(xué)習(xí)模型?(WWW?2021)

03

直播報(bào)名

識別二維碼，免費(fèi)報(bào)名

04

相關(guān)推薦

美團(tuán)技術(shù)團(tuán)隊(duì)：

10000+工程師，如何支撐中國領(lǐng)先的生活服務(wù)電子商務(wù)平臺？4.6億消費(fèi)者、630萬商戶、2000多個行業(yè)、幾千億交易額背后是哪些技術(shù)？這里是美團(tuán)、大眾點(diǎn)評、美團(tuán)外賣、美團(tuán)配送、美團(tuán)優(yōu)選等技術(shù)團(tuán)隊(duì)的對外窗口。

圖與推薦：

一位在中科院/淘寶/達(dá)摩院/螞蟻金服/華為做過圖神經(jīng)網(wǎng)絡(luò)技術(shù)分享的算法大佬。本科懵懂，在化學(xué)系刷試管；后來去讀了計(jì)算機(jī)博士，會寫一點(diǎn)代碼，發(fā)過算法頂會論文，也做過十億級場景的算法落地。希望能分享一些圖神經(jīng)網(wǎng)絡(luò)/推薦系統(tǒng)/博士科研/工業(yè)實(shí)踐中的一點(diǎn)經(jīng)驗(yàn)~?人生苦短，及時行樂。

DataFunTalk：

專注于大數(shù)據(jù)、人工智能技術(shù)應(yīng)用的分享與交流。發(fā)起于2017年，在北京、上海、深圳、杭州等城市舉辦超過100場線下沙龍、論壇及峰會，已邀請近600位專家和學(xué)者參與分享。其公眾號 DataFunTalk 累計(jì)生產(chǎn)原創(chuàng)文章300+，百萬+閱讀，9萬+精準(zhǔn)粉絲。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的技术沙龙 | 图神经网络(GNN)最新研究进展分享的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。