點(diǎn)擊藍(lán)字

關(guān)注我們

AI TIME歡迎每一位AI愛(ài)好者的加入！

在現(xiàn)實(shí)世界中，許多動(dòng)態(tài)系統(tǒng)都可以抽象為時(shí)序網(wǎng)絡(luò)，這些網(wǎng)絡(luò)通常按照某些規(guī)律發(fā)展，比如在社會(huì)網(wǎng)絡(luò)中普遍存在的Triadic closure。時(shí)序網(wǎng)絡(luò)通過(guò)歸納表征學(xué)習(xí)可以捕捉到這樣的規(guī)律，并進(jìn)一步將其應(yīng)用于遵循相同規(guī)律但在訓(xùn)練階段未曾見(jiàn)過(guò)的系統(tǒng)。這一領(lǐng)域的先前工作依賴于網(wǎng)絡(luò)節(jié)點(diǎn)的身份或豐富的邊緣屬性，但通常這些規(guī)律很難被提取到。在《Inductive Representation Learning in Temporal Networks via Causal Anonymous Walks》一文中，作者提出采用Causal Anonymous Walks（CAWs）代表一個(gè)時(shí)間網(wǎng)絡(luò)。

CAWs由temporal random walks提取，作為temporal network motifs的自動(dòng)檢索來(lái)表示網(wǎng)絡(luò)動(dòng)態(tài)，同時(shí)避免了對(duì)motifs進(jìn)行耗時(shí)的選擇和計(jì)數(shù)。CAWs采用了一種新的匿名化策略，用基于一組抽樣行走的節(jié)點(diǎn)的命中率計(jì)數(shù)代替節(jié)點(diǎn)身份，以保持方法的歸納性，并同時(shí)建立了motifs之間的關(guān)聯(lián)性。作者進(jìn)一步提出了一個(gè)神經(jīng)網(wǎng)絡(luò)模型CAW-N來(lái)編碼CAWs，并將其與具有恒定內(nèi)存和時(shí)間成本的CAW采樣策略配對(duì)，以支持在線訓(xùn)練和推理。

作者通過(guò)預(yù)測(cè)6個(gè)真實(shí)時(shí)序網(wǎng)絡(luò)中的鏈接對(duì)CAW-N進(jìn)行了評(píng)估，結(jié)果表明，預(yù)測(cè)結(jié)果在不同的模式下以平均10%的AUC增益優(yōu)于以前的SOTA方法。另外，在2/3的網(wǎng)絡(luò)中，CAW-N模型所得到的結(jié)果也優(yōu)于以前的方法。

本期AI TIME PhD直播間，我們有幸邀請(qǐng)到了該論文的作者，現(xiàn)就讀于康奈爾大學(xué)的博士生王彥邦，為大家分享這項(xiàng)有趣的研究工作！

# 嘉賓介紹 #

王彥邦：

斯坦福大學(xué)計(jì)算機(jī)科學(xué)碩士，康奈爾大學(xué)計(jì)算機(jī)科學(xué)博士生。研究興趣：圖的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、計(jì)算社會(huì)科學(xué)和大數(shù)據(jù)分析。目前在Stanford Social Network Analysis Group工作，由Jure Leskovec和Pan Li教授指導(dǎo)。曾在NeurIPS、ICLR、WWW、TVCG、LAK等國(guó)際頂級(jí)會(huì)議和期刊上發(fā)表多篇論文。

#1

什么是時(shí)序網(wǎng)絡(luò)？

時(shí)序網(wǎng)絡(luò)，與普通網(wǎng)絡(luò)相比，它包含了更多與時(shí)間有關(guān)的信息。如下圖1所示，節(jié)點(diǎn)a和b的邊只出現(xiàn)于時(shí)間戳0，3和8的時(shí)候，節(jié)點(diǎn)a和c的邊只出現(xiàn)于時(shí)間戳1的時(shí)候。值得注意的是，對(duì)于時(shí)序網(wǎng)絡(luò)的觀察是隨著時(shí)間的推移而不斷變化的。比如，在時(shí)間為0的時(shí)候，我們僅能觀察到節(jié)點(diǎn)a和節(jié)點(diǎn)b和他們之間的邊，節(jié)點(diǎn)g和節(jié)點(diǎn)h也一樣。

?圖1. 時(shí)序網(wǎng)絡(luò)示意圖

1.1｜時(shí)序網(wǎng)絡(luò)的動(dòng)態(tài)演變

時(shí)序網(wǎng)絡(luò)變化的法則被稱為“Laws”。經(jīng)典Laws包括Triadic closure和Feed-forward control等。如下圖2所示，如果在T1時(shí)刻，u和w之間有一條邊，在T2時(shí)刻，在w和v之間有一條邊，那么在某一未來(lái)時(shí)刻T3，u和v之間很有可能會(huì)形成一條邊。通過(guò)社交網(wǎng)絡(luò)來(lái)解釋：如果A和B兩個(gè)人都有共同的朋友，那么很可能在未來(lái)某一個(gè)時(shí)刻，A和B也會(huì)成為朋友。

隨著節(jié)點(diǎn)的數(shù)量越來(lái)越多，Laws也會(huì)越來(lái)越復(fù)雜，而人類也越來(lái)越難以去總結(jié)，那么，如何準(zhǔn)確的捕獲時(shí)序網(wǎng)絡(luò)中的Laws是當(dāng)前十分有挑戰(zhàn)性的問(wèn)題。

圖2. 常見(jiàn)的Laws示意圖

1.2｜存在的問(wèn)題

圖3.兩節(jié)點(diǎn)相連規(guī)則示意圖

(1) 先前的研究采用靜態(tài)圖GNN處理時(shí)序上的信息，然后簡(jiǎn)單的生成GNN模型。但GNN學(xué)習(xí)complex laws是存在一定問(wèn)題的，例如，我們只能寄希望于GNN隱性的學(xué)習(xí)到Triadic closure Law，但很多工作指出其學(xué)習(xí)效果并不好。

(2) 并沒(méi)有真實(shí)的捕捉到network evolution的法則，只是嘗試記憶已有的結(jié)構(gòu)。例如，如圖3，已知時(shí)刻0到時(shí)刻9的所有邊，那么當(dāng)t=10時(shí)，u和v之間是否有邊相連接？一些先前的工作認(rèn)為可以通過(guò)觀察在t<10時(shí)，u和v之間是否存在邊相連接，如果有，那么大概率認(rèn)為t=10的時(shí)候，u和v之間存在邊相連，反之亦然。

(3) 之前的一些工作通常非常依賴于鏈接或者節(jié)點(diǎn)屬性。如果鏈接或者節(jié)點(diǎn)屬性不能夠很好的提供有效信息或者幫助區(qū)分節(jié)點(diǎn)屬性，那么這些之前的工作帶來(lái)的結(jié)果都會(huì)存在一定的問(wèn)題。

#2

Causal?Anonymous?Walks?(CAWs)

Step1：Causality Extraction

在步驟1中主要完成抽取temporal random walk的工作，接下來(lái)，舉例說(shuō)明這個(gè)過(guò)程。

如圖4(左)所示，假設(shè)我們依然想完成上述問(wèn)題，即判斷在t=10時(shí)，u和v之間是否有邊相連。我們?cè)趫D中只能觀察到時(shí)間從0-9的信息。對(duì)此我們需要做的是，分別從節(jié)點(diǎn)u和節(jié)點(diǎn)v出發(fā)，對(duì)兩節(jié)點(diǎn)周邊的圖結(jié)構(gòu)進(jìn)行采樣，各對(duì)他們采M條random walk。比如從u出發(fā)，按圖中紅色箭頭所示的方向逐個(gè)采樣，分別經(jīng)過(guò)t=6，t=3，和t=1走到節(jié)點(diǎn)c。由此獲得了一條從u出發(fā)到c單調(diào)遞減的時(shí)間戳，反之是從c到u單調(diào)遞增的時(shí)間戳 (如圖4右邊Su所代表的random walk所示)。那么，規(guī)定時(shí)間單調(diào)性的原因是我們希望采樣到的是隨時(shí)間單調(diào)遞增或遞減的事件鏈，其本身是有因果關(guān)系存在的，如果不加此限制，那么時(shí)間戳將會(huì)十分混亂，無(wú)法體現(xiàn)其dynamic的特性。同理，對(duì)節(jié)點(diǎn)v使用同樣的采樣方法。所以，現(xiàn)在一共有2M條random work。

步驟一也稱為對(duì)temporal network motif的自動(dòng)化采樣。在之前的工作中已經(jīng)驗(yàn)證了temporal network motif是可以有效的表征網(wǎng)絡(luò)中的法則，但它同時(shí)也存在一些問(wèn)題，當(dāng)motif所涉及的數(shù)量比較多，或者節(jié)點(diǎn)度比較高的情況下，temporal network motif是非常容易導(dǎo)致組合爆炸的。而步驟一的自動(dòng)化采樣可以有效地避免這一點(diǎn)。

圖4. Causality Extraction示意圖

Step2：Set-based Anonymization

如何把步驟1中采樣到的所有的節(jié)點(diǎn)重新標(biāo)記為一個(gè)新的身份？如何用新的身份替代原來(lái)的節(jié)點(diǎn)字母？接下來(lái)，我們繼續(xù)舉例說(shuō)明這個(gè)過(guò)程。

如圖5所示，Su中采樣了3條M，我們記錄節(jié)點(diǎn)b關(guān)于u的位置的四個(gè)坐標(biāo)，其中坐標(biāo)表示節(jié)點(diǎn)b在三個(gè)random work中不同位置出現(xiàn)的次數(shù)，圖中對(duì)勾處展現(xiàn)的是節(jié)點(diǎn)b的位置，(0，2，1，0)T即為b的新身份。同理可以標(biāo)記b關(guān)于v的位置。

由此可以設(shè)想，如果b到u的坐標(biāo)與b到v的坐標(biāo)很相近，那么b到u的距離與其到v的距離在局部上是非常相似的；反之，如果b關(guān)于v的位置從來(lái)沒(méi)出現(xiàn)過(guò)，那么b與v是沒(méi)有任何聯(lián)系的。同時(shí)，我們也可以認(rèn)為這些坐標(biāo)向量建立了采樣temporal network motif之間的聯(lián)系。

圖5. 新身份的產(chǎn)生過(guò)程示意圖

#3

嵌入編碼

作者給出了兩種編碼方式：基于平均化編碼和基于自注意力機(jī)制的編碼。

#4

實(shí)驗(yàn)研究

首先對(duì)時(shí)間序列進(jìn)行split，用前85%的時(shí)間用作訓(xùn)練集，后15%的時(shí)間用作測(cè)試集。另外還會(huì)分為Inductive和Transductive兩種實(shí)驗(yàn)?zāi)Ｊ健Ｔ贗nductive模式中，我們隨機(jī)抽取90%的nodes的叫做Old nodes，剩余10%叫做New nodes。與此同時(shí)，在Inductive模式下，我們只在90%的Old nodes之間進(jìn)行訓(xùn)練，而New nodes之間的edges，以及一個(gè)New nodes和一個(gè)Old nodes之間的edges進(jìn)行測(cè)試。而在Transductive模式下，劃分只是基于時(shí)間進(jìn)行劃分。相比之下，Inductive模式下的測(cè)試將更加困難。圖6展示了整個(gè)實(shí)驗(yàn)過(guò)程的示意圖。

圖6. 實(shí)驗(yàn)過(guò)程示意圖

4.1｜實(shí)驗(yàn)結(jié)果

圖7展示了不同方法在不同模式下的AUC性能的對(duì)比。從圖7可以看出，我們所提出的方法在New nodes和New nodes模式下， AUC性能提高了14.46%；在New nodes和Old nodes模式下，AUC性能提高了3.49%；在Transductive模式下，AUC性能提高了2.48%。出現(xiàn)上述結(jié)果的一個(gè)重要原因是因?yàn)橹疤岢龅姆椒ǘ鄶?shù)沒(méi)有真正學(xué)習(xí)到network dynamic的法則，而且非常依賴于豐富的鏈接和節(jié)點(diǎn)屬性。而我們的方法在任何一種設(shè)置下，結(jié)果都是非常穩(wěn)定的。這是因?yàn)槲覀兊姆桨冈趯W(xué)習(xí)的過(guò)程中并不需要記憶各個(gè)節(jié)點(diǎn)在整個(gè)網(wǎng)絡(luò)中的身份是什么，而只需要知道節(jié)點(diǎn)局部的圖結(jié)構(gòu)是怎樣的。

圖7. AUC性能的對(duì)比

#5

展望

研究了關(guān)于CAWs采樣方面的Hyperparameter的設(shè)置。在整個(gè)方案中，采樣方法是最關(guān)鍵的，它決定了后續(xù)分析過(guò)程的所有信息。對(duì)于每個(gè)節(jié)點(diǎn)的采樣數(shù)M和對(duì)于歷史時(shí)間的偏好α，α越大，它對(duì)較遠(yuǎn)的歷史較為偏好，α越小，說(shuō)明其對(duì)臨近的歷史較為偏好。通過(guò)觀察下圖可以得出兩個(gè)結(jié)論：從圖(a)中可以發(fā)現(xiàn)，CAW采樣的數(shù)量是非常小的，在采樣4-8條時(shí)，AUC的性能已經(jīng)達(dá)到了較為穩(wěn)定的狀態(tài)；從圖(b)中可以發(fā)現(xiàn)，時(shí)間偏好是存在最優(yōu)范圍的。如果從遙遠(yuǎn)的歷史時(shí)間進(jìn)行采樣，所得到的結(jié)果并非最好，因?yàn)榇藭r(shí)并沒(méi)有獲得最有時(shí)效的信息，反之，對(duì)于較近的歷史較為偏好，則會(huì)因?yàn)橹徊蓸拥搅朔浅＞植康臍v史信息而忽略了更加全局的動(dòng)態(tài)，這樣得到的效果也不是最好，所以只有采樣在中間位置才會(huì)得到更有效地的動(dòng)態(tài)信息。所以這也是值得進(jìn)一步探究的問(wèn)題。

圖8. Hyperparameter?Investigation

# 今日視頻推薦 #

整理：張麗

審核：王彥邦

AI TIME歡迎AI領(lǐng)域?qū)W者投稿，期待大家剖析學(xué)科歷史發(fā)展和前沿技術(shù)。針對(duì)熱門話題，我們將邀請(qǐng)專家一起論道。同時(shí)，我們也長(zhǎng)期招募優(yōu)質(zhì)的撰稿人，頂級(jí)的平臺(tái)需要頂級(jí)的你！

請(qǐng)將簡(jiǎn)歷等信息發(fā)至yun.he@aminer.cn！

微信聯(lián)系:AITIME_HY

AI TIME是清華大學(xué)計(jì)算機(jī)系一群關(guān)注人工智能發(fā)展，并有思想情懷的青年學(xué)者們創(chuàng)辦的圈子,旨在發(fā)揚(yáng)科學(xué)思辨精神，邀請(qǐng)各界人士對(duì)人工智能理論、算法、場(chǎng)景、應(yīng)用的本質(zhì)問(wèn)題進(jìn)行探索，加強(qiáng)思想碰撞，打造一個(gè)知識(shí)分享的聚集地。

更多資訊請(qǐng)掃碼關(guān)注

我知道你??在看??哦

點(diǎn)擊?閱讀原文?查看精彩回放！

總結(jié)

以上是生活随笔為你收集整理的干货| 美国康奈尔大学博士生——王彦邦的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。