文章目錄

• Abstract
• 1 Introduction
• 3 Data-driven motivation for Decagon approach
• 4 Graph convolutional Decagon approach
• • • 4.1 Graph convolutional encoder
    • 4.2 Tensor factorization decoder
    • 4.3 Decagon model training
• 5 Experimental setup
• 6 Results
• • • 6.1 Prediction of polypharmacy side effects
    • 6.2 Investigation of Decagon’s novel predictions
    • 6.3 Exploration of Decagon’s side effect embeddings
• 7 Related work
• • • 7.1 Drug combination modeling
    • 7.2 Neural networks on graphs
• 8 Conclusion

Abstract

• Motivation:
  通常使用藥物組合（稱為多藥）來治療患有復(fù)雜疾病或并存疾病的患者。 但是，多藥的主要后果是對患者產(chǎn)生不利副作用的風(fēng)險要高得多。 多藥副作用是由于藥物之間的相互作用而產(chǎn)生的，如果與另一種藥物合用，一種藥物的活性可能會有利地或不利地發(fā)生變化。 藥物相互作用的知識通常是有限的，因為這些復(fù)雜的關(guān)系很少見，并且通常在相對較小的臨床測試中就沒有觀察到，因此發(fā)現(xiàn)多藥副作用仍然是一項重要的挑戰(zhàn)，對患者的死亡率和發(fā)病率具有重大影響。
• Results:
  在這里，我們介紹了Decagon，一種用于建模多藥副作用的方法。 該方法構(gòu)建了蛋白質(zhì)-蛋白質(zhì)相互作用，藥物-蛋白質(zhì)靶相互作用和多藥副作用(藥物-藥物)的多峰圖，多藥副作用表示為藥物-藥物相互作用，其中每種副作用都是不同類型的邊。 Decagon是專門為處理具有大量邊類型的這種多峰圖而開發(fā)的。我們的方法開發(fā)了一種新的圖卷積神經(jīng)網(wǎng)絡(luò)，用于多模態(tài)網(wǎng)絡(luò)中的多關(guān)系鏈接預(yù)測。 與僅限于預(yù)測簡單藥物-藥物相互作用值的方法不同，Decagon可以預(yù)測給定藥物組合在臨床上通過其表現(xiàn)出的確切副作用（如果有）。 Decagon可以準(zhǔn)確預(yù)測多藥的副作用，其性能比基線高出69％。 我們發(fā)現(xiàn)它會自動學(xué)習(xí)患者中多藥同時出現(xiàn)的副作用表示。 此外，Decagon可以很好地模擬具有強大分子基礎(chǔ)的多藥副作用，而在主要是非分子的副作用方面，由于可以跨邊的類型有效共享模型參數(shù)，因此可以實現(xiàn)良好的性能。Decagon開啟了使用大量藥物基因組學(xué)和患者群體數(shù)據(jù)來標(biāo)記和確定多藥副作用的機(jī)會，以便通過正式藥理學(xué)研究進(jìn)行后續(xù)分析。

1 Introduction

大多數(shù)人類疾病是由對任何一種藥物的活性都有抵抗力的復(fù)雜生物過程引起的 (Jia et al., 2009; Han et al.,2017)。對抗疾病的一種有前途的策略是多藥療法，這是一種組合療法，涉及同時使用多種藥物，也稱為藥物組合(Bansal et al., 2014)。藥物組合由多種藥物組成，每種藥物通常已在患者群體中用作單一有效藥物。由于藥物組合中的藥物可以調(diào)節(jié)不同蛋白質(zhì)的活性，因此藥物組合可以通過克服潛在生物學(xué)過程中的冗余來提高治療效果(Sun et al., 2015)。例如，最近顯示了Venetoclax和Idasanutlin的藥物組合在治療急性髓細(xì)胞性白血病方面具有優(yōu)異的抗白血病作用(Pan et al., 2017)。在這里，這兩種藥物互為作用：Venetoclax抑制抗凋亡的Bcl-2家族蛋白，而Idasanutlin激活p53途徑，因此，這兩種藥物的組合通過同時靶向互補機(jī)制來提高生存率(Pan et al., 2017)。

雖然使用多種藥物可能是治療許多疾病的良好實踐，但對患者而言，多藥的主要后果是由于藥物相互作用引起的副作用風(fēng)險要高得多。多藥副作用很難手動識別，因為它們很少見，幾乎不可能測試所有可能的藥物對，而且通常在相對較小的臨床測試中未觀察到副作用 (Bansal et al., 2014; Tatonetti et al.,2012)。此外，在醫(yī)療保健系統(tǒng)中，多藥業(yè)被認(rèn)為是一個日益嚴(yán)重的問題，影響了近15％的美國人口(Kantor et al., 2015)，在美國，每年花費在治療多藥業(yè)副作用上的費用超過1770億美元(Ernst and Grizzle, 2001)。

可以進(jìn)行體外實驗和臨床試驗來鑒定藥物相互作用(Li et al., 2016; Ryall and Tan, 2015)，但是對藥物相互作用候選物進(jìn)行系統(tǒng)的組合篩選仍然具有挑戰(zhàn)性且昂貴(Bansal et al., 2014)。因此，研究人員試圖從科學(xué)文獻(xiàn)和電子病歷中收集藥物之間的相互作用 (Percha et al., 2012; Vilar et al., 2017)，并通過網(wǎng)絡(luò)建模，分子靶標(biāo)分析(Chen et al., 2016a; Huang et al., 2014b; Lewis et al., 2015; Sun et al.,2015; Takeda et al., 2017)，基于統(tǒng)計關(guān)聯(lián)的模型和半監(jiān)督學(xué)習(xí)來發(fā)現(xiàn)它們(Chen et al., 2016b; Huang et al., 2014a; Shi et al., 2017; Zhao et al., 2011) (請參見第7節(jié)中的相關(guān)工作)。盡管這些方法對于推導(dǎo)在細(xì)胞水平上描述藥物相互作用的廣泛規(guī)則很有用，但它們不能直接指導(dǎo)藥物組合治療的策略。特別是，這些方法通過代表相互作用總體概率/強度的得分來表征藥物-藥物相互作用，但不能預(yù)測副作用的確切類型。更準(zhǔn)確地說，對于藥物$i$和$j$，這些方法預(yù)測它們的組合是否會在沒有相互作用的情況下超出預(yù)期之外的加性反應(yīng)(additive response)，并產(chǎn)生超出預(yù)期的夸張的反應(yīng)(exaggerated response)$S_{ij}$，而與確切的副作用類型或副作用數(shù)量無關(guān)。也就是說，他們的目標(biāo)是回答一個問題：$S_{ij}=\{\}$(論文中不等號上面有個?, 不知道怎么弄出來)，其中$S_{ij}$是所有多藥房副作用的集合，這些副作用專門歸因于藥物對$i$和$j$，而不是單獨歸因于任何一種藥物。但是，回答藥物對$i$和$j$是否會與$r$($r\in S_{ij}$)型給定的副作用相互作用更為重要和有用。 盡管確定精確的多藥副作用對于改善患者護(hù)理(patient care)至關(guān)重要，但這仍然是一項艱巨的任務(wù)，尚沒有通過預(yù)測模型進(jìn)行研究。

3 Data-driven motivation for Decagon approach

在這里，我們對雙層多峰圖的結(jié)構(gòu)（圖1）進(jìn)行了三項觀察，這些觀察對Decagon模型的設(shè)計具有重要意義。

首先，我們觀察到藥物組合中某些副作用發(fā)生的頻率范圍很廣。我們發(fā)現(xiàn)，已知> 53％的多藥副作用是在<3％的已記錄藥物組合中發(fā)生的（例如 cerebral artery embolism, lung abscess, sarcoma and collagen disorder）。相反，更頻繁的副作用（例如vomiting, weight gain, nausea and anaemia）出現(xiàn)更高的一個數(shù)量級。由于每種副作用與之相關(guān)的藥物對數(shù)量變化很大，因此只有有限數(shù)量的藥物對可用于獨立訓(xùn)練模型以預(yù)測不同的副作用類型。結(jié)果，多藥副作用預(yù)測成為一項具有挑戰(zhàn)性的任務(wù)，尤其是在預(yù)測罕見的副作用時。因此，重要的是開發(fā)一種端到端的方法，以使模型能夠共享信息并同時從所有副作用中學(xué)習(xí)。

其次，我們觀察到在co-prescribed藥物對（即藥物組合）中，多藥房副作用不會彼此獨立出現(xiàn)，這表明對多種副作用進(jìn)行聯(lián)合建模可以幫助完成預(yù)測任務(wù)。為了量化副作用之間的同時出現(xiàn)，我們統(tǒng)計了給定副作用與其他副作用同時出現(xiàn)的藥物組合的數(shù)量，然后對隨機(jī)同時出現(xiàn)的空模型使用置換測試。如表1中針對高血壓和惡心的示例所示，我們發(fā)現(xiàn)，在$\alpha$ = 0.05的藥物組合中它們與副作用惡心/高血壓同時出現(xiàn)而言，大多數(shù)最常見的副作用要么明顯偏高，要么代表性偏低。該觀察結(jié)果表明，可能存在共享的副作用病理生理機(jī)制，類似于疾病合并癥中所觀察到的機(jī)制（(Lee et al., 2008）。例如，我們發(fā)現(xiàn)高血壓與焦慮癥同時出現(xiàn)的發(fā)生率很高，但發(fā)燒的發(fā)生率要低于隨機(jī)機(jī)會所指示的發(fā)生率（表1）。這些關(guān)系貫穿副作用數(shù)據(jù)集。我們得出的結(jié)論是，預(yù)測模型應(yīng)利用副作用之間的依賴性，并能夠重用所學(xué)習(xí)到的有關(guān)一種副作用的分子基礎(chǔ)的信息，以更好地了解另一種副作用的分子基礎(chǔ)。

第三，我們探討了藥物對靶向的蛋白質(zhì)與副作用發(fā)生之間的關(guān)系。令$T_i$代表與藥物i相關(guān)的一組靶蛋白，然后我們計算給定藥物對（i，j）的靶蛋白之間的Jaccard相似性。我們觀察到以下幾點：

藥物組合的68％以上具有共同零種靶蛋白，這表明它是用蛋白質(zhì) - 蛋白質(zhì)相互作用的信息重要“連接”由不同的藥物靶向不同的蛋白質(zhì)。這表明使用蛋白質(zhì)間相互作用信息來“連接”不同藥物靶向的不同蛋白質(zhì)非常重要。

P-value = 5e - 120, 2-sample Kolmogorov-Smirnov(KS)檢驗顯示，隨機(jī)藥物對在靶向蛋白質(zhì)中的重疊程度要比co-prescribed drugs（(Fig. 2，淺灰色）小。

我們發(fā)現(xiàn)這種趨勢在不同的副作用中觀察不到。 例如，與目標(biāo)蛋白共享的藥物組合中的high blood pressure比rib fracture更明顯（(Fig. 2，紫色）。每次2-sample KS試驗，出現(xiàn)超過150種副作用的組合與其他真正的藥物組合有顯著差異（在Bonferroni校正后，$\alpha$ = 0.05），表明這些副作用具有很強的分子基礎(chǔ)。基于此發(fā)現(xiàn)，我們得出結(jié)論，對于模型而言，考慮蛋白質(zhì)之間如何相互作用以及能夠?qū)?#xff08;間接）相互作用的較長鏈進(jìn)行建模非常重要。

4 Graph convolutional Decagon approach

我們將多藥副作用建模作為編碼藥物，蛋白質(zhì)和副作用關(guān)系的多峰圖上的多關(guān)系鏈接預(yù)測問題(圖1)。更精確地，這些關(guān)系由具有$N$個節(jié)點(例如 蛋白質(zhì), 藥物)$v_i\in \mathcal{V}$和標(biāo)記的邊(關(guān)系)$\left(v_i,r,v_j\right)$的圖$G=(\mathcal{V},\mathcal{R})$表示，其中$r$是邊類型(關(guān)系類型):

兩種蛋白質(zhì)之間的物理結(jié)合

藥物和蛋白質(zhì)之間的靶(target)關(guān)系

兩種藥物之間特定類型的副作用

如第2節(jié)所述，我們考慮了964種藥物之間的不同關(guān)系類型(即副作用)。

此外，我們允許以附加節(jié)點特征( additional node feature)的形式包含輔助信息。不同的節(jié)點（藥物，蛋白質(zhì)）可以具有不同數(shù)量的節(jié)點特征，這由分配給圖中每個節(jié)點的實值特征向量(real-valued feature vectors)${\mathbf{X}}_1,{\mathbf{X}}_2,\dots ,{\mathbf{X}}_N$給出。

多藥副作用預(yù)測任務(wù):多藥副作用預(yù)測任務(wù)考慮了識別藥物對和副作用之間關(guān)聯(lián)的問題。重要的是，這些關(guān)聯(lián)僅限于不能單獨歸因于任何一種藥物的關(guān)聯(lián)。使用圖形G，任務(wù)是預(yù)測藥物節(jié)點之間的標(biāo)記邊。給定一個藥物對$\left(v_i,v_j\right)$，我們的目標(biāo)是確定類型$r$的邊$e_{ij}=\left(v_i,r,v_j\right)$屬于$R$的可能性，這就意味著藥物$v_i$和$v_j$[即,藥物組合的使用$\left(v_i,v_j\right)$]同時使用與人類患者群體(human patient population)中多藥副作用$r$有關(guān)。

為此，我們開發(fā)了直接在圖$G$上運行的非線性多層卷積圖神經(jīng)網(wǎng)絡(luò)模型Decagon。Decagon具有兩個主要組件：

• 編碼器 : 在$G$上運行并為$G$中的節(jié)點生成嵌入的圖卷積網(wǎng)絡(luò)(圖3A; 第4.1節(jié))。
• 解碼器 : 使用這些嵌入的張量分解模型來建模多藥副作用(圖3B; 第4.2節(jié))。

我們通過描述Decagon（我們的多藥副作用建模方法）進(jìn)行說明。

4.1 Graph convolutional encoder

我們首先描述圖編碼器模型，該模型以圖$G$和附加節(jié)點特征向量(附加節(jié)點特征向量)${\mathbf{x}}_i$為輸入，并為圖中的每個節(jié)點（藥物，蛋白質(zhì)）產(chǎn)生一個節(jié)點$d$維嵌入${\mathbf{z}}_i\in {\mathbb{R}}^d$。

我們提出了一種編碼器模型，該模型可以有效利用圖中各個區(qū)域之間的信息共享，并為每種關(guān)系類型分配單獨的處理通道。這個想法是Decagon學(xué)習(xí)如何在整個圖上轉(zhuǎn)換和傳播由節(jié)點特征向量捕獲的信息。每個節(jié)點的網(wǎng)絡(luò)鄰域都定義了不同的神經(jīng)網(wǎng)絡(luò)信息傳播體系結(jié)構(gòu)，但是這些體系結(jié)構(gòu)隨后共享定義了如何共享和傳播信息的功能/參數(shù)。我們學(xué)習(xí)卷積運算符，它們在圖的不同部分和不同的關(guān)系類型之間傳播和轉(zhuǎn)換信息。 該模型的靈感來自最近一類直接在圖上運行的卷積神經(jīng)網(wǎng)絡(luò)(Defferrard et al., 2016; Kipf and Welling, 2016)。對于給定的節(jié)點，Decagon對其鄰居的特征向量執(zhí)行變換/聚合操作。然后，對這些操作的連續(xù)應(yīng)用將有效地將信息卷積（即, 節(jié)點的嵌入取決于距離$K$最多不超過$K$步的所有節(jié)點）在第$K$階鄰域中，其中$K$是神經(jīng)網(wǎng)絡(luò)模型中卷積層的連續(xù)操作數(shù)。

在每一層中，Decagon在考慮邊緣的類型（關(guān)系）的同時，在圖的邊緣之間傳播潛在節(jié)點特征信息(Schlichtkrull et al., 2017)。此神經(jīng)網(wǎng)絡(luò)模型的單層采用以下形式：
$${\mathbf{h}}_i^{(k+1)}=??\sum _r\sum _{j\in {\mathcal{N}}_r^i}{c}_r^{ij}{\mathbf{W}}_r^{(k)}{\mathbf{h}}_j^{(k)}+c_r^i{\mathbf{h}}_i^{(k)}?$$其中h是神經(jīng)網(wǎng)絡(luò)第$k$層中節(jié)點$v_i$的隱藏狀態(tài)，其中$d^{(k)}$是該層表示的維數(shù)，$r$是關(guān)系類型，矩陣${\mathbf{W}}_r^{(k)}$是關(guān)系類型特定的參數(shù)矩陣。$?$表示非線性元素激活函數(shù)[即, 線性校正單元(a rectified linear unit)]，它轉(zhuǎn)換要在神經(jīng)模型層中使用的表示形式，$c_r^{ij}$和$c_r^i$是歸一化常數(shù)，我們選擇為對稱$c_r^{ij}=1/\sqrt{|}{\mathcal{N}}_r^i\Vert {\mathcal{N}}_r^j|$和$c_r^i=1/\left|{\mathcal{N}}_r^i\right|$其中${\mathcal{N}}_r^i$表示關(guān)系$r$下節(jié)點$v_i$的鄰居集合。重要地注意，等式(1)中的和僅在給定節(jié)點$i$的鄰居${\mathcal{N}}_r^i$的范圍內(nèi)，因此每個節(jié)點的計算架構(gòu)（即神經(jīng)網(wǎng)絡(luò)）是不同的。圖3A顯示了圖1中節(jié)點$C$的每層卷積更新方程式(1)的示例。并且，圖3C然后說明了不同的節(jié)點具有不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(因為每個節(jié)點的網(wǎng)絡(luò)鄰域都不同)。

通過將這些層(圖3A)的多個(即$K$)與適當(dāng)?shù)募せ罟δ苕溄釉谝黄?#xff0c;可以構(gòu)建更深層次的模型。為了到達(dá)節(jié)點vi的最終嵌入${\mathbf{z}}_i\in {\mathbb{R}}^d$，我們將其表示計算為：${\mathbf{z}}_i={\mathbf{h}}_i^{(K)}$。然后，整個編碼器采用以下形式。我們按照等式（1）堆疊K層，以便上一層的輸出成為下一層的輸入。第一層的輸入是節(jié)點特征向量${\mathbf{h}}_i^{(0)}={\mathbf{x}}_i$，或者如果圖中沒有任何特征，則為圖中的每個節(jié)點提供唯一的one-hot向量。

4.2 Tensor factorization decoder

到目前為止，我們介紹了Decagon的編碼器。 編碼器將每個節(jié)點$v_i\in \mathcal{V}$映射到一個嵌入的實值向量表示${\mathbf{z}}_i\in {\mathbb{R}}^d$，其中d是節(jié)點表示的維數(shù)。 我們先描述Decagon的解碼器組件。

解碼器的目標(biāo)是通過依賴于學(xué)習(xí)到的節(jié)點嵌入并通過不同地對待每個標(biāo)簽（邊緣類型）來重建$G$中的標(biāo)記邊。具體而言，解碼器通過函數(shù)$g\left(v_i,r,v_j\right)$評分$\left(v_i,r,v_j\right)$-三元組，該函數(shù)$g$的目標(biāo)是分配一個得分$g$，該得分$g$表示藥物$v_i$和$v_j$通過關(guān)系/副作用類型r交互的可能性(圖3B)。通過使用Decagon編碼器(第4.1節(jié))${\mathbf{z}}_i$和${\mathbf{z}}_j$返回的節(jié)點$i$和$j$的嵌入，解碼器通過分解操作預(yù)測候選邊$\left(v_i,r,v_j\right)$：
$$g\left(v_i,r,v_j\right)=?\begin{array}{cl}{\mathbf{z}}_i^T{\mathbf{D}}_r\mathbf{R}{\mathbf{D}}_r{\mathbf{z}}_j& \text{?if?}{v}_i\text{?and?}{v}_j\text{?are?drugs?}\\ {\mathbf{z}}_i^T{\mathbf{M}}_r{\mathbf{z}}_j& \text{?if?}{v}_i\text{?and?}{v}_j\text{?are?both?proteins,?or?}\\ & v_i\text{?and?}{v}_j\text{?are?a?protein?and?a?drug?}\end{array}$$然后應(yīng)用sigmoid型函數(shù)$\sigma$計算邊$\left(v_i,r,v_j\right)$的可能性：
$$p_r^{ij}=p\left(\left(v_i,r,v_i\right)\in \mathcal{R}\right)=\sigma \left(g\left(v_i,r,v_i\right)\right)$$接下來，我們通過區(qū)分以下兩種情況來說明Decagon的解碼器：

當(dāng)$v_i$和$v_j$是藥物節(jié)點時，公式(2)中的解碼器$g$假設(shè)藥物-藥物相互作用的全局(global)模型（即$\mathbf{R}$），其在多藥副作用中的變化和重要性由副作用有特的對角因子(即${\mathbf{D}}_r$ )所描述。在此，$R$是形狀為$d\times d$的可訓(xùn)練參數(shù)矩陣，R模擬了跨所有可能的多藥副作用的全局藥物相互作用。另外，在Decagon中，代表不同多藥副作用的每個關(guān)系$r$與$d\times d的$對角矩陣${\mathbf{D}}_r$ 相關(guān)聯(lián)，該矩陣模擬(modeling)${\mathbf{z}}_i$中每個維度對副作用$r$的重要性。在另一種觀點中，該解碼器可以被認(rèn)為是三向張量(three-way tensor)的張量分解，其中兩種模式由藥物相同地形成，而第三種模式則保持藥物組合的多藥副作用。但是，Decagon的一個顯著特征是對編碼器的依賴。傳統(tǒng)的張量分解使用直接在訓(xùn)練中優(yōu)化的節(jié)點表示，而我們以端到端的方式計算它們，其中節(jié)點嵌入與張量分解一起被優(yōu)化。

當(dāng)$v_i$和$v_j$不都是藥物節(jié)點時，等式(2)中的解碼器g采用雙線性形式對節(jié)點嵌入中的邊進(jìn)行解碼。更確切地說，在那種情況下，解碼函數(shù)$g$與形狀為$d\times d$的可訓(xùn)練參數(shù)矩陣${\mathbf{M}}_r$關(guān)聯(lián)，該模型對${\mathbf{z}}_i$和${\mathbf{z}}_j$中每兩個維度之間的交互進(jìn)行建模。然后，使用雙線性形式（等式2）計算預(yù)測的邊的概率，然后應(yīng)用sigmoid型函數(shù)（等式3）。

由于以下兩個原因，基于等式(2)中的節(jié)點類型使用不同的邊的解碼器至關(guān)重要:

• 首先，Decagon解碼器可以看作是不同關(guān)系類型之間有效參數(shù)共享的一種形式。特別是，涉及藥物對的關(guān)系類型使用相同的全局藥物-藥物相互作用模型（即矩陣R），其中包含適用于所有與藥物相關(guān)的關(guān)系類型的模式。我們期望這種解碼參數(shù)化可以減輕罕見副作用上的過度擬合，因為參數(shù)在罕見[例如，脊髓炎或鼻息肉(myringitis or nasal polyps)]和頻繁[例如，低血壓或貧血(hypotension or anaemia)]副作用之間共享。
• 其次，我們希望一個高分$g\left(v_i,r,v_j\right)$表示藥物組合$\left(v_i,v_j\right)$與不能單獨歸因于$v_i$或$v_j$的副作用r之間的關(guān)聯(lián)。因此，要捕獲多藥的組合，至關(guān)重要的是，Decagon允許通過R在$i$和$j$的嵌入中任意兩個維度之間進(jìn)行非零交互(non-zero interaction)。

兩者合計，Decagon模型的可訓(xùn)練參數(shù)為：

關(guān)系類型特定的神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣${\mathbf{W}}_r$

關(guān)系類型特定的參數(shù)矩陣${\mathbf{M}}_r$

全局副作用參數(shù)矩陣$R$

副作用特定的對角參數(shù)矩陣${\mathbf{D}}_r$

因此，Decagon編碼器和解碼器形成了用于多峰圖中的多關(guān)系鏈接預(yù)測的端到端可訓(xùn)練模型（圖3）。接下來，我們將描述如何訓(xùn)練Decagon方法。 特別是，我們解釋了如何使用端到端學(xué)習(xí)技術(shù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)重和交互參數(shù)矩陣。

4.3 Decagon model training

在模型訓(xùn)練期間，我們使用交叉熵?fù)p失(cross-entropy loss)來優(yōu)化模型參數(shù)：
$$J_r\left(i,j\right)=?\log P_r^{ij}?E_{n～p_{r}ij}\log (1?P_r^{in})$$

促進(jìn)模型為觀察到的邊$\left(v_i,r,v_j\right)$分配比隨機(jī)非邊更高的概率。與以前的研究一樣(Mikolov et al., 2013; Trouillon et al., 2016)，我們通過負(fù)采樣來估計模型。 對于圖中的每種藥物-藥物的邊$\left(v_i,r,v_j\right)$(即陽性示例)，我們通過隨機(jī)選擇節(jié)點$v_n$來抽樣隨機(jī)的邊$\left(v_i,r,v_n\right)$(即陰性示例)。這是通過將邊$\left(v_i,r,v_j\right)$中的節(jié)點$v_j$替換為根據(jù)抽樣分布$P_r$(Mikolovet al., 2013)隨機(jī)選擇的節(jié)點$v_n$來實現(xiàn)的。考慮所有的邊，Decagon中的最終損失函數(shù)為：
$$J=\sum _{\left(v_i,r,v_j\right)\in \mathcal{R}}{J}_r(i,j)$$
最近的結(jié)果表明，通過端到端學(xué)習(xí)通常可以顯著改善對圖結(jié)構(gòu)數(shù)據(jù)的建模(Defferrardet al., 2016; Gilmer et al., 2017)，因此，我們采用端到端優(yōu)化方法，對所有可訓(xùn)練參數(shù)共同進(jìn)行優(yōu)化，并通過Decagon的編碼器和解碼器傳播損失函數(shù)梯度(loss function gradients)。

為了優(yōu)化模型，我們使用Adam優(yōu)化器以0.001的學(xué)習(xí)率對模型進(jìn)行最多100個epoch的訓(xùn)練（訓(xùn)練迭代），并以2的窗口大小提前停止訓(xùn)練；即，如果驗證損失在兩個時間內(nèi)都沒有減少，我們將停止訓(xùn)練連續(xù)的epoch。我們使用Glorot和Bengio（2010）中描述的初始化來初始化權(quán)重，并相應(yīng)地標(biāo)準(zhǔn)化節(jié)點特征向量。 為了使模型能夠很好地泛化到未觀察到的邊，我們對隱藏層單元應(yīng)用了regular dropout（公式1）。在實踐中，我們使用有效的稀疏矩陣乘法（其復(fù)雜度與G的邊數(shù)成線性關(guān)系）來實現(xiàn)Decagon模型。

我們通過對方程（5）中損失函數(shù)的貢獻(xiàn)進(jìn)行采樣來使用小批(mini-batching)處理。 也就是說，我們處理多個訓(xùn)練小批處理，每個訓(xùn)練小批處理都是通過從等式（5）中的邊沿總和中僅采樣固定數(shù)量的貢獻(xiàn)而獲得的，從而產(chǎn)生了一批動態(tài)的計算圖（圖3C）。通過僅考慮對損失函數(shù)的固定數(shù)量的貢獻(xiàn)，我們可以刪除當(dāng)前小批中未出現(xiàn)的各個數(shù)據(jù)點。這是一種有效的正則化方法，并減少了訓(xùn)練模型所需的內(nèi)存，這是必需的，以便我們可以將完整的模型裝入GPU內(nèi)存（所有數(shù)據(jù)和代碼均在項目網(wǎng)站上發(fā)布）。

5 Experimental setup

我們認(rèn)為，預(yù)測多藥副作用是解決多關(guān)系鏈接預(yù)測任務(wù)的問題。在此，每個藥物對通過一組所有關(guān)系類型（即所有副作用類型，請參見第2節(jié)和圖1）中的零個，一個或多個關(guān)系類型（即副作用類型）進(jìn)行連接。

對于每種多藥副作用類型，我們將與該副作用相關(guān)的藥物對分為訓(xùn)練，驗證和測試集，以確保驗證和測試集各包含10％的藥物對。對于每種副作用類型，我們使用80％的藥物對訓(xùn)練模型，并使用10％的藥物對選擇模型參數(shù)。然后，任務(wù)是預(yù)測與每種副作用類型相關(guān)的藥物對。 請注意，我們非常謹(jǐn)慎，因為折疊之間存在信息泄漏，并且交叉驗證是公平的。

我們應(yīng)用Decagon，它針對每種藥物對和每種副作用類型計算給定藥物對與給定副作用相關(guān)的概率。另外，我們以藥物節(jié)點$i$的附加特征${\mathbf{x}}_i$的形式將副作用（即個別藥物的副作用）（第2節(jié)）整合到模型中。為了避免評估中出現(xiàn)任何圓度和信息泄漏，我們確保：

• 我們預(yù)測的副作用是真正的多藥副作用（即，給定的多藥副作用僅與該藥對相關(guān)，而與該藥對中的任何單個藥物無關(guān)）
• 副作用中沒有我們預(yù)測的副作用類型。例如，惡心(nausea)是一種多藥副作用，因此我們刪除了所有惡心作為個別藥物的副作用的情況。我們注意到這是一種保守的方法，它使我們能夠可靠地估計預(yù)測性能。

我們尚不知道開發(fā)任何其他方法來預(yù)測藥物對的副作用。因此，我們針對以下多關(guān)系鏈接預(yù)測方法評估了Decagon的性能：

• RESCAL tensor decomposition (Nickel et al., 2011):
• DEDICOM tensor decomposition (Papalexakis et al., 2017):
• DeepWalk neural embeddings (Perozzi et al., 2014; Zong et al.,2017):
• Concatenated drug features:

使用驗證集對候選參數(shù)值進(jìn)行網(wǎng)格搜索來確定每種方法的參數(shù)設(shè)置（例如，對于梯度增強樹，使用的樹數(shù)從10到100不等）。如果方法不是多關(guān)系鏈接預(yù)測方法，則針對每種副作用類型，我們分別在驗證集上選擇性能最佳的參數(shù)。具體而言，Decagon使用2層神經(jīng)體系結(jié)構(gòu)，其中$d$(1) = 64，每層$d$(2) = 32個隱藏單元，所有實驗中的dropout rate為0.1，最小批量(minibatch)為512。

使用受試者工作特征下的面積 (AUROC)，準(zhǔn)確召回率曲線下的面積 (AUPRC)和50的平均精度(AP@50)分別計算每種副作用類型的性能。 較高的值始終表示性能更好。

6 Results

Decagon在多峰圖和高度多關(guān)系的環(huán)境中運行。 這種靈活性使Decagon特別適合預(yù)測藥物對的副作用，這將在下面討論。

6.1 Prediction of polypharmacy side effects

這些發(fā)現(xiàn)與結(jié)果相吻合，即通過端到端學(xué)習(xí)，特別是使用圖形自動編碼器，通常可以顯著改善預(yù)測 (Hamilton et al., 2017a, b; Kipf and Welling, 2016)。特別是，張量分解(tensor decomposition)和神經(jīng)嵌入基線(neural embedding baseline )方法使我們能夠量化由于嵌入（例如Decagon的編碼器）而導(dǎo)致的性能提升的百分比，以及由于多任務(wù)學(xué)習(xí)（即Decagon的解碼器）而導(dǎo)致的性能提升的百分比。

為了更好地了解Decagon的性能，我們按副作用類型對表2中的匯總統(tǒng)計數(shù)據(jù)進(jìn)行了分層。手動檢查結(jié)果并與領(lǐng)域?qū)＜疫M(jìn)行討論，揭示了表3中表現(xiàn)最佳的副作用的共同屬性。我們觀察到，Decagon模型具有明顯的分子基礎(chǔ)，因此副作用特別好。該觀察結(jié)果符合我們的預(yù)期，因為Decagon的多峰圖（圖1）主要包含藥物基因組信息。我們還觀察到，性能最差的副作用往往是常見的副作用和/或具有潛在的重要環(huán)境和行為成分的非分子起源（表3）。Decagon在這些副作用上的競爭表現(xiàn)可以通過在不同類型的副作用之間有效共享模型參數(shù)來解釋。

6.2 Investigation of Decagon’s novel predictions

接下來，我們對新匹配進(jìn)行基于文獻(xiàn)的評估。 我們的目標(biāo)是評估新穎的Decagon關(guān)于副作用與藥物對之間關(guān)系的預(yù)測的質(zhì)量。為此，我們要求Decagon對數(shù)據(jù)集中的每種藥物對和每種副作用類型進(jìn)行預(yù)測。然后，我們使用這些預(yù)測來構(gòu)建（藥物$i$，副作用類型$r$，藥物$j$）三元組的排名列表，其中，三元組通過預(yù)測的概率得分$p_r^{ij}$進(jìn)行排名（公式3）。然后，我們從排名列表中排除藥物對與副作用之間的所有已知關(guān)聯(lián)，然后調(diào)查列表中排名最高的10個預(yù)測。為了防止調(diào)查偏見的風(fēng)險，我們不允許在分析的不同階段之間發(fā)生任何串?dāng)_。 然后，我們搜索生物醫(yī)學(xué)文獻(xiàn)，以查看是否可以找到這些新穎預(yù)測的佐證證據(jù)。

表4顯示了Decagon的預(yù)測以及支持這些預(yù)測的文獻(xiàn)證據(jù)。我們能夠從10個排名最高的預(yù)測副作用中找到5個的文獻(xiàn)證據(jù)。也就是說，對于這些排名最高的預(yù)測，我們的方法都可以正確識別藥物對以及副作用類型。該結(jié)果是驚人的，因為預(yù)測是特定的，并且通過藥物對和副作用關(guān)聯(lián)的隨機(jī)選擇很難找到支持證據(jù)。我們注意到，引用的文獻(xiàn)明確調(diào)查了預(yù)期的藥物對和預(yù)期的副作用之間的相互作用。例如，Decagon表示使用阿托伐他汀(Atorvastatin)和氨氯地平可(Amlodipine)導(dǎo)致肌肉發(fā)炎(muscle inflammation)(表4，排名第8的最高預(yù)測)。實際上，最近的報道(e.g. Banakh et al., 2017)發(fā)現(xiàn)，由于阿托伐他汀(Atorvastatin)與氨氯地平(Amlodipine)的藥物相互作用可能導(dǎo)致肌肉組織損傷。Decagon還標(biāo)記了乙胺嘧啶(Pyrimethamine)(一種單獨使用可有效治療瘧疾(malaria)的抗微生物藥)與一種腎素抑制劑阿里斯基倫(Aliskiren)之間的潛在聯(lián)系，阿里斯基倫(Aliskiren)的臨床試驗在發(fā)現(xiàn)腎臟并發(fā)癥后被終止(Parving et al., 2012)，則表明會罹患癌癥的風(fēng)險增加（排名第一的預(yù)測）。此處的分析證明了Decagon的預(yù)言可能有助于翻譯科學(xué)和發(fā)現(xiàn)新型（非）有效藥物組合。

6.3 Exploration of Decagon’s side effect embeddings

最后，我們有興趣了解Decagon是否滿足第3節(jié)中提出的設(shè)計目標(biāo)。特別是，我們通過探索性數(shù)據(jù)分析（第3節(jié)中的第二個觀察結(jié)果）測試了Decagon是否可以捕獲不同副作用類型的相互依賴性。為此，我們采用對角矩陣${\mathbf{D}}_r$，該矩陣專門模擬了Decagon的多關(guān)系鏈接預(yù)測中每種副作用類型$r$相互作用的重要性（第4.2節(jié)）。我們從每個${\mathbf{D}}_r$中提取對角線，并將其用作副作用$r$的矢量表示。 我們使用t-SNE將這些向量表示嵌入到2D空間中(Maaten and Hinton, 2008)，然后在圖4中進(jìn)行可視化。

圖4揭示了副作用表示中的聚類結(jié)構(gòu)。查看該圖，我們觀察到在2D空間中緊密嵌入在一起的副作用往往會在藥物組合中同時發(fā)生。該觀察結(jié)果表明，Decagon推斷出在許多藥物組合中共同出現(xiàn)的副作用$r_1$和$r_2$相似的矩陣$D_{r1}$和$D_{r2}$。例如，經(jīng)常與子宮息肉副(uterine polyp)作用一起出現(xiàn)的前三個副作用是：

7 Related work

我們回顧了有關(guān)藥物組合的計算預(yù)測以及有關(guān)圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的相關(guān)研究。

7.1 Drug combination modeling

計算藥理學(xué)的方法旨在發(fā)現(xiàn)藥物與分子靶之間的聯(lián)系，預(yù)測潛在的不良藥物反應(yīng)并發(fā)現(xiàn)現(xiàn)有藥物的新用途。(Campillos et al., 2008;Hodos et al., 2016; Li et al., 2016). 與這些方法主要考慮的個別藥物和單一藥物療法（即單一療法）相比，我們考慮藥物組合（即多藥）。這很重要，因為多藥是對抗復(fù)雜疾病的有用策略 (Han et al., 2017; Jia et al., 2009), 對醫(yī)療保健系統(tǒng)具有重要意義(Ernst and Grizzle, 2001)。

傳統(tǒng)上，已經(jīng)通過實驗篩選出一組預(yù)先定義的所有可能的藥物組合來確定有效的藥物組合(Chen et al., 2016b)。鑒于藥物數(shù)量眾多，藥物成對組合的實驗篩選在成本和時間方面構(gòu)成了巨大的挑戰(zhàn)。例如，給定n種藥物，有$n(n?1)/2$個成對藥物組合和許多更高階的組合。為了解決候選藥物組合的組合爆炸問題，開發(fā)了計算方法來識別可能相互作用的藥物對，即產(chǎn)生超出或超出在沒有相互作用時預(yù)期的加和反應(yīng)之外的過度反應(yīng)的藥物對 (Ryall and Tan, 2015)。該領(lǐng)域先前的研究集中在通過協(xié)同作用和拮抗作用的概念來定義藥物相互作用(Lewis et al., 2015; Loewe, 1953)，定量測量劑量效應(yīng)曲線(Bansal et al., 2014;Takeda et al., 2017) ，并根據(jù)測量細(xì)胞活力的實驗確定給定的藥物對是否相互作用(Chen et al., 2016a, b; Huang et al., 2014a, b; Shi et al., 2017; Sun et al., 2015; Zitnik and Zupan, 2016)。所有這些方法都將藥物-藥物相互作用預(yù)測為標(biāo)量值，該標(biāo)量值表示給定藥物對相互作用的總體概率/強度。與之形成鮮明對比的是，我們在這里的研究更進(jìn)一步，確定了給定藥物對在患者群體中臨床表現(xiàn)的精確度（如果有的話）。特別是，我們對不能歸因于任何一種藥物而由于藥物相互作用（即多藥副作用）產(chǎn)生的臨床表現(xiàn)進(jìn)行建模。先前的研究著重于生成代表細(xì)胞活力或?qū)嶒炈幬锖Y選中密切相關(guān)的結(jié)果的逐點交互作用估計，但我們首次預(yù)測，當(dāng)患者將多種藥物合在一起時，如果有的話，多藥副作用可能會發(fā)生 ，為臨床翻譯提供了更直接的途徑。

盡管目前的藥物相互作用預(yù)測方法不能直接用于此處研究的問題，但我們簡要概述了這些方法所使用的方法。 藥物相互作用預(yù)測方法可分為基于分類的方法和基于相似性的方法。基于分類的方法將藥物相互作用的預(yù)測視為二分類問題(Chen et al., 2016b; Cheng and Zhao,2014; Huang et al., 2014a; Shi et al., 2017; Zitnik and Zupan, 2016)。這些方法使用已知的相互作用藥物對作為陽性實例，將其他藥物對用作陰性實例，并訓(xùn)練分類模型，例如樸素貝葉斯(naive Bayes)，邏輯回歸(logistic regression)和支持向量機(jī)(support vector machine)。相反，基于相似性的方法假設(shè)相似的藥物可能具有相似的相互作用模式(Gottlieb et al., 2012; Huang et al., 2014b; Li et al., 2016, 2017; Sun et al., 2015; Vilar et al., 2012; Zitnik and Zupan, 2015)。這些方法使用了針對藥物化學(xué)亞結(jié)構(gòu)，相互作用譜指紋，藥物副作用，副作用和分子靶連通性定義的不同種類的藥物-藥物相似性度量。這些方法通過聚類或標(biāo)簽傳播來匯總相似性度量，以識別潛在的藥物相互作用 (Ferdousi et al., 2017; Zhang et al.,2015, 2017)。但是，所有這些方法均會產(chǎn)生藥物相互作用，并且無法預(yù)測確切的多藥副作用，這是我們此處研究的目標(biāo)。

7.2 Neural networks on graphs

我們的模型擴(kuò)展了圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域的現(xiàn)有工作(Defferrard et al., 2016; Gilmer et al., 2017; Hamilton et al.,2017a, b; Kipf and Welling, 2016; Schlichtkrull et al., 2017)。圖神經(jīng)網(wǎng)絡(luò)通過將通常應(yīng)用于圖像數(shù)據(jù)集的卷積運算概念推廣到可以對任意圖進(jìn)行運算的運算，從而可以學(xué)習(xí)圖結(jié)構(gòu)。這些神經(jīng)網(wǎng)絡(luò)也可以看作是一種嵌入方法，可以將有關(guān)每個節(jié)點鄰域的高維信息提取為密集的矢量嵌入，而無需進(jìn)行人工特征工程。 特別地，圖卷積網(wǎng)絡(luò)(Defferrard et al., 2016; Hamilton et al., 2017a; Kipf and Welling, 2016) 和消息傳遞神經(jīng)網(wǎng)絡(luò)(Gilmer et al., 2017)是相關(guān)的研究領(lǐng)域，允許逐層學(xué)習(xí)圖中的節(jié)點嵌入。

盡管圖卷積網(wǎng)絡(luò)在社交網(wǎng)絡(luò)和知識圖中的重要預(yù)測問題上實現(xiàn)了最先進(jìn)的性能，但它們尚未用于計算生物學(xué)中的問題。 我們的模型通過合并對多種邊類型的支持來擴(kuò)展圖卷積網(wǎng)絡(luò)，每種類型代表不同的副作用，并通過為具有大量邊類型的多峰圖提供有效的權(quán)重共享形式。

8 Conclusion

我們介紹了Decagon，一種預(yù)測藥物對副作用的方法。 Decagon是一種通用的圖卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計用于在大型多峰圖上運行，在該圖中，節(jié)點可以通過大量不同的關(guān)系類型進(jìn)行連接。我們首次使用Decagon推斷可以識別成對藥物副作用的預(yù)測模型。Decagon預(yù)測了副作用與共同處方藥對（即藥物組合）之間的關(guān)聯(lián)，識別不能歸因于任何一種藥物的副作用。圖卷積模型在多藥副作用預(yù)測任務(wù)上實現(xiàn)了極好的準(zhǔn)確性，使我們能夠整合了分子和患者群體數(shù)據(jù)(molecular and patient population data)的近一千種不同的副作用類型，并提供有關(guān)藥物相互作用的臨床表現(xiàn)的見解。

有一些未來研究的方向。 我們的方法將分子蛋白質(zhì)-蛋白質(zhì)和藥物-靶網(wǎng)絡(luò)與人群水平患者的副作用數(shù)據(jù)結(jié)合在一起。其他生物醫(yī)學(xué)信息來源，例如藥物的劑量濃度水平，可能與建模藥物對的副作用有關(guān)，我們希望研究將它們整合到模型中的效用。由于Decagon的圖卷積模型是在任何多模式網(wǎng)絡(luò)中進(jìn)行多關(guān)系鏈接預(yù)測的通用方法，因此將其應(yīng)用于其他領(lǐng)域和問題將很有趣，例如，發(fā)現(xiàn)patient outcomes與comorbid diseases之間的關(guān)聯(lián)，或確定突變表型(mutant phenotypes)和基因-基因相互作用之間的依賴性。

總結(jié)

以上是生活随笔為你收集整理的「论文翻译」Modeling polypharmacy side effects with graph convolutional networks的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。