基于深度學習的異構時序事件患者數據表示學習框架

劉盧琛, 沈劍豪, 張銘,, 王子昌, 李浩然, 劉澤群

北京大學信息科學技術學院，北京 100871

?

摘要：患者數據的表示學習可以將患者歷史信息綜合表達為一個向量，用于預測未來可能發生的疾病。患者的歷史記錄可以被建模為多來源數據構成的采樣頻率差異很大、包含非線性時序關系的異構時序事件。提出了一個新的異構事件長短期記憶表示學習框架，用于學習患者異構時序事件的聯合表征。異構事件長短期記憶模型加入了一個可以控制事件訪問頻率的門，以對不同事件的不規則采樣頻率建模，同時抓住事件中的復雜時序依賴關系。真實臨床數據的實驗表明，該方法可以在一系列先進模型的基礎上，提升死亡預測和異常實驗結果預測的準確度。

關鍵詞：電子病歷；患者數據表示學習；異構時序事件；深度學習

論文引用格式：

劉盧琛, 沈劍豪, 張銘, 王子昌, 李浩然, 劉澤群. 基于深度學習的異構時序事件患者數據表示學習框架. 大數據[J], 2019, 5(1): 25-38

LIU L C, SHEN J H, ZHANG M, WANG Z C, LI H Y, LIU Z Q. Deep learning based patient representation learning framework of heterogeneous temporal events data. Big data research[J], 2019, 5(1): 25-38

1 引言

電子病歷的大量積累，為機器學習和數據挖掘的研究者們提供了很好的數據基礎，以此服務于輔助診斷和智慧醫療，提供智能化的輔助診療服務。智慧醫療中一個重要的核心研究問題是患者數據的表示學習，它可以綜合提煉、挖掘豐富歷史病例數據中的信息，為疾病診斷、重要癥狀、指標異常等各種臨床結果的預測提供支撐。

本文提出了一個基于深度學習的患者電子病歷數據表示學習框架，用于臨床終點（clinical endpoint）的預測任務。臨床終點是指反映病人感覺、功能、生存的特征或目標變量。研究證明，深度學習在各類應用場景下有著比傳統機器學習方法更優越的性能，比如圖片分類、語音識別以及自然語言處理等。深度學習的主要思路是自動化地從基本數據中抽取特征，得到對樣本的有效語義表征。在電子病歷方面，也希望通過深度學習的方法對患者的歷史記錄進行有效的表征學習。

然而，患者歷史數據表示學習問題非常有挑戰性，因為患者的歷史記錄包含了異構的時序事件，比如化驗結果、生理指標、藥物注射、臨床事件等（如圖1所示）。不同事件的采樣記錄頻率千差萬別，比如患者可能每個早上都要化驗血糖，每個小時都要測量體溫和血氧。而且不同事件之間有復雜的時序依賴關系，例如一個診斷結果需要根據患者之前的一些癥狀以及化驗結果的某種趨勢才能夠得出。可以看到，對于這種包含上千種事件、采樣頻率差異巨大、隱含著豐富時序依賴關系的異構時序事件，學習其向量表征確實是非常復雜的。

圖1???異構時序事件的表示學習建模框架

很多文獻探討了對序列數據的表示學習方法，特別是在語音和自然語言處理領域。現有經典的長短期記憶（long short term memory,LSTM）模型可以用于同構的序列數據，然而對于異構的序列數據，直接使用LSTM模型并不方便。也有一些工作（如多過程高斯模型）對不同序列之間的相關度進行建模，然而它的計算復雜度非常大，在處理上千種時序數據時，計算代價不可承受。因此，筆者希望能夠找到一種既可以對不同事件、不同采樣頻率建模，也能抓到不同事件之間的相關關系，并且可以比較方便地擴展應用到高維度的醫療病例數據中的方法。

本文提出了一個叫作異構事件長短期記憶（heterogeneous event long short term memory, HE-LSTM）網絡的算法模型，用于學習異構時序事件的聯合表征。本文算法是在相位LSTM（phased LSTM）等稀疏更新的循環神經網絡基礎上發展起來的。相位LSTM處理不規則的事件序列數據，使用一個相位門整合任意采樣頻率傳感器收集的數據，但是它不能直接用于含有上千種事件類型的電子病歷異構時序事件數據。

本文針對種類數量巨大并且采樣頻率差異很大的異構事件建模，每個事件及其屬性被嵌入一個向量表征中，然后輸入HE-LSTM模型。HE-LSTM模型依靠事件門分工合作，異步追蹤記錄不同采樣頻率下某些相關事件簇的時序信息，于是最終學習到的聯合表征可以借助隱藏層延遲更新的模型結構自動整合，以此捕捉到各類事件相關的時序依賴關系。

本文在真實醫療數據上進行了一系列實驗，在死亡預測和異常化驗檢測的任務上，都證明了本文的模型相比其他有競爭力的對照模型，預測效果提升顯著。本文的模型也可以用于各類多源多頻率的時序數據，比如移動傳感器、慕課學生行為記錄、手機應用中的用戶行為記錄等。

本文的主要貢獻如下。

針對電子病歷中多源異步采樣的異構時序事件數據，提出了患者數據表示學習的問題建模框架。

提出了異構LSTM模型用于學習異構時序事件的表征向量，該模型可以適用于多規模采樣頻率的不同類型事件數據，并對其復雜時序依賴關系建模。

在真實臨床數據中對死亡預測和異常化驗結果預測的實驗證明了模型的實用效果。

2 相關工作

2.1 電子病歷數據的性質

電子病歷數據的分析于2016年前后逐漸成為學術界研究的熱點。電子病歷可以抽象成一系列臨床事件的集合，其主要性質可以從3個角度理解：信息廣度（高維度、信息源異構）、時序性質（采樣頻率不規則、采樣頻率分布廣）以及信息深度（醫療事件屬性、先驗知識豐富），從這3個基本的角度可以派生出這些醫療數據之間的多類型、多尺度、多層次的時序依賴關系。

2.1.1 信息廣度

電子病歷數據中包含不同來源的上萬種事件（醫療特征），這就導致了信息的維度很高。比如診斷編碼這一信息，在加州大學歐文（爾灣）分校(UCI)的機器學習數據庫的糖尿病復診數據中，有900個不同的診斷編碼；在醫療急救服務中心的一個1萬條患者數據樣本中，有153個粗粒度的診斷編碼。并且不同來源的數據之間有很大的差異，有多變量時間序列、不規則的事件序列、帶屬性的臨床事件、文本等。

2.1.2 時序性質

臨床事件的采樣不規則性使得其采樣的時間序列數據與一般等間隔采樣的時間序列數據差別很大，并且事件發生的密度和患者的臨床狀態成一定的相關性。從時間序列的角度看，不規則采樣的臨床事件經常有缺失值，只包含前后順序的序列無法反映采樣頻率的分布。不同類型的事件有不同規模的采樣頻率，如診斷事件的采樣頻率大約在月數量級，用藥事件的采樣頻率大約在天數量級，生理信號的采樣頻率大約在小時數量級，腦電波信號的采樣頻率大約在毫秒數量級。

2.1.3 信息深度

有些臨床事件包含了比一個數值或者一個醫療編碼更復雜的信息。比如在用藥事件中，既有藥物類型，又有注射劑量和給藥時間信息；在化驗事件中，既有化驗項目，又有化驗結果指數、異常標記的信息；有時患者的既往病史中還包含和醫療知識相關的先驗信息和人口統計描述。

2.1.4 時序依賴關系

電子病歷數據中的時序依賴關系與文本詞序列中的順序依賴關系有很多不同之處。在自然語言處理研究中，詞匯的短期順序很重要，比如，“in the front”由于語法規則，后面大多情況會跟“of”。但是長期順序（比如段落之間）往往不是特別重要，只要是關于同一主題的即可。但是在電子病歷數據中，醫療事件的短期順序往往和病歷記錄系統錄入相關，順序性不重要，比如在5 min之內先做化驗或先進行注射都是可以的，它們的順序可以認為是任意指定的。然而長期順序卻非常重要，當前要做的化驗和用藥往往是根據之前的患者癥狀或指標以及疾病的階段性發展規律判斷得出的。并且，臨床事件的時間戳表達的是真實時間，而不僅僅是前后關系。在病例數據中，有很多事件發生于相同時間，這更印證了醫療事件的短期無序性和長期有序性。

2.2 傳統統計特征抽取與機器學習方法

為了方便建模，傳統關于臨床終點預測的工作一般只使用部分電子病歷記錄數據，從而避免直接處理異構時序事件。

一些工作在專家指導下，只使用了一個全體醫療事件的子集作為患者的特征。例如，AlaaA M使用21個時序生理信號（包括11個生理指標以及10個化驗結果）預測重癥加強護理病房（intensive care unit，ICU）轉診。也有工作選取了50個時間序列，并把這個電子病歷信息的子集用多任務高斯過程建模，將多任務高斯過程的超參數作為對患者的表示向量，在這個向量空間中，通過計算患者的相似度或輸入傳統分類器進行預測。值得注意的是，人工選取部分特征會被動地帶來專家偏向性（expert bias），只能反映出電子病歷數據的部分信息。這類工作很難完全利用到電子病歷整體的信息。

另一大類工作是在處理病例數據時，忽略了臨床事件中的屬性信息，只使用臨床事件的離散變量（如ICD 編碼的序列）預測臨床終點。例如一些工作為不同類型的臨床事件分別訓練語義嵌入向量，再綜合預測后續的藥物濫用事件（ADE）。Retain使用兩個循環神經網絡產生患者每次就診過程中各個ICD編碼的注意力權重，對原始ICD編碼的嵌入向量進行加權，再預測心力衰竭的發生概率。也有工作使用卷積神經網絡對不規則的醫療編碼序列進行建模，預測未來的發病風險。

這類工作沒有利用除了醫療編碼之外的、包含豐富細粒度屬性的臨床事件信息，如包含注射劑量屬性的藥物使用事件等。本文提出的電子病歷分析框架可以同時建模全體生理指標時間序列、醫療編碼以及包含豐富屬性的臨床事件信息，以充分挖掘利用電子病歷中蘊含的知識。

2.3 深度學習方法

利用深度學習技術的患者表示學習主要沿用了傳統事件序列（event sequence）和多變量時間序列（multivariate time series）的建模方法，獨立建模病例中的各類數據。如谷歌團隊提出了對這種全體未加工數據的快速可交互資源存儲格式（fast healthcare interoperability resources, FHIR），并以此格式為基礎，進行深度學習建模，從而預測多種重要的結果性事件。在電子病歷記錄的基本格式層面，本文方法與其不謀而合，不僅可以比較寬松地適應各個醫院的病例記錄形式和解決預測問題，也不會因為數據規則化而丟失重要信息。

然而，在電子病歷建模層面，傳統方法會根據數據類型，對離散的數據（如ICD診斷編碼）和連續時間序列變量（如血壓時間序列）單獨建模。比如時間注意力前饋模型（feed forward model with time-aware attention）直接對離散的事件序列（event sequence）的表征向量建模，同時時間序列自舉嵌入模型（boosted embedded time-series model）對每個時間序列（time series）自舉十大類時序謂詞（如在某個時間點T之后值大于V等），最后篩選出10萬種謂詞，作為特征輸入神經網絡。在對記錄時間的處理上，通常會用區間給固定時間間隔的事件做一個統一的時間戳，如加權循環神經網絡（weighted RNN）模型把離散事件序列數據分成10個大類，固定12 h為時間間隔，把序列劃分為事件組的序列，每一類序列分別學習向量表示，在預測結果層面進行整合輸出。

本文的思路不是以病例的數據形式做最初的劃分依據，而是以醫療過程中的事件為基本單位，保留精確的事件發生時間，進行建模。這樣可以更大限度地保留和反映各個事件之間的關系以及不同事件發生的頻率結構。本文使用異構時序事件的表示學習框架全面建模電子病歷數據時，把所有的病例信息作為帶有屬性的臨床事件，并按照時間排序，同時保留事件的精確發生時間。這樣雖然可以全盤融合異構時序事件，但由異構事件組成的序列非常長，在MIMIC-III數據集中，絕大多數患者樣本序列長度過萬。于是抽取異構時序事件的復雜時序依賴的問題的難點就轉化成了如何保持超長序列的長期依賴關系。

然而，由于梯度消失問題，傳統的循環神經網絡只能抓到10跳以內的依賴關系。通過設計反向傳播中的無損反饋流結構，長短期記憶網絡可以解決部分問題，但它的長期依賴關系大約只能維持在50跳以內。

時鐘循環神經網絡（clock-work-RNN）把隱藏層劃分為多個模塊，每個模塊分別在不同的頻率下處理輸入信息，使得長期依賴容易被抽取，這種固定頻率的稀疏化更新比傳統LSTM更好地輔助了對長期依賴關系的建模。有一類自動決策延遲更新的神經網絡——相位LSTM，也對長期依賴的保持起到了比較好的作用。相位LSTM是一個先進的循環網絡，它給LSTM增加了一個計時的機制，稀疏地處理非常長的輸入序列。這種機制可以使相位LSTM的訓練誤差在反向傳播中被比較好地保持，從而達到非常快的收斂速度。跳躍循環神經網絡（skip RNN）也可以根據輸入自動地跳過不重要的輸入數據，實現稀疏化采樣，更好地抽取長序列的長期依賴關系。

然而，這類模型都是在同構的序列上把握長期依賴關系的，并不能直接在異構的時序事件中抓取更復雜的時序依賴關系，從而服務于對患者數據的表征學習。

3 模型設計

3.1 問題定義

3.1.1 異構事件序列

給定電子病歷數據中的病人p, p的特征由序列長度為N的動態特征{Xt}1≤t≤N組成。{Xt}1≤t≤N可以看作一個異質醫療事件序列，Xt為一個三元組Xt=(type,value,time),type為事件的種類，value為事件的屬性，time為事件被記錄下來的時間。{Xt}1≤t≤N中的事件按照時間先后順序排列。事件種類向量記為e=Xt. type。病人p對應一個二元標簽0或1，表示在XN.time+24h發生的臨床終點事件，例如病情平穩或患者死亡。

3.1.2 臨床終點預測任務

本文目標是基于患者的歷史臨床數據（異構時序事件），動態地預測兩個重要的臨床結果。第一個任務是死亡預測，預測患者是否還在接受治療，或是已經死亡。第二個任務是鉀離子濃度異常預測，預測的目標是確認血鉀化驗是否為異常值。

3.2事件嵌入

對于時間點t的事件Xt=(type,value, time)，分別對type和value進行編碼。type向量為一個獨熱（one-hot）向量，令Ctype∈RN×M為type的編碼矩陣，其中N為編碼后的維數，M為type種類數，則type的編碼為：

事件屬性value由兩部分組成：value=[valueC, value_n]。這二者也都是獨熱向量， valueC為事件的離散型變量屬性，value_n是數值屬性。同樣地，用VC∈RN×C,VN∈RN×U分別表示它們的編碼矩陣，其中，U是離散型屬性的總數，C是連續型屬性的總數。屬性的編碼與事件類型p相加得到動態事件的總體編碼：

其中，Vc、Vn和C?type都是待學習的參數。

3.3 異構事件LSTM

圖2為基礎LSTM的神經元基本結構，圖3為異構事件LSTM（HE-LSTM）的神經元基本結構。兩者主要區別在于，基礎LSTM神經元中有3個門函數，分別為輸入門（input gate）、輸出門（output gate）、遺忘門（forget gate）。

圖2???LSTM的神經元基本結構

圖3???異構事件LSTM（HELSTM）的神經元基本結構

其中，it、ft、ot分別表示t時刻的輸入門、輸出門和遺忘門函數。ct是激活向量，xt和ht分別為t時刻的輸入向量和t時刻的隱藏層輸出向量。σ(·)表示sigmoid激活函數，tanh(·)表示雙曲正切激活函數。Wix、Wih、Wfx、Wfh、Wcx、Wch、Wox、Woh是神經網絡的矩陣參數，wic、wfc、woc、bo、bi、bf、bc均為神經網絡的向量參數。其中，所有參數的下標是為了區分各自所在的網絡結構的位置而設置的，其命名規則是取自該參數連接的輸入層和輸出層的變量名，例如Wix連接了輸入xt和輸出it，故下標命名為ix，后文涉及的參數均按上述規則命名。

HE-LSTM模型的核心思路是分工合作。神經元分別以不同的周期、異步地追蹤記錄不同事件簇的信息。在經典LSTM的基礎上，本文為每個隱藏層神經元設計了一個事件門（event gate） jl（下標l表示第l個輸入，jl取值為0或1），如果它打開，那就正常按照LSTM更新，如果它關閉，就保持原來的值不變，如式（4）中的cl所示。其中，cl是經典LSTM計算出的更新值。

事件門js,t由事件類型S和事件記錄的時間t來決定開關狀態。式（5）是事件門js,t的表達式。其由兩部分構成，一部分是事件過濾器（event filter）es（由事件類型S決定），另一部分則是相位門（phased gate）kt（由時間t決定）。

事件過濾器只允許特定的某些種類事件輸入神經元，相位門使得該神經元只有特定周期下才是開放的。這樣就保證了每個神經元只會抓取特定幾類事件的特征，并對其進行采樣，解決了時間的復雜多樣性和醫療事件序列過長而導致的訓練效果變差問題。事件門的開關由相位門中某個特定的周期控制，只有當門開放時才能更新式（3）和式（4）的各個參數。

事件過濾器的表達式如式（6）所示。其中，σ(·)表示sigmoid函數，tanh(·)表示雙曲正切函數，Wms、Wem為訓練中學習的矩陣參數，bm、be為訓練中學習的向量參數。事件過濾器可以讓每個神經元關注各自不同的一組事件種類，從而更好地學習出混合事件序列中的信息。

相位門k是一個周期性變化的函數，如式（7）所示。給定了周期τ初始相位s，則kt是φt的函數，也隨t以τ為周期變化，ron是一個超參數，控制相位門開放狀態占全周期的比例。在0＜φt＜r on時，相位門打開；在其他時刻，由于又是一個非常接近于0的超參數，kt接近于0，相位門關閉。只有在相位門打開時，所有參數才可以更新，這樣就可以對輸入進行周期性的采樣，從而解決輸入序列過長的問題。

綜上，對于某個神經元，只有符合對應事件門的類型條件，并且在其采樣周期中的事件信息才會被更新到神經元中，因此可以認為，這個神經元表示了某一類事件在某種采樣周期下的狀態。

式（8）是損 失函數，采用了交叉熵的形式。其中，yt為模型t時刻的預測結果，y?t表示真實指標，N為總訓練樣本數。式（9）中，ht為t時刻隱藏層的輸出，wp和pb為要在訓練中學習的向量參數。

4 實驗結果

4.1 數據描述和實驗設置

本文的實驗在死亡預測數據集和異常化驗結果預測（鉀離子異常預測）數據集上進行，該數據集由美國的一個醫療健康中心（Beth Israel Deaconess Medical Center）的ICU患者病歷數據（MIMIC-III）生成。

數據集抽取了MIMIC-III中的24 301個病人樣本，共涵蓋3 418種總數 達20 290 879個異質時序事件，平均時間跨度為87 h 58 min。各類型事件的統計信息見表1。

實驗中，數據集被劃分為訓練集、驗證集和測試集，比例為7:1:2。通過驗證集選擇超參數，使用“提前結束技術（early stop）”決定訓練輪數。所有實驗都由Theano實現，采用Adam優化算法進行優化，學習率設為0.001。

4.2 比較方法

本文將HE-LSTM與獨立序列模型（獨立LSTM、共享參數的獨立LSTM）、延遲更新循環神經網絡模型（如clock-work RNN、phased LSTM）以及醫療領域的異構序列模型（LSTM+事件嵌入、Retain）這3類方法進行比較。前文介紹過clock-work RNN和phased LSTM，這里不再贅述。

（1）獨立LSTM

該模型使用多個LSTM對每個同構的事件建模，然后平均所有的結果，用邏輯回歸來預測。這種方法無法對上千種的事件直接建模，因此本文只選出了可以承受的25種重要事件，與很多重要工作的篩選方式一致。

（2）共享參數的獨立LSTM

共享參數的獨立LSTM和獨立LSTM一致，但是其所有模型參數共享，從而能夠支持建模所有的醫療事件。

（3）LSTM+事件嵌入

該模型使用本文提到的事件類型嵌入以及屬性編碼方法得到事件向量，作為傳統LSTM的輸入進行預測。

（4）Retain

Retain模仿內科醫生逆序對病例記錄建模，用兩個循環神經網絡輸出注意力權重，并將其作為病例事件的加權權重，提供有可解釋性的預測。

4.3 評測指標

由于數據集具有正負樣本不平衡的問題，本文采用AUC（the area under ROC curve）和AP（average precision ）作為評價指標。AUC是ROC曲線與x軸所圍成的面積，AP是PRC（precision-recall curve）曲線與x軸所圍成的面積，二者對正負樣本不平衡的數據都具有頑健性。

為了驗證事件門的收斂速度，使用測試集的交叉熵（cross entropy）衡量模型在測試集的擬合程度，具體計算方法按照式（8）進行。

4.4 量化實驗結果

表2展示了不同方法在死亡預測和異常化驗結果預測數據集上各自的AUC和AP。從表2的數據中可得出以下結論。

首先，可以對不同事件相關性建模的模型，整體好于對各個數據源采樣的時序數據單獨建模的模型，其中HE-LSTM取得了最好的表現效果。例如，在患者死亡預測任務中，相對于表現最好的獨立序列模型（獨立LSTM）,Retain、LSTM+事件嵌入和HE-LSTM對AP的提升分別為0.023 5、0.187 2和0.211 4。在其他數據集和評測指標上也有一致的結果。并且本文的模型在這類異構事件序列模型上，取得了最好的效果。例如，HE-LSTM在異常化驗結果預測上，相比Retain和LSTM+事件嵌入，提升了0.081 8和0.089 3的AP。可以得出如下結論：異構時序事件的相關依賴關系對臨床終點預測十分有效；相比對事件獨立建模，學習不同事件的聯合分布可以有效地捕捉不同事件的時序依賴關系。

其次，相比密集更新的RNN，可以適應采樣頻率系數更新的模型更優。例如clock-work RNN相比獨立建模的序列模型，在死亡預測實驗上AP分別提升了0.160 8和0.188。同時，在異常化驗預測結果任務上，相對于表現最好的獨立序列模型（獨立LSTM）,phased LSTM提升了0.052 6的AUC和0.060 6的AP。可以得出如下結論：多頻率采樣的模式對預測臨床終點也是有幫助的，稀疏更新的模型可以充分利用這個性質，讓不同單元聚焦更重要的輸入，而非等同對待長序列中所有的輸入。

再次，HE-LSTM在不同數據集和不同的評價指標上都取得了最高的表現。HE-LSTM不僅優于稀疏更新的RNN模型，也優于異構序列模型。僅利用多頻率采樣特性的稀疏更新模型和直接匯合所有不同類型事件的異構序列模型，都不是臨床終點預測最好的選擇。例如，HE-LSTM相比于最好的稀疏更新模型（clock-work RNN），在死亡預測任務上提升了0.111 6的AUC和0.050 6的AP。同時，在異常化驗結果預測任務上，相對于異構事件序列模型Retain,HE-LSTM提升的AUC和AP分別是0.066 2和0.081 8。可以得出如下結論：HE-LSTM由于追蹤了不同事件的時序依賴關系，并自動適應不同事件的不同采樣頻率，取得了最優秀的預測表現。

4.4.1 不同設置下的事件門銷蝕實驗

為了評測不同組成部分對事件門的影響，本文將事件門分別替換成它的兩個因子，事件過濾器和相位門，其余部分和HE-LSTM一致。兩個數據集的實驗結果見表3，包括AUC、AP以及測試集交叉熵，還有在第一輪訓練完成后的這3個指標。

事件過濾器的主要作用是通過對異構事件的關聯建模，提升模型效果。HELSTM和只用事件過濾器模塊的模型都可以達到比較好的預測表現。在死亡預測數據集上，HE-LSTM和只用事件過濾器的模型相比于只有相位門的模型分別提升了0.004 5和0.004 7的AUC，提升了0.022和0.021 2的AP，交叉熵降低了0.007 2和0.006 8。

相位門模塊幫助HE-LSTM達到一個比較快的收斂速度，因為它具備適應不同頻率采樣規模的系數更新效果，可以比較好地保留回傳梯度。HE-LSTM和僅使用相位門的模型在所有數據集的第一輪訓練結束后的評測指標上都優于僅使用事件過濾器模塊的模型。對于化驗異常預測任務來說，只使用相位門的模型和HE-LSTM在第一輪訓練結束后相比單獨使用事件過濾器的模型，AUC要高0.030 3和0.052 8, AP要高0.034 9和0.056 2，交叉熵大約低0.007 5和0.015。

通過上述比較，可以得出如下結論：事件過濾器和相位門在對尺度采樣的異構時序事件建模時，可以協同合作，達到了準確預測表現和高效的訓練速度，從而提升臨床終點預測的準確度。

4.4.2 不同輸入序列長度的模型效果比較

為了驗證本文提出的模型以及其他序列模型捕捉異構事件時序依賴的能力，本文給模型輸入不同長度的序列數據，長度范圍為20~1 000個事件。從圖4可以得出以下結論。

圖4???不同輸入序列長度的模型效果比較示意

首先，時序信息對預測臨床終點是有效的。大多數模型會隨著輸入序列的長度增加而效果提升，特別是在輸入長度小于200個的時候。

其次，HE-LSTM相比于其他模型，更擅長捕捉異構時序事件中的時序依賴關系。當輸入長度較小時，各個模型的表現差不多，這種情況下時序依賴關系基本是同一段時間內出現的事件共現關系。因此各個事件單獨的表示向量組合和異構事件聯合表征反應的信息量基本一致。然而，當序列長度超過200并越來越長時，模型的表現穩步提升（AP從0.755提升到0.769,AUC從0.948提升到0.952）。而其他模型由于不能比較好地捕捉超長序列下的時序依賴關系，故而基本沒有特別大的提升。

4.4.3 不同的初始化周期的效果比較

為了探索在事件門中事件過濾器的作用，本文比較了HE-LSTM和去掉事件過濾器（即只用相位門）的模型的作用。在給模型提供不同的初始化周期的情況下，訓練死亡預測任務，這些周期是指數化后的4種均勻分布：exp(U(1,2)),exp(U(2,3)),exp(U(3,4)),exp (U(4,5))。

圖5反映了兩種模型在不同事件嵌入的維度及模型中門的類型設置下的表現。如“32相位門”表示事件嵌入向量的維度是32，并且模型中只包含相位門；“64事件門”表示事件嵌入維度為64，是完整的HELSTM模型。可以看到，完整的HE-LSTM對不同的初始化周期具有頑健性。比如在上述4種初始化設置下，完整的HE-LSTM相比于沒有事件過濾器的模型，在死亡預測任務上平均提升了0.025、0.028、0.018和0.042的AP。因此可以得出如下的結論：事件門由于得到了事件過濾器的幫助，可以更容易地適應于異構時序事件的多尺度采樣頻率。

圖5???不同的初始化周期的效果比較

5 結束語

本文提出了一個異構時序事件的表示學習框架HE-LSTM模型，可以自動適應多源異構數據的多尺度采樣頻率，通過異步追蹤不同事件的時序信息，該模型得到的患者表示向量可以捕捉到不同時間之間的時序依賴關系。并且本文的模型在真實數據集上也體現出了相對于其他典型方法的優越性。

本文的表示學習框架和方法有很多可以擴展推廣的空間，例如在醫療大數據領域，可以借助醫學知識圖譜，整合通用先驗知識和患者人口統計信息；可以加入腦電波、心電圖、挖掘等多尺度的層次化時序依賴關系；服務于多任務元學習的綜合動態疾病診斷。

此外，該框架可以向其他領域遷移，特別是應用于多源異步采樣的傳感器數據或行為記錄數據等。例如在推薦系統研究中的用戶行為的表征學習或者智能教育研究中的學生學習行為的表征學習等，都可以用該框架進行建模。

作者簡介

劉盧琛（1991- ），男，北京大學信息科學技術學院博士生，主要研究方向為深度學習、醫療大數據等。

沈劍豪（1995- ），男，北京大學信息科學技術學院博士生，主要研究方向為機器學習、自然語言處理等。

張銘（1966- ），女，北京大學信息科學技術學院教授、博士生導師，教育部高等學校大學計算機課程教學指導委員會委員，中國計算機學會（CCF）教育工作委員會副主任，ACM教育專家委員會唯一的中國理事，中國ACM教育專家委員會主席。主要研究方向為數據挖掘、機器學習、知識圖譜等。

王子昌（1996- ），男，北京大學信息科學技術學院碩士生，主要研究方向為深度學習、醫療大數據、知識圖譜等。

李浩然（1993- ），男，北京大學信息科學技術學院碩士生，主要研究方向為知識圖譜和醫療大數據。

劉澤群（1997- ），女，北京大學信息科學技術學院本科生，研究興趣為深度學習、醫療數據挖掘等。

《大數據》期刊

《大數據（Big Data Research，BDR）》雙月刊是由中華人民共和國工業和信息化部主管，人民郵電出版社主辦，中國計算機學會大數據專家委員會學術指導，北京信通傳媒有限責任公司出版的中文科技核心期刊。

關注《大數據》期刊微信公眾號，獲取更多內容

---

往期文章回顧

基于主動學習和克里金插值的空氣質量推測

從數據的屬性看數據資產

數據安全治理的幾個基本問題

“全息數字人”——健康醫療 大數據應用的新模式

醫療數據治理——構建高質量醫療大數據智能分析數據基礎

---

總結

以上是生活随笔為你收集整理的基于深度学习的异构时序事件患者数据表示学习框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。