原文鏈接：[1906.04928] Deep Learning for Spatio-Temporal Data Mining: A Survey (arxiv.org)

IEEE Transactions on Knowledge and?Data?Engineering

0 摘要

????????隨著全球定位系統(GPS)、移動設備、遙感等各種定位技術的快速發展，時空數據越來越多。從時空數據中挖掘有價值的知識對于許多現實世界的應用至關重要，包括理解人類移動、智能交通、城市規劃、公共安全、醫療保健和環境管理。

????????隨著時空數據集的數量、容量和分辨率的快速增長，傳統的數據挖掘方法，尤其是基于統計的數據挖掘方法，正變得不堪重負。

????????近年來，隨著深度學習技術的發展，卷積神經網絡(CNN)和遞歸神經網絡(RNN)等深度學習模型由于其強大的時空層次特征學習能力，在各種機器學習任務中獲得了巨大的成功。在預測學習、表示學習、異常檢測和分類等各種時空數據挖掘任務中得到了廣泛的應用。

?????????在本文中，我們對深度學習技術應用于STDM（spatial-temporal data mining）的最新進展進行了綜述：

? ? ? ? ·首先對時空數據的類型進行了分類，并簡要介紹了STDM中常用的深度學習模型。

? ? ? ? ·然后介紹了一個框架，以顯示針對STDM的深度學習模型利用的一般流程。

? ? ? ? ·接下來，我們根據ST數據的類型、數據挖掘任務和深度學習模型對現有文獻進行分類，以及根據深度學習在不同領域的STDM應用進行分類，包括交通、氣候科學、人口流動性、基于位置的社會網絡、犯罪分析和神經科學。

? ? ? ? ·最后，總結了目前研究的局限性，并指出了未來的研究方向。

1 introduction

????????隨著地圖、虛擬地球儀、遙感圖像、十年一次的人口普查和GPS軌跡等大型時空數據集的可用性和重要性不斷提高，時空數據挖掘(STDM)在大數據時代變得越來越重要。STDM在環境與氣候(如風預測、降水預測)、公共安全(如犯罪預測)、智能交通(如交通流預測)、人口流動性(如人口軌跡模式)等多個領域都有廣泛的應用。

????????由于多種原因，用于處理交易數據或圖形數據的經典數據挖掘技術在應用于時空數據集時通常效果不佳：

????????首先，ST數據通常嵌入在連續的空間中，而傳統的數據集（例如交易和圖表）通常是離散的。

????????其次，ST數據的模式通常同時具有空間和時間特性，這更復雜，并且傳統方法難以捕獲數據相關性。

????????最后，傳統的基于統計的數據挖掘方法中的常見假設之一是數據樣本是獨立生成的。但是，當進行時空數據分析時，關于樣本獨立性的假設通常不成立，因為ST數據傾向于高度自相關。

????????盡管在過去的幾十年中對STDM進行了廣泛的研究，但一個共同的問題是傳統方法在很大程度上依賴于特征工程。換句話說，用于STDM的常規機器學習和數據挖掘技術在處理原始格式的時空數據的能力方面受到限制。

????????例如，要從fMRI數據分析人的大腦活動，通常需要通過仔細的特征工程和相當多的領域專業知識來設計特征提取器，以將原始數據（例如，掃描的fMRI圖像的像素值）轉換為合適的內部表示形式或特征向量。

????????近年來，隨著深度學習的盛行，卷積神經網絡（CNN）和遞歸神經網絡（RNN）等各種深度學習模型因其強大的層次特征學習能力而在各種機器學習任務中取得了相當大的成功，并且已經廣泛使用應用于許多領域，包括計算機視覺，自然語言處理，推薦，時間序列數據預測和STDM。

????????與傳統方法相比，STDM深度學習模型的優勢如下：

1.1，自動特征表示學習

????????深度學習模型可以從原始時空數據中自動學習分層特征表示，這與需要手工制作特征的傳統機器學習方法有顯著不同。

????????在STDM中，數據的空間鄰近性和長期時間相關性通常很復雜且難以捕獲。 通過CNN中的多層卷積操作和RNN的遞歸結構，可以直接從原始數據中自動有效地學習時空數據中的空間鄰近性和時間相關性。

1.2 強大的函數逼近能力

????????從理論上講，深度學習可以逼近任何復雜的非線性函數，并且只要其具有足夠的層和神經元，就可以擬合任何曲線。

???????? 深度學習模型通常由多層組成，每一層都可以被認為是具有池化，dropout和激活函數的簡單非線性的模塊。因此它可以將特征表示從一個級別轉換為更高級別和更抽象的表示 水平。 通過足夠多的此類轉換，可以學習非常復雜的功能，以使用更復雜的時空數據執行更困難的STDM任務。
?

????????

????????圖1顯示了每年探索各種STDM任務的深度學習技術的論文數量。

????????可以看到，過去三年中，論文數量呈顯著增長趨勢。從2012年到2015年，每年僅發表不到10篇相關論文。從2016年開始，這一數量迅速增加，許多研究人員針對不同應用領域中不同類型的ST數據嘗試了不同的深度學習模型。 2018年，大約發表了90篇相關論文。目前尚無法獲得2019年的完整數字，但我們認為增長趨勢將在今年以及未來幾年保持下去。

????????鑒于問題的豐富性和實際應用的多樣性，由于以下原因，迫切需要一篇可以概述STDM的文章：

? ? ? ? 1）它可以突出顯示使用不同的深度學習模型來解決不同應用程序領域的STDM問題的異同。????????

? ? ? ? 2）這可以使不同研究領域和應用領域的思想相互交流（通過觀察在某一個領域（比如交通領域的交通流量預測）的深度學習模型【比如CNN和RNN】是如何在另一個領域的問題中起作用的（比如犯罪分析領域的犯罪預測））

????????有關STDM的相關調查

????????最近有一些調查從不同的角度回顧了某些情況下STDM的文獻。

????????[9]和[143]討論了在“大數據”時代用于遙感，氣候科學和社交媒體分析等應用領域的STDM算法的計算問題。

????????[87]專注于時空數據的頻繁模式挖掘。它指出了從數控數據中發現模式的挑戰，并將模式分為三類：單個周期性模式、多軌跡上的成對運動模式和聚集模式。

????????[18]回顧了STDM研究和應用中的最新技術，重點放在時空數據的預測、聚類和可視化的數據挖掘任務上。

???????? [130]從計算的角度回顧了STDM，并強調了STDM的統計基礎。

????????[112]回顧了軌跡數據挖掘的方法和應用，軌跡數據挖掘是時空數據的一種重要類型。

???????? [75]提供了對時空數據聚類的全面調查。

???????? [4]討論了不同類型的時空數據以及在分析每種類型的數據的背景下出現的相關數據挖掘問題。他們將有關STDM的文獻分類為六個主要類別：聚類，預測學習，變更檢測，頻繁模式挖掘，異常檢測和關系挖掘。

????????但是，所有這些工作都是從傳統方法而非深度學習方法的角度對STDM進行審查的。 [114]和[157]提供了一項調查，該調查特別側重于利用深度學習模型來分析交通數據以提高交通系統的智能水平?？傮w上，對于探索STDM的深度學習技術仍然缺乏廣泛而系統的調研。
?

本文的貢獻?

1）首份調研

????????據我們所知，這是第一份對近期探索STDM深度學習技術的著作進行回顧的調研。

????????鑒于近年來對時空數據分析進行深度學習的研究越來越多，我們首先對時空數據類型進行分類，然后介紹在STDM中廣泛使用的流行的深度學習模型。

????????我們還總結了不同數據類型的數據表示形式，并總結了哪種深度學習模型適合處理時空數據的哪些類型的數據表示形式

2）通用框架?

????????我們為基于深度學習的STDM提供了一個通用框架，該框架包括以下主要步驟：數據實例構建，數據表示，深度學習模型選擇和解決STDM問題。

???????? 在框架的指導下，給定特定的STDM任務，人們可以更好地使用適當的數據表示形式，并為正在研究的任務選擇或設計合適的深度學習模型。

3）全面調查

????????該調查提供了針對不同STDM問題使用深度學習技術的最新進展的全面概述，這些問題包括預測學習，表示學習，分類，估計和推論，異常檢測等。

????????對于每項任務，我們將針對不同類型的時空數據提供具有代表性的作品和模型的詳細說明，并進行必要的比較和討論。

????????我們還將根據應用領域對當前的工作進行分類和總結，包括運輸，氣候科學，人口流動性，基于位置的社交網絡，犯罪分析和神經科學

4）未來的研究方向?

????????該調查還突出了一些尚待深入研究的未解決問題，并指出了未來可能的研究方向。

?行文結構

本文的行文結構如下。

第二節介紹時空數據的分類，并簡要介紹STDM中廣泛使用的深度學習模型。

第三節為STDM提供了一個使用深度學習的總體框架。

第四節概述了深度學習模型處理的各種STDM任務。

第五節展示了跨不同領域的應用程序。

第六節討論了現有模型的局限性，并提出了未來的方向。

最后，我們在第七節對本文進行總結。

2 時空數據的類型?

2.1 數據類型

????????時空數據有多種類型，它們在不同的實際應用程序中的數據收集和表示方式不同。 不同的應用場景和時空數據類型導致不同類型的數據挖掘任務和問題表述。

????????不同的深度學習模型通常對時空數據的類型有不同的偏好，并且對輸入數據格式有不同的要求。 例如，CNN模型設計為處理類似圖像的數據，而RNN通常用于處理順序數據。、

???????? 因此，重要的是首先總結時空數據的一般類型并正確表示它們。 我們遵循并擴展了[4]中的分類，并將時空數據分為以下類型：事件數據，軌跡數據，點參考數據，柵格數據和視頻

2.1.1 事件數據

????????事件數據包括在地點和時間發生的離散事件（例如城市中的犯罪事件和交通網絡中的交通事故事件）。通常，事件的特征可以是點的位置和時間，分別表示事件發生的位置和時間。

????????例如，犯罪事件的特征可以是這樣的元組（ei，li，ti），其中ei是犯罪類型，li是犯罪發生的地點，ti是犯罪發生的時間。

????????圖1（a）展示了事件數據。它顯示了三種類型的事件，這些事件由不同形狀的符號表示。

? ? ? ? 時空事件數據在犯罪學（犯罪和相關事件的發生率），流行病學（疾病暴發事件），交通（車禍）和社交網絡（社交事件和趨勢主題）等現實應用中很常見。

2.1.2 軌跡數據?

????????軌跡表示隨時間推移在空間中移動的物體所形成的路徑。 （例如，自行車或出租車的行駛路線）。

???????? 軌跡數據通常由部署在移動物體上的傳感器收集，這些傳感器可以隨著時間的推移周期性地傳輸物體的位置，例如出租車上的GPS。

????????圖1（b）顯示了兩個軌跡的圖示。 每個軌跡通?？梢员碚鳛檫@樣的序列{（l1，t1），（l2，t2）…（ln，tn）}，其中li是位置（例如緯度和經度），ti是時間 移動物體通過此位置。

???????? 隨著移動應用程序和物聯網技術的發展，諸如用戶軌跡，城市交通軌跡和基于位置的社交網絡等軌跡數據變得無處不在。

2.1.3 點參考數據。

????????點參考數據包括連續時空場的測量值，例如在空間和時間上一組移動參考點上的溫度，植被或種群。

???????? 例如，通常使用漂浮在太空中的氣象氣球來測量諸如溫度和濕度之類的氣象數據，這些氣象氣球會連續記錄天氣觀測結果。

????????點參考數據通?？梢员硎緸橐唤M元組：{{r1，l1，t1），（r2，l2，t2）…（rn，ln，tn）}。 每個元組（ri，li，ti）表示在時間ti處時空場上位置li處傳感器ri的測量值。

????????圖3示出了在兩個時間戳處的連續時空場中的點參考數據（例如海面溫度）的示例。 它們是由傳感器在兩個時間戳記的參考位置（顯示為圓圈）測量的。 請注意，溫度傳感器的位置會隨時間變化

2.1.4?柵格數據?

????????柵格數據是用來記錄在空間中的固定位置和固定的時間點，連續或離散時空場的測量值。

????????點參考數據和柵格數據之間的主要區別在于，點參考數據的位置不斷變化，而柵格數據的位置固定。柵格數據中測量時空場的位置和時間可以規則或不規則地分布。

????????給定m個固定位置S = {s1，s2，… sm}和n個時間戳T = {t1，t2，… tn}，柵格數據可以表示為矩陣，其中每個條目rij是tj時刻si處的測量值。

????????柵格數據在交通，氣候科學和神經科學等實際應用中也很常見。

????????例如，空氣質量數據（例如PM2.5）可以由部署在城市固定位置的傳感器收集，并且在連續時間段內收集的數據形成空氣質量柵格數據。

????????在神經科學中，功能磁共振成像或功能MRI（fMRI）通過檢測與血流相關的變化來測量大腦活動。掃描的fMRI信號還形成用于分析大腦活動和識別某些疾病的柵格數據。

????????圖4示出了交通路網中的交通流柵格數據。每條道路都部署了交通傳感器，以收集實時交通流量數據。一整天（24小時）內所有道路傳感器的交通流量數據形成一個柵格數據。

2.1.5?視頻。

????????包含一系列圖像的視頻也可以視為一種時空數據。

????????在空間域中，相鄰像素通常具有相似的RGB值，因此呈現出較高的空間相關性。

????????在時間域中，連續幀的圖像通常會平滑變化并呈現出較高的時間依賴性。

????????視頻通常可以表示為三維張量，一維表示時間t，另兩個維表示圖像。

????????實際上，如果我們假設在每個像素處都部署了一個“傳感器”，并且在每個幀處，“傳感器”將收集RGB值，則視頻數據也可以視為特殊的柵格數據。

????????基于深度學習的視頻數據分析非常熱門，近年來發表了大量論文。

????????盡管我們將視頻歸類為時空數據類型，但本文還是從數據挖掘的角度看相關論文，而視頻數據分析則屬于計算機視覺和模式識別的研究領域。因此，在本次綜述中，我們不涵蓋視頻的時空數據類型。

2.2?數據實例

????????數據挖掘算法所操作的基本數據單元稱為數據實例。

????????對于經典的數據挖掘設置，通常可以將數據實例表示為有label的feature（用于有監督學習）、無label的feature（用于無監督學習）。

????????在時空數據挖掘方案中，不同的時空數據類型有不同類型的數據實例。 對于不同的數據實例，存在幾種類型的數據表示形式，用于表示數據以供深度學習模型進一步挖掘。

?2.2.1?數據實例

????????通常，時空數據可以概括為以下數據實例：點，軌跡，時間序列，空間圖和ST柵格，如圖5的左側所示。

? ? ? ? 時空點可以表示為包含以下內容的元組：時空信息以及觀察的一些其他特征，例如犯罪或交通事故的類型。

????????除時空事件外，軌跡和時空點參考數據也可以被表示為點。例如，可以將一條軌跡分解為幾個離散的點，以計算在特定時隙中有多少條軌跡經過了特定區域。

????????在某些應用中，除了表示為點和軌跡外，還可以將軌跡形成為時間序列。如果我們確定位置并計算穿過該位置的軌跡數，則它將形成一個時間序列數據。

????????空間圖的數據實例包含在每個時間戳處，整個時空域中所有傳感器的數據觀測。例如，在時間t處部署在高速公路上的所有環形傳感器的交通速度讀數形成空間地圖數據。

????????時空柵格數據的數據實例包含跨整個位置和時間戳集的測量。也就是說，時空柵格包含一整組空間地圖。

2.2.2 數據表示。

????????對于上述五種類型的時空數據實例（點，軌跡，時間序列，空間圖和ST柵格），通常使用四種類型的數據表示形式將其表示為各種深度學習模型的輸入：序列，圖，二維矩陣和3維張量，如右側部分所示 圖5。

????????不同的深度學習模型需要不同類型的數據表示作為輸入。

???????? 因此，如何表示時空數據實例取決于正在研究的數據挖掘任務和所選的深度學習模型。

?????????軌跡和時間序列都可以表示為序列。注意，軌跡有時也表示為一個矩陣，其二維是網格時空域的行和列id。矩陣的每一項值表示軌跡是否穿過相應的網格區域。這樣的數據表示通常用于促進CNN模型的利用[67]，[118]，[142]

????????雖然圖也可以表示為矩陣，這里我們將圖和圖像矩陣分類為兩種不同類型的數據表示。這是因為圖節點不像圖像矩陣那樣遵循歐氏距離，因此處理圖和圖像矩陣的方法完全不同。我們將在后面討論處理這兩種類型數據表示的方法的更多細節。

????????根據不同的應用，空間地圖可以用圖形和矩陣表示。例如，在城市交通流預測中，城市交通網絡的交通數據可以表示為交通流圖[85]、[155]或小區區域級交通流矩陣[121]、[137]。

????????光柵數據通常表示為二維矩陣或三維張量。對于矩陣，兩個維度是位置和時間步長，對于張量，三個維度是是單元格的行和列id，以及時間戳。

????????矩陣是一種比張量更簡單的數據表示格式，但它丟失了位置之間的空間相關信息。兩者都被廣泛用于表示柵格數據。

????????例如，在風預測中，通常將部署在不同位置的多個風速表的風速時間序列數據合并為一個矩陣，然后送入CNN或RNN模型進行未來風速預測[96]、[200]。

????????在神經科學中，一個人的fMRI數據是一系列fMRI掃描的大腦圖像，因此可以像視頻一樣用張量表示。許多研究使用fMRI圖像張量作為CNN模型的輸入進行特征學習，檢測大腦活動[66]、[76]，診斷疾病[116]、[158]。

2.3??深度學習模型的預備知識
2.3.1 受限玻爾茲曼機（RBM）

????????受限玻爾茲曼機是一種兩層隨機神經網絡[53]，可用于降維，分類，特征學習和協同過濾。

????????如圖6所示，RBM的第一層稱為帶有神經元節點{v1，v2，… vn}的可見層或輸入層，第二層稱為帶有神經元節點的隱藏層{h1， h2，… hm}。

???????? 作為完全連接的二部無向圖，RBM中的所有節點通過無向權重邊{w11，… wnm}跨層相互連接，但是同一層中沒有兩個節點被鏈接。

2.3.2 CNN

????????卷積神經網絡（CNN）是一類深層的前饋人工神經網絡，用于分析視覺圖像。

????????典型的CNN模型通常包含以下幾層，如圖7所示：輸入層，卷積層，池化層，完全連接層和輸出層。

????????卷積層將通過計算神經元的權重與連接到輸入體積的區域之間的標量積來確定其神經元連接到輸入局部區域的輸出。然后，池化層將簡單地沿著給定輸入的空間維度執行下采樣，以減少參數的數量。全連接層將一層中的每個神經元連接到下一層中的每個神經元，以學習用于分類的最終特征向量。它在原則上與傳統的多層感知器神經網絡（MLP）相同。

????????與傳統的MLP相比，CNN具有以下與眾不同的特征，這些特征使它們在視覺問題上實現了很多通用化：3D神經元體積，局部連接性和共享權重。

????????CNN用于處理圖像數據。由于其在空間域中捕獲相關性的強大功能，現在已廣泛用于挖掘時空數據，尤其是空間地圖和時空柵格。

2.3.3??GraphCNN（即GCN）

????????CNN設計為處理可在歐幾里得空間中表示為規則網格的圖像。但是，在很多應用程序中，都是從非歐幾里德域生成數據的，例如圖形。

????????最近，對GraphCNN進行了廣泛研究，以將CNN泛化為結構化數據[160]。

????????圖8給出了GraphCNN模型的結構示意圖。

????????圖卷積操作將卷積變換應用于每個節點的鄰居，然后進行池化操作。

????????通過堆疊多個圖卷積層，每個節點的潛在嵌入可以包含來自距離多跳的鄰居的更多信息。

????????在生成圖中節點的潛在嵌入之后，可以輕松地將潛在嵌入饋送到前饋網絡以實現回歸目標的節點分類，也可以匯總所有節點嵌入以表示整個圖，然后執行圖分類和回歸。

????????由于它具有捕獲節點相關性和節點特征的強大功能，因此現在廣泛用于挖掘圖結構化時空數據，例如網絡規模的流量數據和大腦網絡數據

2.3.4?RNN and LSTM

????????遞歸神經網絡（RNN）是一類人工神經網絡，其中節點之間的連接沿序列形成有向圖。

???????? RNN旨在識別順序特征并使用模式來預測下一個可能的情況。它們被廣泛用于語音識別和自然語言處理的應用中。

????????圖9（a）顯示了RNN模型的一般結構，其中Xt是輸入數據，A是網絡的參數，ht是學習的隱藏狀態。可以看到前一個時間步t1的輸出（隱藏狀態）被輸入到下一個時間步t的神經。因此，歷史信息可以存儲并傳遞給將來。

????????標準RNN的一個主要問題是，由于梯度消失的問題，它僅具有短期記憶。長短期記憶（LSTM）網絡是遞歸神經網絡的擴展，它能夠學習輸入數據的長期依賴性。

????????由于使用了特殊的存儲單元，如圖9（b）的中間部分所示，LSTM使RNN能夠長時間記住其輸入。

?????????LSTM單元由三個門組成：輸入，忘記和輸出門。這些門決定是否讓新輸入進入（輸入門），刪除信息（因為它不重要）（忘記門）或使其在當前時間步影響輸出（輸出門）。

????????RNN和LSTM都廣泛用于處理時間序列數據，以學習時空數據的時間依賴性。

2.3.5? Seq2Seq

????????Seq2Seq模型的目的是將固定長度的輸入與固定長度的輸出映射，其中輸入和輸出的長度可能不同[138]。

???????? 它廣泛用于各種NLP任務，例如機器翻譯，語音識別和在線聊天機器人。

????????盡管最初提出解決NLP任務的建議，但Seq2Seq是通用框架，可用于任何基于序列的問題。

????????如圖10所示，Seq2Seq模型通常由3個部分組成：編碼器，中間（編碼器）矢量和解碼器。

????????由于捕獲序列數據之間的依存關系的強大能力，Seq2Seq模型被廣泛用于時空預測任務中，其中時空數據具有較高的時間相關性，例如城市人群流量數據和交通數據。、

2.3.6?Autoencoder (AE) and Stacked AE

????????自動編碼器是一種人工神經網絡，旨在以無監督的方式學習有效的數據編碼[53]。

????????如圖11所示，它具有編碼器功能，可創建一個包含描述輸入的代碼的隱藏層（或多層）。 然后有一個解碼器，它創建來自隱藏層的輸入的重構。

????????自動編碼器通過學習數據中的相關性，在隱藏層中創建數據的壓縮表示形式，這可以視為減少維度的一種方式。

????????作為一種有效的無監督特征表示學習技術，AE有助于進行各種下游數據挖掘和機器學習任務，例如分類和聚類。

????????堆疊式自動編碼器（SAE）是由多層稀疏自動編碼器組成的神經網絡，其中每層的輸出都連接到連續層的輸入[7]。

?3 框架

????????在本節中，我們將介紹如何使用深度學習模型來解決STDM問題。首先，我們將給出一個框架，其中包括ST數據實例的構建、ST數據表示、深度學習模型的部分和設計，并最終解決問題。下面我們將詳細介紹這些主要步驟。

????????使用深度學習模型進行時空數據挖掘的通用流程如圖13所示。

????????針對從各種位置傳感器收集的原始時空數據，包括事件數據、軌跡數據、點參考數據和柵格數據，首先構建數據實例進行數據存儲。正如我們之前討論的，時空數據實例可以是點、時間序列、空間地圖、軌跡和時空光柵。

????????為了將深度學習模型應用于各種挖掘任務，需要將時空數據實例進一步表示為特定的數據格式，以適應深度學習模型。

????????時空數據實例可以表示為序列數據、二維矩陣、三維張量和圖。

????????針對不同的數據表示形式，采用不同的深度學習模型進行處理。RNN和LSTM模型善于處理具有短期或長期時間相關性的序列數據，而CNN模型則善于像矩陣一樣捕捉圖像中的空間相關性。結合RNN和CNN的混合模型可以捕獲時空光柵數據張量表示的空間和時間相關性。

????????最后，選擇的深度學習模型用于解決各種STDM任務，如預測、分類、表示學習等。

3.1 時空數據預處理

????????時空數據預處理的目的是將時空數據實例表示為深度學習模型能夠處理的合適的數據表示格式。

????????通常深度學習模型的輸入數據格式可以是向量、矩陣或張量，這取決于不同的模型。

????????圖12顯示了ST數據實例及其對應的數據表示。可以看到，通常一種類型的時空數據實例對應于一種典型的數據表示。軌跡和時間序列數據可以自然地表示為序列數據?？臻g地圖數據可以用二維矩陣表示。ST光柵可以用二維矩陣或三維張量表示。

????????然而，情況并非總是如此。例如，軌跡數據有時用矩陣表示，然后利用CNN模型更好地捕捉空間特征[24]，[67]，[103]，[117]，[150]。

????????測量軌跡的時空場（如城市），首先被劃分為網格單元區域。然后，可以將時空場建模為一個矩陣，每個單元區域代表一個條目。如果軌跡經過單元格區域，則對應的入口值設為1;否則設置為0。這樣就可以將軌跡數據表示為一個矩陣，從而可以應用CNN。

????????有些時候空間地圖被表示為一個圖形。例如，部署在高速公路上的傳感器通常被建模為一個圖，其中節點是傳感器，邊緣表示兩個相鄰傳感器之間的路段。在這種情況下，GraphCNN模型通常用于處理傳感器圖數據，預測所有節點[22]未來的交通流量(流量、速度等)[85]。

? ? ? ? 時空光柵數據可以表示為2D矩陣或3D張量，這取決于數據類型和應用程序。例如，一系列fMRI腦圖像數據可以表示為一個張量，輸入到3D-CNN模型中進行疾病分類[78]，[116]，也可以表示為一個矩陣，提取大腦成對區域之間的時間序列相關性，進行腦活動分析[48]，[113]

3.2 深度學習模型的選擇和設計?

????????有了時空數據實例的數據表示，下一步是將它們輸入到 為不同STDM任務所選擇或設計的深度學習模型中。

????????如圖12右半部分所示，每種類型的數據表示都有不同的深度學習模型選項。

????????序列數據可以作為，包括RNN、LSTM、GRU、Seq2Seq、AE、hybrid模型等模型的輸入。RNN、LSTM和GRU都是適合預測序列數據的遞歸神經網絡。

????????序列數據也可以通過Seq2Seq模型進行處理。例如，在多步流量預測中，通常采用由編碼器層一組LSTM單元和解碼器層一組LSTM單元組成的Seq2Seq模型，同時預測接下來幾個時段的流量速度或流量[89]、[90]。

????????作為特征學習模型，AE或SAE可用于各種數據表示，以學習低維特征編碼。序列數據也可以用AE或SAE編碼為低維度特征。

????????GraphCNN是專門設計來處理圖形數據，以捕獲相鄰節點之間的空間相關性。

????????如果輸入是單個矩陣，通常采用CNN模型，如果輸入是矩陣序列，根據所研究的問題，可以采用RNN模型、ConvLSTM和hybrid模型。如果目標只是特征學習，則可以應用AE和SAE模型。對于張量數據，通常采用3D-CNN或3D-CNN與RNN模型的結合來處理

????????表一總結了使用深度學習模型處理不同類型時空數據的工作。

????????如表所示，CNN、RNN及其變體(如GraphCNN和ConvLSTM)是STDM中應用最廣泛的兩種深度學習模型。

????????CNN模型主要用于處理空間地圖和時空光柵。也有一些文獻使用CNN處理軌跡數據，但目前還沒有使用CNN進行時間序列數據學習的作品。

????????GraphCNN模型是專門為處理圖形數據而設計的，可以將圖形數據分類為空間地圖。

????????包括LSTM和GRU在內的RNN模型可以廣泛應用于軌跡、時間序列和空間地圖序列的處理。

????????ConvLSTM可以看作是RNN和CNN的混合模型，通常用于處理空間地圖。

????????AE和SDAE主要用于從時間序列、軌跡和空間地圖中學習特征。

????????Seq2Seq模型一般是為序列數據設計的，因此只用于處理時間序列和軌跡。

????????混合模型在STDM中也很常見。例如，可以將CNN和RNN進行疊加，首先學習空間特征，然后捕獲歷史時空數據之間的時間相關性。

????????混合模型可以設計成適合所有四種類型的數據表示。

????????其他模型如網絡嵌入[164]，多層感知器(MLP)[57]，[186]，生成對抗網(GAN)[49]，[93]，殘差網(Residual nets)[78]，[89]，深度強化學習[50]等也在最近的工作中被使用。

?3.3 解決STDM問題

????????最后，利用所選擇或設計的深度學習模型來解決各種STDM任務，如分類、預測學習、表示學習和異常檢測。

????????請注意，通常如何選擇或設計深度學習模型取決于特定的數據挖掘任務和輸入數據。然而，為了展示STDM的整體流程，我們首先展示了深度學習模型，然后是數據挖掘任務。

????????在下一節中，我們將對不同的STDM問題進行分類，并根據問題和時空數據類型詳細回顧工作。

4?用于解決不同STDM問題的深度學習模型

????????在本節中，我們將對STDM問題進行分類，并介紹相應的深度學習模型來解決它們。

????????圖14顯示了深度學習模型解決的各種STDM問題的分布，包括預測、表示學習、檢測、分類、推理/估計、推薦等。

????????我們可以看到，研究的STDM問題中最大的一類是預測。70%以上的相關論文集中研究時空數據預測問題。這主要是因為準確的預測在很大程度上依賴于高質量的特征，而深度學習模型在特征學習方面尤其強大。

????????第二大問題是表示學習，它的目標是用非監督或半監督的方式學習各種時空數據的特征表示。

????????深度學習模型也用于其他STDM任務，包括分類、檢測、推斷/估計、推薦等。接下來我們將詳細介紹STDM存在的主要問題，并總結相應的基于深度學習的解決方案。

4.1?預測學習

????????預測學習的基本目標是根據時空數據的歷史數據預測未來的觀測結果。

????????對于不同的應用，輸入變量和輸出變量都可以屬于不同類型的時空數據實例，從而產生各種各樣的預測學習模型。下面，我們將介紹基于不同時空數據實例類型作為模型輸入的預測問題。

4.1.1 points

? ? ? ? 點通常把時間或空間域上的信息合并，形成時間序列或空間地圖，如犯罪[31]，[57]，[145]，[56]，交通事故[201]和社會事件[43]，從而應用在深度學習模型上。

????????[145]采用ST-ResNet模型預測洛杉磯地區的犯罪分布。他們的模型包含兩個階段。

????????首先，他們將原始犯罪點數據轉化為類似于圖像的犯罪熱點圖，將發生在同一時段和同一地區的所有犯罪事件合并在一起。

????????然后，采用殘差卷積單元的層次結構，以犯罪熱點圖為輸入訓練犯罪預測模型。

????????同樣，[57]提出使用GRU模型來預測城市犯罪。

????????[201]利用卷積長短期記憶(ConvLSTM)神經網絡模型研究了交通事故預測問題。

????????他們也首先合并了交通事故的點數據，并將時空場中的交通事故計數建模為三維張量。張量的每一項(i, j, t)表示在時刻t，網格單元(i, j)上的交通事故計數。

????????歷史交通事故張量輸入到CovnLSTM中進行預測。

????????[43]提出了一個空間不完全多任務深度學習框架，可以有效預測發生在不同位置的未來事件的子類型。

4.1.2 Time series

????????在道路級別的交通預測中，道路或高速公路上的交通流數據可以建模為時間序列。

????????近年來，許多研究嘗試了多種深度學習模型用于道路級別的交通預測[104]、[136]、[191]。

????????[104]首次利用層疊自動編碼器從交通流時間序列數據中學習特征，用于路段級交通流預測。

????????[136]將某高速公路的交通流數據視為時間序列，提出在以往交通流觀測的基礎上，利用深度信念網絡(Deep Belief Networks, DBNs)預測未來的交通流。

????????[126]研究了出租車需求預測問題，將特定區域的出租車需求建模為一個時間序列。提出了一種全連接層深度學習模型，從出租車需求的歷史時間序列中學習特征，然后將特征與天氣、社交媒體文本等其他上下文特征相結合，預測未來需求。

????????RNN和LSTM被廣泛應用于時間序列時空數據的預測。

????????[90]結合LSTM和sequence to sequence模型預測路段的交通速度。除了交通速度信息，他們的模型還考慮了其他外部特征，包括道路的地理結構、國家慶祝活動等公共社會事件，以及在線人群出行信息的查詢。

???????

?????????風速等天氣變量也通常采用時間序列建模，然后應用RNN/LSTM模型進行未來天氣預報[14]，[17]，[55]，[97]，[124]，[179]。

????????例如，[17]提出了一種用于概率風速預測的集合模型。該模型將小波閾值去噪(WTD)、自適應神經模糊推理系統(ANFIS)等傳統風速預測模型，和遞歸神經網絡(RNN)結合起來。

????????在fMRI數據分析領域，通常使用fMRI時間序列數據來研究腦功能網絡和診斷疾病。

????????[34]提出使用LSTM模型直接從靜息態fMRI時間序列對自閉癥譜系障礙(ASD)患者和典型對照者進行分類。

????????[59]開發了一種名為DCAE的深度卷積自動編碼器模型，用于以無監督的方式從復雜的、大規模的tfMRI時間序列中學習中級和高級特征。

? ? ? ?

????????時間序列數據通常不包含空間信息，因此基于深度學習的預測模型沒有明確考慮數據之間的空間相關性。

?4.1.3?Spatial maps

????????空間地圖通?？梢员硎緸轭悎D像矩陣，適合使用CNN模型進行預測學習[69]，[80]，[184]，[200]。

????????[184]提出了一種基于CNN的預測模型來捕捉城市烏鴉流的空間特征。以城市烏鴉流空間圖為輸入，建立了實時烏鴉流預測系統UrbanFlow。

????????為了預測租車服務的供需，[69]提出了基于六邊形的卷積神經網絡(convolutional neural networks, H-CNN)，其中輸入和輸出都是大量的局部六邊形地圖。與以往將城市區域劃分為多個方形格的研究不同，他們提出將城市區域劃分為各種規則的六邊形格，因為六邊形分割具有明確的鄰域定義、較小的邊面積比和各向同性。

????????一個監測點的風速數據可以用時間序列來建模，而多個監測點的風速數據可以用空間圖來表示。CNN模型還可以用于同時預測多個站點的風速[200]。

?????????給定一個空間地圖序列，為了捕捉時間和空間的相關性，許多工作試圖將CNN和RNN結合起來進行預測。

????????[161]提出了卷積LSTM (ConvLSTM)，并利用它構建了一個端到端可訓練的降水臨近預報模型。這篇文章將CNN中的卷積結構與LSTM聯合起來，在Seq2Seq的學習框架下預測時空序列。

????????ConvLSTM是一種序列到序列的預測模型，其每一層都是一個ConvLSTM單元，在輸入到狀態和狀態到狀態的轉換中都具有卷積結構。模型的輸入和輸出都是空間地圖矩陣。

????????在此之后，許多工作嘗試將ConvLSTM應用于其他不同領域[1]，[6]，[28]，[70]，[73]，[98]，[151]，[198]的空間地圖預測任務。

????????[151]提出了一種新的跨城市遷移學習方法，用于深度時空預測，稱為RegionTrans RegionTrans包含多個ConvLSTM層，用于捕獲隱藏在數據中的時空模式。

????????[73]根據多通道雷達資料應用ConvLSTM網絡進行降水預報。

????????[198]提出了一種端到端深度神經網絡，用于預測按需移動(MOD)服務中的乘客上下車需求?；诰矸e和ConvLSTM單元的編碼器-解碼器框架用于識別復雜特征，這些特征捕捉了城市乘客需求的時空影響和上下車交互。將城市單元區域內的乘客需求建模為空間地圖，并用矩陣表示。

????????[1]同樣提出了一個融合ConvLSTM層、標準LSTM層和卷積層的FCL-Net模型，用于按需乘車服務下的乘客需求預測。

????????[98]提出了一個統一的神經網絡模塊，即attention Crowd Flow Machine (ACFM)。ACFM能夠通過使用attention機制，學習時間變化數據的動態表示來推斷人群流的演化。ACFM由兩個遞進的ConvLSTM單元與一個卷積層相連接，用于空間權值預測。

????????其他一些模型也可以用于預測空間地圖，如GraphCNN [8]， [22]， [92]， [144]， ResNet[146]，[183]，[185]，以及混合方法[49]，[109]，[177]。

????????注意，在本文中，我們認為空間地圖既包含圖像數據，也包含圖形數據。

????????雖然圖也被表示為矩陣，但它們需要完全不同的技術，如GraphCNN或GraphRNN。

????????在道路網絡規模的交通預測中，交通網絡可以自然地建模為一個圖，然后應用GraphCNN或GraphRNN。

????????[85]提出將交通網絡中的交通流建模為有向圖上的擴散過程，并引入擴散卷積遞歸神經網絡(diffusion Convolutional Recurrent Neural network, DCRNN)進行交通預測。它結合了整個路網交通流的空間和時間依賴性。具體來說，DCRNN利用圖上的雙向隨機游動捕獲空間依賴關系，利用帶計劃采樣的編碼器-解碼器體系結構捕獲時間依賴關系。

????????[155]提出了一種新的拓撲框架Linkage Network來建模道路網絡，并給出了交通流的傳播模式。在Linkage Network模型的基礎上，設計了一種新的在線預測器——圖遞歸神經網絡(GRNN)，用于學習圖中的傳播模式。它根據從整個圖中收集的信息，同時預測各個路段的交通流量。

????????[144]引入時空加權圖(STWG)來表示稀疏的時空數據。然后在STWG上構建了一個可擴展的圖結構RNN (GSRNN)，對時空數據進行微尺度預測。

?4.1.4? 軌跡

????????目前，兩種深度學習模型，RNN和CNN，都被用于根據軌跡的數據表示來進行軌跡預測。

????????首先，軌跡可以表示為位置序列，如圖12所示。在這種情況下，RNN和LSTM模型可以應用于[38]，[64]，[77]，[88]，[135]，[163]，[165]。

????????[163]提出了無碰撞LSTM，該LSTM擴展了經典LSTM，加入斥力池化層，共享相鄰行人的隱藏狀態，用于人口軌跡預測。無碰撞LSTM可以根據行人過去的位置生成未來序列。

????????[64]研究了城市人口的流動性預測問題，給出了一個人的幾個觀察流動性的步驟，試圖預測他/她在城市中的下一步走向。他們提出了一種基于RNN的深度序列學習模型來有效預測城市人口流動性。

????????[135]提出了一個名為DeepTransport的模型，從一組個人GPS軌跡預測步行、乘坐火車、乘坐公共汽車等交通方式。利用四個LSTM層構建DeepTransport，預測用戶未來的交通模式。

?????????軌跡也可以用矩陣表示。在這種情況下，CNN模型可以更好地捕捉空間相關性[67]、[103]、[142]。

????????[67]提出了一種基于cnn的表示語義軌跡和預測未來位置的方法。在語義軌跡中，每個訪問的地點都與一個語義含義相關聯，如家庭、工作、商店等。他們將語義軌跡建模為一個矩陣，矩陣的兩個維度是語義和軌跡ID。將矩陣輸入到具有多個卷積層的CNN中，學習潛在特征，用于下一次訪問的語義位置預測。

????????[103]將軌跡建模為二維圖像，圖像的每個像素表示軌跡中是否訪問了相應的位置。然后采用多層卷積神經網絡結合多尺度軌跡模式，預測出租車軌跡模式的目的地。

? ? ? ? 把軌跡建模為類圖像矩陣也用于異常檢測和推斷等任務[111]、[150]，后面將詳細介紹。

?4.1.5?ST raster

????????如前所述，時空光柵數據可以表示為兩個維度為位置和時間的矩陣，或三個維度為為單元區域ID、單元區域ID和時間的張量。

????????時空光柵數據預測通常采用2D-CNN(矩陣)和3D-CNN(張量)，有時還與RNN結合使用。

????????[188]提出了一種多通道3D-立方體逐次卷積網絡3D- scn，利用3D雷達資料預報風暴的產生、增長和對流。

????????[121]將連續時段內道路多個位置的交通速度數據建模為時空光柵矩陣，然后將其輸入深度神經網絡進行交通流預測。

????????[106]探索了與[121]相似的思想，用于大型交通網絡的交通預測。

????????[12]提出了一種用于城市車流預測的三維卷積神經網絡。他們不是預測道路上的交通，而是試圖預測城市中每個單元區的車輛流量。因此，他們在連續的時間段對全市車輛流量數據建模，將其建模為時空光柵，并將它們輸入到論文所提出的3D-CNN模型中。

????????類似地，[131]將城市不同時段乘客的出行事件建模為三維張量，然后利用3D- cnn模型預測出行乘客的供需情況。

????????需要注意的是，時空光柵和Spatial map的主要區別在于，時空光柵是多個時刻合并的時空字段測量值，而Spatial map是僅在一個時隙中的時空字段測量值。

????????因此，根據實際的應用場景和數據分析的目的，同一類型的時空數據有時可以同時表示為空間地圖和時空光柵。

4.2 表示學習

????????表示學習的目的是學習輸入數據的抽象和有用的表示，以便于下游的數據挖掘或機器學習任務。

????????表示是由輸入數據的多個線性或非線性變換組成的。

????????現有的時空數據表示學習研究大多集中在軌跡和空間地圖數據類型的研究上。?

4.2.1 軌跡

????????軌跡在基于位置的社交網絡(LBSNs)和各種移動服務中無處不在，RNN和CNN模型都被廣泛用于學習軌跡表示。

????????[82]針對軌跡相似度計算的問題，提出了一種基于seq2seq的軌跡表示學習模型?；趯W習表示的軌跡相似度對非均勻、低采樣率和噪聲樣本點具有較好的魯棒性。

????????類似地，[170]，[171]提出將軌跡轉換為特征序列來描述目標運動，然后使用一個Seq2Seq自動編碼器來學習固定長度的深度表示來進行聚類。

????????基于位置的社交網絡(LBSN)數據通常包含兩個重要方面，即移動軌跡數據和用戶的社交網絡。

????????為了對這兩個方面建模并挖掘它們之間的關聯，[164]提出了一種神經網絡模型，用于聯合學習社交網絡表示和用戶移動軌跡表示。RNN和GRU模型用于捕捉移動軌跡在短期或長期水平上的順序相關性。

????????[10]提出了一種基于內容感知的POI嵌入模型CAPE，用于POI推薦。在CAPE中，將用戶簽到序列中POIs的嵌入向量訓練為彼此接近。

????????[26]提出了一種地理卷積神經張量網絡GeoCNTN，用于學習LBSNs中位置的嵌入。

????????[41]提出使用RNN和Autoencoder學習用戶簽到嵌入和軌跡嵌入，并將嵌入用于LBSNs中的用戶社交圈推理。

4.2.2 空間地圖

????????有一些研究如何學習空間地圖表示的論文。

????????[21]提出了一種卷積神經網絡架構，用于從傳感器數據的原始空間地圖中學習時空特征。

????????[153]提出將學習城市社區結構問題作為空間表征學習任務。提出了一種集合嵌入學習框架，將靜態的POIs數據和動態的人類移動圖空間地圖數據統一起來，學習城市社區結構。

????????[182]研究了如何從神經圖像數據中學習腦連接模式的非線性表征，以了解神經和神經精神障礙。提出了一種名為multi -side-view guided AutoEncoder (MVAE)的深度學習體系結構，用于學習fMRI和DTI圖像中腦連接組數據的表示。

4.3 分類

????????分類任務主要是在分析fMRI數據中進行研究。

????????近年來，腦成像技術已成為神經科學領域的熱點，包括功能磁共振成像(functional Magnetic Resonance imaging, fMRI)、腦電圖(electroencephalography, EEG)和腦磁圖(Magnetoencephalography, MEG)[120]。

????????特別是結合深度學習方法的fMRI在神經科學研究中已被廣泛應用于各種分類任務，如疾病分類、腦功能網絡分類、觀看文字或圖像時的腦激活分類等[158]。

????????根據不同的分類任務，可以從原始fMRI數據中提取不同類型的時空數據。

????????[34]提出利用長短期記憶遞歸神經網絡(LSTMs)，直接利用不同腦區產生的靜息態fMRI時間序列數據，對自閉癥譜系障礙(ASD)患者和典型對照者進行分類。

????????[48]，[52]，[54]，[71]，[113]，[132]將fMRI數據建模為空間圖，并將其作為分類模型的輸入。

????????[48]和[52]沒有直接使用每一對靜息態fMRI時間序列數據，而是根據每對靜息態fMRI時間序列數據之間的皮爾遜相關系數計算全腦功能連接矩陣。然后將相關矩陣作為空間映射，輸入DNN模型進行ASD分類。

???????[113]提出了一種更通用的用于功能連接組分類的卷積神經網絡結構，稱為連接組卷積神經網絡(connectome convolutional neural network, CCNN)。CCNN能夠結合來自不同功能連接度量的信息，因此通過改變用于訓練網絡的連接描述符組合，可以很容易地適應廣泛的基于連接組的分類或回歸任務

?????????也有一些論文直接使用MRI腦部三維結構掃描圖像作為時空光柵數據，然后通常采用3D- cnn模型從時空光柵中學習特征進行分類[63]、[66]、[78]、[116]、[128]、[194]。

????????[78]提出了兩種用于腦MRI分類的三維卷積網絡結構，這兩種結構是對普通卷積神經網絡和殘差卷積神經網絡的改進。他們的模型可以應用于3D MRI圖像，無需手工提取中間特征。

????????[194]還設計了一個深度3D- cnn框架，用于對全腦fMRI信號稀疏3D表示重建的大量功能腦網絡進行自動、有效、準確的分類和識別

?4.4?估計和推斷

目前關于時空數據估計和推理的研究主要集中在空間地圖和軌跡的數據類型上

4.4.1 空間地圖

????????雖然設立了監測站來收集污染物統計數據，但由于費用高昂，監測站的數量非常有限。

????????因此，對城市空氣質量信息進行細粒度推斷已成為政府和人民共同關心的問題。

????????[19]研究了基于某些監測站測量出的大氣污染物，任意位置的空氣質量推斷問題。他們提出了一種名為ADAIN的深度神經網絡模型，用于異構數據的建模和復雜特征交互的學習。一般來說，ADAIN結合了兩種神經網絡:前饋神經網絡用于建模靜態數據，電流神經網絡用于建模順序數據，然后隱藏層用于捕獲特征交互。

????????[139]研究了深度神經網絡在遙感降水估計中的應用。采用層疊式降噪自編碼器對紅外云圖進行特征提取和降水估算。

????????在給定出發地位置、目的地位置和出發時間的情況下，估計潛在行程的持續時間是智能交通系統中的一項重要任務。為了解決這個問題，[83]提出了一種深度多任務表示學習模型用于到達時間估計。該模型產生了有意義的表示，保留了各種出行特性，同時利用了基礎道路網絡和時空先驗知識。

4.4.2 軌跡

????????[147], [181] 試圖從移動軌跡數據估計路徑的旅行時間。

???????? [181] 提出了一種名為 DEEPTRAVEL 的基于 RNN 的深度模型，該模型可以從歷史軌跡中學習來估計旅行時間。

???????? [147] 提出了一個端到端的旅行時間估計深度學習框架，稱為 DeepTTE，它直接估計整個路徑的旅行時間，而不是先估計各個路段或子路徑的旅行時間，然后再將它們相加。

???????? [111]研究了從軌跡數據推斷用戶訪問某個位置的目的。他們提出了一種圖卷積神經網絡 (GCN)，用于從個人智能手機生成的 GPS 軌跡數據推斷活動類型（即旅行目的）。用戶的移動圖是基于他/她的所有活動區域和基于軌跡數據的連接性構建的，然后將時空活動圖輸入 GCN 以進行活動類型推斷。

???????? [42] 研究了軌跡-用戶鏈接 (TUL) 的問題，該問題旨在識別軌跡，并將軌跡和社交網絡中生成這些軌跡的用戶相匹配。提出了一種稱為 TULER 的基于循環神經網絡 (RNN) 的模型，通過結合用戶簽入軌跡嵌入模型和堆疊 LSTM 來解決 TUL 問題。

????????識別用戶交通方式的分布，例如自行車、火車、步行等，是旅行需求分析和交通規劃的重要組成部分 [24]，[148]。 [24] 提出了一個 CNN 模型來僅基于原始 GPS 軌跡來推斷出行模式，其中模式被標記為步行、自行車、公共汽車、駕駛和火車

4.5 異常檢測

????????異常檢測或異常值檢測旨在識別因與大多數數據顯著不同而引起懷疑的內容、事件或觀察結果。

????????目前對 時空?數據異常檢測的工作主要集中在事件和空間圖的數據類型上。

4.5.1 事件

????????[137] 試圖檢測由事故、體育比賽、惡劣天氣等時間中斷引起的非重復性交通擁堵。提出了卷積神經網絡 (CNN) 來識別由事件引起的非重復性交通異常。

???????? [189] 研究了如何從社交媒體數據中檢測交通事故。他們首先徹底調查了北弗吉尼亞和紐約市 1 年來超過 300 萬條推文內容，然后實施了兩種深度學習方法：深度信念網絡 (DBN) 和長短期記憶 (LSTM) 來識別交通事故相關推文。

???????? [199] 提出利用卷積神經網絡（CNN）通過使用交通流量數據自動檢測城市網絡中的交通事件。

????????[16]收集了包括人員流動數據和交通事故數據在內的大數據和異構數據，以了解人員流動如何影響交通事故風險。提出了一種堆棧去噪自動編碼器的深度模型來學習人口移動的分層特征表示，并將這些特征用于有效預測交通事故風險級別。

4.5.2 spatial maps

????????[100] 首次應用深度學習技術作為氣候極端事件檢測（如颶風和熱浪）的替代方法。 該模型經過訓練，以氣候圖像數據為輸入，對熱帶氣旋、天氣鋒和大氣河流進行分類。

???????? [72] 研究了如何在非常粗糙的氣候數據中檢測和定位極端氣候事件。 所提出的框架基于兩個深度神經網絡模型，（1）卷積神經網絡（CNN）檢測和定位極端氣候事件，以及（2）像素遞歸超分辨率模型，從低分辨率氣候數據重建高分辨率氣候數據 .

???????? 為了解決有限標記極端氣候事件的問題，[123] 提出了一種用于半監督邊界框預測的多通道時空 CNN 架構。 [123] 中提出的方法能夠利用時間信息和未標記的數據來改善極端天氣的定位

4.6 其他任務

????????除了我們上面討論的問題之外，深度學習模型還應用于其他 STDM 任務，包括推薦 [10]、[81]、[193]、模式挖掘 [118]、關系挖掘 [197] 等。

???????? [10]提出了一種用于 POI 推薦的內容感知分層 POI 嵌入模型 CAPE。從文本內容中，CAPE 不僅捕捉到 POI 的地理影響，還捕捉到 POI 的特征。

????????[193] 還提出利用嵌入學習技術來捕獲 POI 推薦的上下文簽到信息。

???????? [118] 提出了一種稱為 DeepSpace 的深層結構模型，通過分析人類軌跡的移動數據來挖掘人類的移動模式。

????????[197] 研究了軌跡-用戶鏈接 (TUL) 的問題，該問題旨在將軌跡與從帶有地理標記的社交媒體數據中生成軌跡的用戶聯系起來。提出了一種稱為 TULVAE（TUL via Variational AutoEncoder）的半監督軌跡-用戶關系學習框架,來學習神經生成架構中的人類移動性，該架構具有跨越 RNN 中隱藏狀態的隨機潛在變量

4.7?融合多源數據

????????除了所研究的 時空?數據外，通常還有一些其他類型的數據與時空數據高度相關。?將此類數據與 時空 數據融合在一起通?？梢蕴岣吒鞣N STDM 任務的性能。

???????? 例如，城市交通流量數據會受到天氣、社會事件和假期等一些外部因素的顯著影響。

???????? 最近的一些工作嘗試將 時空 數據和其他類型的數據融合到深度學習架構中，以聯合學習特征并捕獲它們之間的相關性 [16]、[19]、[89]、[174]、[178]、[ 188]，[201]。

????????通常，在將深度學習模型應用于 STDM 時，融合多源數據有兩種流行的方法，原始數據級融合和潛在特征級融合。

4.7.1?原始數據級融合

????????對于原始數據級融合，首先將多源數據融合，然后輸入深度學習模型進行特征學習。

????????[201] 通過使用卷積長短期記憶（ConvLSTM）神經網絡模型研究了交通事故預測問題。

????????首先，整個研究區域被劃分為網格單元。

????????然后收集許多細粒度的城市和環境特征，例如交通量、道路狀況、降雨量、溫度和衛星圖像，并與每個網格單元進行地圖匹配。

????????給定事故數量以及上述每個位置的外部特征作為模型輸入，提出了一個 Hetero-ConvLSTM 模型來預測未來時隙每個網格單元中將發生的事故數量。

????????[19] 提出了 ADAIN 模型，該模型融合了來自監測站的城市空氣質量信息和與空氣質量密切相關的城市數據，包括 POI、道路網絡和氣象，用于推斷城市細粒度的城市空氣質量。

???????? ADAIN 模型的框架如圖 15 所示。

????????首先從包括道路網絡、POI、氣象數據和城市空氣質量指數數據在內的多源數據中手動提取特征。

????????然后將所有特征融合在一起，然后輸入 FNN 和 RNN 模型進行特征學習。

4.7.2?潛在特征級融合

????????對于潛在特征級融合，首先將不同類型的原始特征輸入到不同的深度學習模型中，然后使用潛在特征融合組件融合不同類型的潛在特征。

???????? [89] 提出了一種基于深度學習的方法，稱為 ST-ResNet，它基于殘差神經網絡框架來共同預測城市每個區域的人群流入和流出。

????????如圖 16 所示，ST-ResNet 處理兩種類型的數據，城市中的 時空人群流數據序列和包括天氣和假期事件在內的外部特征。

????????設計了兩個組件來分別學習外部特征和人群流數據特征的潛在特征，然后使用特征融合函數 tanh 來整合兩種類型的學習潛在特征。

????????[174] 提出了一種深度多視圖時空網絡（DMVST-Net）框架來結合多視圖數據進行出租車需求預測。

????????DMVST-Net 由三個視圖組成：時間視圖、空間視圖和語義視圖。

????????CNN 用于從空間視圖中學習特征，LSTM 用于從時間視圖中學習特征，并應用網絡嵌入來學習區域之間的相關性。

????????最后，應用全連接神經網絡融合三個視圖的所有潛在特征以進行出租車需求預測。

?4.8 注意力機制

????????注意力機制是為了提高 Encoder-Decoder RNN 在機器翻譯上的性能而開發的 [5]。

???????? Encoder-Decoder RNN 的一個主要限制是它將輸入序列編碼為固定長度的內部表示，這導致長輸入序列的性能很差。

????????為了解決這個問題，attention 允許模型學習在預測目標序列中的每個詞的過程中，要注意源序列中的哪些編碼詞，以及需要注意的程度。

????????雖然最初在機器翻譯中提出了以詞序列數據作為輸入的注意力，但它實際上可以應用于任何類型的輸入，例如圖像，稱為視覺注意力。

???????? 由于許多 時空數據可以表示為序列數據（時間序列和軌跡）和像空間圖這樣的圖像，因此也可以將注意力整合到深度學習模型中，以提高各種 STDM 任務的性能 [19]、[38]、[39] , [57], [81], [88], [98], [142], [198]。

????????STDM 中使用的神經注意力機制通?？梢苑譃榭臻g域注意力 [19]、[39] 和時間域注意力 [38]、[57]、[81]、[198]。??一些論文同時使用空間和時間域注意力[88]、[98]、[142]。

???????? [39] 提出了空間域中的組合注意力模型。它利用“軟注意力”和“硬連線”注意力來將軌跡信息從本地鄰域映射到感興趣的行人的未來位置。

????????[57] 提出了一種名為 DeepCrime 的注意力分層循環網絡模型，用于犯罪預測。時域注意機制用于捕獲從先前時間段中學習到的犯罪模式的相關性，以幫助預測未來的犯罪事件，并在不同的時間范圍內為學習到的隱藏狀態自動分配重要性權重。在所提出的注意力機制中，通過 softmax 函數推導出歸一化的重要性權重來估計過去時間段內犯罪發生的重要性。

???????? [88] 提出了一個多級注意力網絡，用于預測由部署在不同地理空間位置的傳感器生成的地理傳感時間序列，以連續和協同監測周圍環境，例如空氣質量。具體來說，在第一級注意力中，提出了由局部空間注意力和全局空間注意力組成的空間注意力機制來捕捉不同傳感器時間序列之間復雜的空間相關性。在第二級注意力中，時間注意力被應用于對時間序列中不同時間間隔之間的動態時間相關性進行建模

5 應用

????????大量時空數據來自各種應用領域，例如交通、按需服務、氣候和天氣、人類移動性、基于位置的社交網絡 (LBSN)、犯罪分析和神經科學。

????????表二展示了上述應用領域的相關工作。 可以看到，由于城市交通數據和人員流動數據的可用性越來越高，因此大部分作品屬于交通和人員流動。

????????在本節中，我們將描述用于 STDM 的深度學習技術在不同應用中的應用

?5.1 交通

????????隨著從環路檢測器、道路攝像頭和 GPS 等各種傳感器收集的交通數據的可用性越來越高，迫切需要利用深度學習方法來學習交通數據之間復雜且高度非線性的時空相關性，以促進各種任務例如交通流預測 [30]、[60]、[90]、[121]、[136]、[167]、交通事件檢測 [125]、[189]、[199] 和交通擁堵預測 [108] , [137]。

????????這種與交通相關的時空數據通常包含交通速度、流量或交通事故、區域路段位置和時間等信息。

????????交通數據可以建模為不同應用場景下的時間序列、空間地圖和時空柵格。

????????例如，在道路網絡規模的交通流預測中，從多個道路環路傳感器收集的交通流數據可以建模為柵格矩陣，其中一個維度是傳感器的位置，另一個維度是時間[106]。

????????基于部署傳感器的道路鏈接之間的連接，環路傳感器也可以連接為傳感器圖，并且可以將道路網絡的交通數據建模為圖形空間圖，以便可以應用GraphCNN模型[ 85]，[175]。

????????而在道路級交通預測中，將每條道路上的歷史交通流量數據建模為時間序列，然后使用RNN或其他深度學習模型對單條道路進行交通預測[60]，[90]，[167]?

5.2 按需服務

????????近年來，由于手機的廣泛使用，優步、摩拜單車、滴滴、GoGoVan等各種按需服務越來越受歡迎。通過為人們提供他們想要的東西和地點，按需服務已經接管了傳統業務。

????????許多按需服務會產生大量的 時空數據，這些數據涉及客戶的位置和所需的服務時間。

????????例如，優步和滴滴分別是美國和中國兩大流行的拼車按需服務提供商。他們都通過智能手機應用程序向用戶提供包括叫車、私家車和社交拼車在內的服務。

????????為了更好地滿足客戶的需求，改善服務，一個關鍵的問題是如何準確預測不同地點和時間的服務需求和供應。

????????STDM在按需服務應用中的深度學習方法主要側重于預測需求和供應。

???????? [1] 提出應用深度學習方法來預測無樁共享單車系統的供需分布。

????????[92] 提出了一個圖 CNN 模型來預測大規模共享單車網絡中車站級每小時的需求。

???????? [126]、[174] 提出使用 LSTM 模型來預測不同地區的出租車需求。

???????? [146] 應用 ResNet 模型來預測在線叫車服務的供需。

????????被研究城市不同區域的歷史供需數據通常被建模為空間圖或柵格張量，以便應用于 CNN、RNN 和組合模型來預測未來的需求。

5.3 氣象和天氣

????????氣候科學是對氣候的科學研究，科學定義為一段時間內平均的天氣條件。

????????天氣數據通常包含由部署在固定或浮動位置的各種氣候傳感器收集的大氣和海洋條件（例如，溫度、壓力、風流和濕度）。

????????由于不同地點的氣候數據通常具有較高的時空相關性，STDM 技術被廣泛用于短期和長期天氣預報。

????????特別是，隨著深度學習技術的最新進展，許多工作試圖結合深度學習模型來分析各種天氣和環境數據 [79]、[129]，例如空氣質量推斷 [19]、[94]、降水預測 [ 100]、[161]、風速預測 [96]、[200] 和極端天氣檢測 [100]。

????????與氣候和天氣相關的數據可以是空間圖（例如雷達反射率圖像）[188]、時間序列（例如風速）[17] 和事件（例如極端天氣事件）[100]。

???????? [19]提出了一種神經注意力模型來預測不同監測站的城市空氣質量數據。

???????? [100] 提出使用 CNN 模型來檢測氣候數據庫中的極端天氣。

????????CNN 模型也可用于從遙感圖像中估計降水量 [100]。

5.4 人口流動

????????隨著移動設備的廣泛使用，近年來見證了與人口移動相關的廣泛地理定位數據集的爆炸式增長。

????????大量的人口移動數據使我們能夠定量研究個人和集體的人類移動模式，并生成能夠捕捉和再現人類軌跡中的時空結構和規律的模型。

????????人口移動性的研究對于估計遷徙流量、交通預測、城市規劃、人類行為分析和個性化推薦等應用尤為重要。

????????應用于人口移動數據的深度學習技術主要側重于人口軌跡數據挖掘，例如軌跡分類 [36]、軌跡預測 [38]、[64]、[163]、軌跡表示學習 [82]、[170]、移動模式挖掘 [118]，以及從軌跡 [24]、[42] 推斷人類交通模式。

????????根據不同的應用場景和分析目的，可以將軌跡建模為不同類型的 S時空數據類型和數據表示，從而可以應用不同的深度學習模型。

????????人口軌跡數據挖掘中使用最廣泛的模型是 RNN 和 CNN 模型，有時將這兩種模型結合起來捕獲人類移動數據之間的空間和時間相關性。

5.5?基于位置的社交網絡 (LBSN)

????????Foursquare 和 Flickr 等基于位置的社交網絡使用 GPS 功能定位用戶，并讓用戶從他們的移動設備廣播他們的位置和其他內容?[196]。

???????? LBSN 不僅意味著向現有社交網絡添加一個位置，以便人們可以共享位置嵌入的信息，而且還包括新的社會結構組成，這些結構由通過他們在物理世界中的位置以及他們的位置標記的媒體內容組成。

???????? LBSN 數據包含大量用戶簽到數據，這些數據包括個人在給定時間戳的即時位置。

???????? 目前，深度學習方法已被用于分析LBSN中用戶生成的時空數據，研究的任務包括下一次簽到位置預測[67]、LBSN中的用戶表征學習[164]、地理特征提取[26]和用戶 登記時間預測 [165]。

5.6 犯罪分析

????????執法機構在許多城市存儲有關報告犯罪的信息，并將犯罪數據公開用于研究目的。

????????犯罪事件數據通常具有犯罪類型（例如，縱火、襲擊、入室盜竊、搶劫、盜竊和故意破壞）以及犯罪的時間和地點。

????????可以使用這些數據研究犯罪模式以及執法政策對一個地區犯罪數量的影響，以減少犯罪[4]。

????????由于發生在城市不同區域的犯罪通常具有很高的空間和時間相關性，因此可以使用深度學習模型，以城市的犯罪記錄的熱力圖作為輸入，來捕捉這種復雜的相關性 [31]、[57]、[ 145]。

????????例如，[31]提出了一個基于CNN的時空犯罪網絡來預測第二天市區各區域的犯罪風險。

???????? [145] 提議利用 ST-ResNet 模型來共同預測洛杉磯地區的犯罪分布。

???????? [57] 開發了一個新的犯罪預測框架——DeepCrime，這是一種深度神經網絡架構，可以揭示動態犯罪模式并探索犯罪與城市空間中其他無處不在的數據之間不斷變化的相互依賴關系。

????????正如我們之前討論的，犯罪數據是典型的 S時空事件數據，通常通過合并空間和時間域中的數據來表示為空間地圖，以便可以將深度學習模型應用于分析。

5.7 神經學

????????近年來，腦成像技術已成為神經科學領域的熱門話題。

????????此類技術包括功能性磁共振成像 (fMRI)、腦電圖 (EEG)、腦磁圖 (MEG) 和功能性近紅外光譜 (fNIRS)。

????????這些技術測量的神經活動的空間和時間分辨率與其他技術大不相同。

???????? fMRI 從數百萬個位置測量神經活動，而 EEG 數據僅從數十個位置測量。

????????fMRI 通常每兩秒測量一次活動，而 EEG 數據的時間分辨率通常為 1 毫秒。

????????由于其空間分辨能力，fMRI和EEG結合深度學習方法，已廣泛應用于神經科學的研究[34]、[63]、[113]、[128]。

????????正如我們之前討論的，深度學習模型主要用于神經科學中的分類任務，通過使用 fMRI 數據或 EEG 數據，進行例如疾病分類 [34]、腦功能網絡分類 [113] 和腦激活分類 [63]。

????????例如，長短期記憶網絡 (LSTM) 用于識別自閉癥譜系障礙 (ASD) [34]，卷積神經網絡 (CNN) 用于診斷遺忘性輕度認知障礙 (aMCI) [113] 和前饋神經網絡(FNN) 被用來對精神分裂癥進行分類 [119]

6 開放性問題

????????盡管已經提出了許多深度學習方法并在上面討論的不同應用領域中廣泛應用，但由于時空數據高度復雜、數量龐大且快速增長，挑戰仍然存在。

???????? 在本節中，我們提供了一些當前工作尚未很好解決并需要在未來進一步研究的開放性問題。

6.1 可解釋模型

????????目前的 STDM 深度學習模型大多被認為是缺乏可解釋性的黑盒。

????????可解釋性賦予深度學習模型以可理解的方式向人類解釋或呈現模型行為的能力，它是機器學習模型為更好地為人們服務、造福社會不可或缺的一部分[29]。

????????考慮到時空數據的復雜數據類型和表示，與其他類型的數據（例如圖像和單詞標記）相比，設計可解釋的深度學習模型更具挑戰性。

???????? 盡管之前的一些工作中使用了注意力機制來增加模型的可解釋性，例如周期性和局部空間依賴性 [19]、[57]、[88]，但如何為 STDM 任務構建更具可解釋性的深度學習模型仍然沒有得到很好的研究 并且仍然是一個懸而未決的問題。

6.2 深度學習模型的選擇

????????對于給定的 STDM 任務，有時可以收集多種類型的相關時空數據，并且可以選擇不同的數據表示。

???????? 如何正確選擇時空數據表示和相應的深度學習模式還沒有得到很好的研究。

????????例如，在交通流預測中，一些工作將每條道路的交通流數據建模為時間序列，以便使用 RNN、DNN 或 SAE 進行預測 [104]、[136]； 一些工作將多個道路連接的交通流數據建模為空間圖，以便應用 CNN 進行預測 [184]； 一些工作將道路網絡的交通流數據建模為圖形，以便采用 GraphCNN [85]。

????????關于如何正確選擇深度學習模型和 ST 數據的數據表示以更好地解決所研究的 STDM 任務，缺乏更深入的研究。

6.3?對更多 STDM 任務的更廣泛應用。????????

????????盡管深度學習模型已廣泛用于上述各種 STDM 任務，但仍有一些深度學習模型尚未解決的任務，例如頻繁模式挖掘和關系挖掘 [4]、[87]。

????????深度學習的主要優勢在于其強大的特征學習能力，這對于一些主要依賴高質量特征的預測學習和分類的?STDM 任務至關重要。

???????? 然而，對于一些 STDM 任務，如頻繁模式挖掘和關系挖掘，學習高質量的特征可能沒有那么有用，因為這些任務不需要特征。

????????根據我們的調研，目前很少甚至沒有利用深度學習模型來完成上述任務的作品。

????????因此，如何使用深度學習模型或深度學習模型與傳統模型（例如頻繁模式挖掘和圖形模型）的結合模型，來擴展到更廣泛的應用程序，以解決更多 STDM 任務，這仍然是一個懸而未決的問題。

6.4?融合多模態 ST 數據集

????????在大數據時代，多模態 ST 數據集越來越多地用于神經影像、氣候科學和城市交通等許多領域。

???????? 例如，在神經成像中，fMRI 和 DTI 都可以使用提供不同時空分辨率的不同技術來捕獲大腦活動的成像數據 [61]。 如何使用深度學習模型將它們有效地融合在一起，以更好地執行疾病分類和大腦活動識別的任務，研究較少。

???????? 城市的出租車軌跡數據、共享單車出行數據、公共交通進出站數據等多模式交通數據都可以從不同的角度反映城市??人流的流動性[30]。將它們融合在一起而不是單獨分析可以更全面地捕捉潛在的移動模式并做出更準確的預測。

????????盡管最近有嘗試應用深度學習模型從不同城市之間的人群流量數據中轉移知識[151]，[172]，但如何將多模態時空數據集與深度學習模型融合仍然沒有得到很好的研究，需要未來更多的研究關注。

7 結論

????????在本文中，我們全面概述了探索 STDM 深度學習技術的最新進展。

????????我們首先對時空數據的不同數據類型和表示進行分類，并簡要介紹用于 STDM 的流行深度學習模型。對于不同類型的時空數據及其表示，我們展示了適合處理它們的相應深度學習模型。

????????然后我們給出了一個通用框架，展示了利用深度學習模型來解決 STDM 任務的基本流程。在該框架下，我們概述了基于時空數據類型分類和 STDM 任務的當前工作，包括預測學習、表示學習、分類、估計和推理、異常檢測等。

????????接下來，我們總結了深度學習技術在 STDM 中在不同領域的應用，包括交通、按需服務、氣候和天氣、人員流動、基于位置的社交網絡 (LBSN)、犯罪分析和神經科學。

????????最后，我們列出了一些懸而未決的問題，并指出了這個快速增長的研究領域的未來研究方向。

總結

以上是生活随笔為你收集整理的Data Mining 论文翻译：Deep Learning for Spatio-Temporal Data Mining: A Survey的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。