0 摘要

????????張量因子tensor factorization分解方法在時空數據分析領域很受歡迎，因為它們能夠處理多種類型的時空數據，處理缺失值，并提供計算效率高的參數估計程序。

????????然而，現有的張量因子分解方法并沒有嘗試學習空間自相關。這些方法使用先前推斷的空間依賴性，通常導致插值和未知位置預測問題的性能較差。

????????本文提出了一種新的張量因子分解方法，通過同時學習空間和時間的自相關來估計低秩潛在因子。在現有空間自回歸模型的基礎上引入了新的空間自回歸正則化方法，并給出了一種有效的估計方法。
?

1 introduction

? ? ? ? 在時空數據分析任務中時，數據的數量級、數量的類型、數據缺失值的處理，是目前主要研究的問題。

????????向量自回歸模型(VAR)和高斯過程(GP)是對多元時間序列進行預測的常用方法。這些方法將線性或非線性的空間和時間相關性納入預測。然而，當我們試圖分析一個多元時間序列時，VAR和GP需要指數計算成本。因此，這些模型在分析大尺度時空數據時是不可行的。

????????大尺度時空數據分析的替代方法是矩陣/張量分解技術。

?????????為了將空間和時間依賴性整合到分解中，大多數現有的分解方法都采用了基于圖的正則化項[Collaborative filtering with graph information: Consistency and scalable methods, NIPS 2015]，通過表示空間和時間結構的輔助圖，使得隱藏層因子平滑化。

????????這些方法需要事先對加權時空圖矩陣進行推理，但是對于如何構造加權時空圖矩陣，幾乎沒有統一的準則。因此，這些方法的性能很大程度上依賴于權值和圖結構的選擇。此外，這些方法在出現負相關的情況下是不夠的。

論文筆記:Temporal Regularized Matrix Factorization forHigh-dimensional Time Series Prediction_UQI-LIUWJ的博客-CSDN博客

????????Yu等人[Temporal regularized matrix factorization for high-dimensional time series prediction NIPS?2016]最近提出了一種新的方法，稱為時間正則化矩陣分解(TRMF)，該方法在分解框架中引入了自回歸正則化器。然而，他們沒有考慮學習空間依賴性的問題。因此，我們能否對未知的位置進行精確的插值和預測仍然是個問題。

????????在本文中，我們解決了插值和預測未知位置的未來觀測的問題。

????????為了解決這個問題，我們提出了一種新的張量分解方法，通過同時學習每個張量潛在因子的時空自相關，將張量分解為潛在因子。

????????我們在傳統自回歸模型的基礎上引入了空間自回歸正則化器。結合我們的空間自回歸正則化器和時間自回歸正則化器[11]，我們可以預測未知位置的特征觀測值。

????????此外，利用數據中所有觀測值均為非負值的特性，我們可以從時空數據中提取出更穩健和可解釋的潛在因子。

????????為了估計因子矩陣和系數的空間和時間自回歸模型，我們展示了一個計算效率高的程序。

????????我們在三個公開的時空數據集上實驗評估了我們提出的方法的預測性能，并證明了它如何顯著提高插值和預測未知位置觀測的預測精度。

?2 Preliminary

2.1 張量分解

????????我們把，T個時間戳、M種數據源、P個位置觀測到的時空數據表示為一個三向張量

? ? ? ? ?X中被觀測到的點被記為：

? ? ? ? ?對于P、T、M我們有：、、。其中

K<<min(P,T,M)

? ? ? ? 一個最naive的張量分解式子為：

????????圖拉普拉斯正則化被廣泛應用于張量分解方法中，其分解具有空間和時間依賴性。表示第N個因子矩陣的加權鄰接矩陣為，則拉普拉斯矩陣為

? ? ? ? ?于是圖拉普拉斯正則項可以寫成

?????????雖然它在時空分析中顯示出有用，但是鄰接矩陣權值的構造依賴于用戶的選擇

?2.2? 2D-AR

????????為了考慮圖像分析中的空間自相關性，在計算機視覺領域提出了二維自回歸模型(2D-AR)。

? ? ? ? 我們定義一個L階滯后集以及權重集合

? ? ? ? ?2D-AR是希望

????????2D-AR模型在許多任務中都取得了成功，比如估計圖像的觀測值。然而，由于該方法是為計算機視覺設計的，所以它只適用于一組具有網格形狀的位置。?

?3 提出的模型

3.1 自回歸張量分解

損失函數為：

?

?g1,g2分別是空間和時間自回歸正則項，PΩ表示只考慮 observed entry

?????????為了學習潛在因素的空間依賴性，我們提出了兩種基于空間自回歸模型的空間正則化器。這個公式的主要優點是，我們提出的方法不需要預先推斷空間和時間的相關性。這種方法可以學習到適合每個潛在因素的個體依賴關系。

3.2 空間自回歸模型????????

????????與前面2.2所提及的2D-AR模型假設不同，由于道路網絡的拓撲條件或傳感器的目的，傳感器的位置并不總是處于網格形狀。因此，該方法不適用于時空數據分析。

????????為了解決這些問題，我們提出了一種有向自回歸(DAR)正則化方法.

????????我們的關鍵假設是，傳感器觀測值之間有一個基于方向的依賴關系，因此傳感器的觀測值可以由這些系數、基于距離的權重和其鄰居的觀測值的總和來近似。

????????我們在圖2中說明了DAR的主要思想。我們將2π角分成N個離散方向，并定義每個方向的系數參數。

?????????

? ? ? ? ?定義DAR模型的系數為，點p最近的k個鄰居為Ep，Ep中的點p'的權重值為，其中

? ? ? ? ?于是我們DAR的懲罰函數為：

?????????np’表示了從p到p'的方向，歸一化權值可以表示位置之間的逆距離

?3.3 參數估計

????????我們通過將損失函數重寫為約束極小化問題，提出了另一種極小化程序來實現我們所提出的方法的極小化

????????

?3.3.1? 更新 θ1

? ? ? ? 從定義中，我們知道，和相關的損失函數是：

?

? ? ? ? ?通過最小二乘法，我們有：、????????

? ? ? ? 其中?矩陣表示

?

?其中

3.3.2 更新 Θ2

線性代數筆記： Cholesky分解_UQI-LIUWJ的博客-CSDN博客

?????????wl的參數估計問題等于求解嶺回歸問題[11]，我們可以用Cholesky分解方法求解，其計算復雜度為

?3.3.3 更新U(1) 【空間特征矩陣】

? ? ? ? 空間特征矩陣U(1)的損失函數為：?

其中，Gk就是Bk

????????由于這是一個凸極小值問題，我們交替地通過求解最小二乘問題來更新每個因子向量u(1) k:

?

? ? ? ? ?這里=

? ? ? ? 通過將損失函數的梯度設置為0，我們有：

?

?其中

3.3.4 更新 U(2)?

? ? ? ? U(2)的更新可以寫成?

?

?其中

由于該問題屬于一類圖正則化交替最小二乘問題，因此我們可以利用共軛梯度下降算法得到最小值（時間復雜度?）?

?4 實驗

4.1?城市交通需求預測實驗

????????我們使用了紐約市出租車和豪華轎車委員會提供的出租車運輸記錄數據集和在紐約記錄的自行車共享系統數據集。

????????對于出租車數據集，我們預測出租車在紐約不同位置下車的客戶數量。由于該數據集中的記錄由GPS位置組成，我們構建了面積為500m2的網格。

? ? ? ? 對于自行車共享系統數據集，我們預測將自行車歸還給不同自行車站的客戶數量。

????????出租車數據和自行車共享系統數據的觀測地點分別為640個和344個。觀測數據每30分鐘收集一次。

?????????我們在每個數據集中使用了兩周的記錄。

? ? ? ? ?我們選取過去七天中的每一天作為測試日，并將測試日的前七天作為訓練數據。

????????然后我們隨機選取10%的位置作為未知的測試位置，其余位置作為已知的訓練位置。

????????我們使用我們提出的方法：DAR正則化(DAR)， DAR正則化與非負約束(DAR+NN)進行實驗。我們將該方法與高斯過程(GP)、快速多元時空分析(fast)和時間正則化矩陣分解(TRMF)進行了比較。因為FAST不能對未知位置進行預測，所以我們首先對未知位置進行插值觀測，然后進行預測。

?????????對于我們提出的方法的空間正則化器DAR的系數W(1)，我們采用k-NN，其權重設置為高斯相似測度，其中rp是 第p個sensor的GPS位置，σ是加權系數（因為不同GPS位置之間的差距相對來說很小，我們設置σ為100）。然后我們對每一行進行歸一化。

????????對于FAST和TRMF，我們使用了元素設置為高斯相似測度的全連通圖拉普拉斯矩陣。

????????對于我們提出的DAR正則化方法，我們將角度劃分的數量N設置為4或8，KNN的鄰居數量為4或8。超參數λ1和λ2分別設為{0,0.1,1.0,10.0}。我們通過五倍交叉驗證調整了超參數。

????????對于GP，我們使用5000個隨機采樣數據點進行訓練，并通過最大似然估計程序優化超參數。

????????我們對GP、FAST、TRMF和張量微積分使用了公開可用的matlab代碼。

????????在三種不同類型的預測任務中評估了每種方法的表現。在前人[11]工作的基礎上，我們利用歸一化偏差(ND)作為誤差測量:

?????????

????????結果如表一、二所示。每個單元格的左右兩邊的值對應于在不同的測試天進行7次測試得到的ND的平均值和標準偏差。黑體數字表示所有方法中最小的平均誤差。?

??????

????????從這些結果中，我們證實了我們提出的方法與DAR正則化器在預測整個數據集的特征觀測和未知位置插值任務上優于其他方法。

????????同時加入DAR正則化和非負約束的方法在沒有非負約束的情況下表現出了更好的性能，因為這種約束可以避免過擬合。

????????在紐約出租車數據和共享單車系統中，我們的DAR正則化器的改進率分別為42.9%和9.8%。該方法在第一個任務上的改進是由于減少了插值未知位置觀測的預測誤差，因為我們的方法可以利用空間自回歸正則化器學習每個潛在因子的不同空間依賴性。

????????然而，現有的方法不能同時學習空間和時間依賴性。通過對共享單車系統數據集的實驗，FAST在預測已知位置的未來觀測任務上表現出了最好的性能。

?????????為了檢驗我們提出的方法的定性性能，我們用圖3中的NY出租車數據集來說明DAR正則化器的估計預測。

????????紅線和藍線分別是預測值和地面真實值。??黑色實線表示訓練期的結束。?黃色背景的紅線是預測的結果。

????????從這張圖中，我們證實了我們所提出的方法通過捕捉時間動態準確地預測了已知位置的觀測結果。它對未知位置的預測也表現良好。這些結果支持了我們提出的DAR正則化器學習空間和時間依賴性的有效性。

? ? ? ??

?

?????????在圖4中，我們用紐約出租車數據來說明提取的時間和空間因素。

????????在這些圖中，我們還展示了在沒有非負約束的情況下提取的時間因素。

????????從圖4a中，我們確認了在每個時間因子中提取了不同的動態特征，并且具有非負約束的空間因子比沒有該約束的空間因子獲得了光滑且易于解釋的形狀。?

????????從藍色的時間因子及其對應的空間因子4b，我們可以很容易地理解這個因子出現在每天下午和帝國大廈附近。

????????紅色的時間因子和相應的空間因子4c表明，曼哈頓和布魯克林的日常交通都發生在夜間。

總結

以上是生活随笔為你收集整理的论文笔记：Autoregressive Tensor Factorizationfor Spatio-temporal Predictions的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。