論文標題：Smooth Compact Tensor Ring Regression論文作者：Jiani Liu, Ce Zhu, Yipeng Liu論文鏈接：https://ieeexplore.ieee.org/document/9253557論文代碼：https://github.com/liujiani0216/SCTRR

摘要

隨著數(shù)字影像設備的快速普及和發(fā)展，涌現(xiàn)了大量高階數(shù)據(jù)，如光學視頻，醫(yī)學圖像等。高階數(shù)據(jù)相關的學習任務中，如何對高階的回歸系數(shù)進行高效的近似是一個關鍵問題。低秩張量近似是其中一個方法。作為一種新的張量分解，張量環(huán)已經(jīng)被證明可以建模更多多維數(shù)據(jù)的相關信息。但是，其最優(yōu)的張量環(huán)秩通常是未知的，需要從多種組合中進行經(jīng)驗選擇。

為彌補這一缺陷，我們提出了一種新的張量回歸模型。通過對張量環(huán)分解的潛在因子施加組稀疏約束，以此來實現(xiàn)張量環(huán)秩的自動估計，從而獲得高效緊湊的表示。此外，引入總變差約束項確保預測響應的局部一致性，以減少隨機噪聲所帶來的不利影響。

在仿真數(shù)據(jù)集上的實驗表明，該方法能夠在學習過程中更準確地推斷張量環(huán)秩，平衡預測誤差和模型復雜性。并且在人體運動軌跡捕捉任務的對比實驗進一步驗證了該算法的有效性和穩(wěn)健性。

研究背景

隨著大量高維數(shù)據(jù)的出現(xiàn)，與其相關的數(shù)據(jù)分析技術逐漸成為了研究熱點。多線性回歸作為解決涉及高維數(shù)據(jù)學習任務的關鍵技術，廣泛應用于社會科學、氣候科學和神經(jīng)科學。

多線性回歸模型的核心思想是保留數(shù)據(jù)的原始形式，通過張量積形式反應多維數(shù)據(jù)之間的相關關系。鑒于數(shù)據(jù)自身的結(jié)構(gòu)特征，通常假設多維數(shù)據(jù)之間的回歸系數(shù)張量滿足低秩性或者稀疏性。其通用的優(yōu)化方案有兩種，一種基于秩最小化模型，一種是給定秩的張量因子化模型。

對于給定秩的張量因子化模型，一個最大的挑戰(zhàn)便是張量秩的預估。尤其是Tucker 秩，張量鏈或張量環(huán)秩等多線性秩，其預估需要從大量的組合之中進行選取，耗費大量時間。因而，本文以張量環(huán)分解為例，引入了一種組稀疏約束項，可以在訓練過程中實現(xiàn)對張量環(huán)秩的自適應，從而實現(xiàn)模型復雜度和性能的平衡。

符號定義和描述

在對本文的方法進行描述之前，首先需要簡要定義與多線性回歸相關的各個概念。對張量??，其中??個元素表示為??。定義1(張量收縮積)給定張量??和??，它們沿著共有??維度的張量收縮積表示為??，如圖1所示。

▲ 圖1 張量收縮積

定義2(張量環(huán)分解)張量環(huán)分解是流行張量網(wǎng)絡的一種，它將張量分解為環(huán)狀網(wǎng)絡形式，如圖 2 所示。其對應的數(shù)學表達形式為：其中，??,??，??是張量環(huán)秩。

▲?圖2 張量環(huán)分解

定義3(張量環(huán)回歸)給定訓練樣本??，則張量回歸模型通常表示為，其中，，表示??和??的相關關系，??是偏差。對系數(shù)張量進行張量環(huán)分解??，便可以得到張量環(huán)回歸模型，如圖3所示。

▲?圖3 張量環(huán)回歸

算法描述

根據(jù)已經(jīng)定義的符號和概念，我們給出了一個新的回歸模型，將數(shù)據(jù)擬合項、用于秩自推斷的組稀疏約束項、用于平滑預測結(jié)果的全變差約束項整合在一起，如下式所示：

其中，??表示??，第一項??是數(shù)據(jù)擬合項，??是組稀疏項，??是全變分項。(1)組稀疏項??估計系數(shù)張量??的張量環(huán)秩??，需要對每一個??進行估計。而如圖 3 所示，??僅與其相鄰的兩個因子張量??和??直接相關。這促使我們提出以下組稀疏約束項：

其中，?? 是??的第??個前向切片，??是??的第??個水平切片?；诮惶孀钚』枷?#xff0c;我們可以依次對每一個張量環(huán)秩進行優(yōu)化。具體來說，以一個 3 階系數(shù)張量為例：▲?圖4? 3階系數(shù)張量的張量環(huán)分解形式其優(yōu)化圖解如圖 5 所示：

▲?圖5 組稀疏項圖解(2)全變分項??

為確保張量輸出的局部一致性，我們對預測的結(jié)果進行全變差約束，如下式所示：

在本文中，我們分別給出了?和?時的算法，分別為 CTRR 和 SCTRR。這里僅給出 CTRR 的算法流程，其優(yōu)化思想主要來源于迭代加權(quán)最小二乘算法。

實驗

4.1 仿真數(shù)據(jù)(1)在仿真數(shù)據(jù)集上驗證 CTRR 在不同條件下(不同信噪比, 不同樣本量，不同大小和張量環(huán)秩的回歸系數(shù)張量)的預測性能(Q^2)和張量環(huán)秩推斷的準確性(REE)。實驗結(jié)果如圖6所示：

▲?圖6 CTRR 在不同條件下生成的仿真數(shù)據(jù)集上的表現(xiàn)(2)為更直觀地觀察所提算法對回歸系數(shù)張量估計的準確性，我們利用不同形狀的圖片作為回歸系數(shù)張量，構(gòu)建仿真數(shù)據(jù)，在不同信噪比條件下，CTRR 對回歸系數(shù)圖像的重建如圖 7 所示。

▲?圖7 CTRR在shape數(shù)據(jù)集上的表現(xiàn)

4.2 人體行為軌跡重建實驗

這里在人體行為軌跡重建的數(shù)據(jù)集 UMPM 上驗證所提算法的有效性，實驗結(jié)果如表 1 所示：▲ 表1?CTRR和SCTRR在UMPM數(shù)據(jù)集上的性能

結(jié)論

為了克服張量回歸中張量環(huán)秩估計這一困難，本文提出了一種基于組稀疏約束的緊湊張量回歸模型，將張量秩最小化問題放縮為帶有組稀疏約束的張量環(huán)低秩近似問題。在仿真數(shù)據(jù)集上的實驗驗證了 CTRR 可以在訓練過程中對回歸系數(shù)張量的張量環(huán)秩進行推斷，以獲得緊湊的低秩近似。同時，在真實數(shù)據(jù)集上的實驗說明了引入局部平滑約束可以提高模型的預測性能并改善預測的視覺效果。

CTRR 將張量秩推斷這一離散參數(shù)的調(diào)節(jié)問題轉(zhuǎn)換為稀疏項的連續(xù)參數(shù)調(diào)節(jié)問題，提高了算法的穩(wěn)健性。未來，我們將進一步探索如何實現(xiàn)該算法參數(shù)的自動調(diào)節(jié)問題，開發(fā)更加實用有效的張量學習方法與應用。

參考文獻

[1]?W. Guo, I. Kotsia, and I. Patras, “Tensor learning for regression,” IEEE Transactions on Image Processing, vol. 21, no. 2, pp. 816–827, 2012.

[2] E. F. Lock, “Tensor-on-tensor regression,” Journal of Computational and Graphical Statistics, vol. 27, no. 3, pp. 638–647, 2017.

[3] J. Liu, C. Zhu, Z. Long, H. Huang and Y. Liu, “Low-Rank Tensor Ring Learning for Multi-linear Regression,” Pattern Recognition, pp. 107753, 2020.

[4]?Y. Liu, J. Liu, and C. Zhu, "Low Rank Tensor Train Coefficient Array Estimation for Tensor-on-Tensor Regression," IEEE Transactions on Neural Networks and Learning Systems, 2020.

[5]?X. Li, Y. Ye, and X. Xu, “Low-rank tensor completion with total variation for visual data inpainting,” in Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[6]?I. Daubechies, R. DeVore, M. Fornasier, and C. S. Gunturk, “Iteratively reweighted least squares minimization for sparse recovery,” Communications on Pure and Applied Mathematics, vol. 63, no. 1, pp. 1–38, 2010.

[7]?M. Zhu and T. Chan, “An efficient primal-dual hybrid gradient algorithm for total variation image restoration,” UCLA CAM Report, 08-34, 2008.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息(姓名+學校/工作單位+學歷/職位+研究方向)?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

??投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式(微信或手機)，以便我們在編輯發(fā)布時和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的矩阵低秩张量分解_TKDE 2020 | CTRR：组稀疏约束的紧凑张量环回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。