論文標題：Smooth Compact Tensor Ring Regression論文作者：Jiani Liu, Ce Zhu, Yipeng Liu論文鏈接：https://ieeexplore.ieee.org/document/9253557論文代碼：https://github.com/liujiani0216/SCTRR

摘要

隨著數(shù)字影像設(shè)備的快速普及和發(fā)展，涌現(xiàn)了大量高階數(shù)據(jù)，如光學(xué)視頻，醫(yī)學(xué)圖像等。高階數(shù)據(jù)相關(guān)的學(xué)習(xí)任務(wù)中，如何對高階的回歸系數(shù)進行高效的近似是一個關(guān)鍵問題。低秩張量近似是其中一個方法。作為一種新的張量分解，張量環(huán)已經(jīng)被證明可以建模更多多維數(shù)據(jù)的相關(guān)信息。但是，其最優(yōu)的張量環(huán)秩通常是未知的，需要從多種組合中進行經(jīng)驗選擇。

為彌補這一缺陷，我們提出了一種新的張量回歸模型。通過對張量環(huán)分解的潛在因子施加組稀疏約束，以此來實現(xiàn)張量環(huán)秩的自動估計，從而獲得高效緊湊的表示。此外，引入總變差約束項確保預(yù)測響應(yīng)的局部一致性，以減少隨機噪聲所帶來的不利影響。

在仿真數(shù)據(jù)集上的實驗表明，該方法能夠在學(xué)習(xí)過程中更準確地推斷張量環(huán)秩，平衡預(yù)測誤差和模型復(fù)雜性。并且在人體運動軌跡捕捉任務(wù)的對比實驗進一步驗證了該算法的有效性和穩(wěn)健性。

研究背景

隨著大量高維數(shù)據(jù)的出現(xiàn)，與其相關(guān)的數(shù)據(jù)分析技術(shù)逐漸成為了研究熱點。多線性回歸作為解決涉及高維數(shù)據(jù)學(xué)習(xí)任務(wù)的關(guān)鍵技術(shù)，廣泛應(yīng)用于社會科學(xué)、氣候科學(xué)和神經(jīng)科學(xué)。

多線性回歸模型的核心思想是保留數(shù)據(jù)的原始形式，通過張量積形式反應(yīng)多維數(shù)據(jù)之間的相關(guān)關(guān)系。鑒于數(shù)據(jù)自身的結(jié)構(gòu)特征，通常假設(shè)多維數(shù)據(jù)之間的回歸系數(shù)張量滿足低秩性或者稀疏性。其通用的優(yōu)化方案有兩種，一種基于秩最小化模型，一種是給定秩的張量因子化模型。

對于給定秩的張量因子化模型，一個最大的挑戰(zhàn)便是張量秩的預(yù)估。尤其是Tucker 秩，張量鏈或張量環(huán)秩等多線性秩，其預(yù)估需要從大量的組合之中進行選取，耗費大量時間。因而，本文以張量環(huán)分解為例，引入了一種組稀疏約束項，可以在訓(xùn)練過程中實現(xiàn)對張量環(huán)秩的自適應(yīng)，從而實現(xiàn)模型復(fù)雜度和性能的平衡。

符號定義和描述

在對本文的方法進行描述之前，首先需要簡要定義與多線性回歸相關(guān)的各個概念。對張量??，其中??個元素表示為??。定義1(張量收縮積)給定張量??和??，它們沿著共有??維度的張量收縮積表示為??，如圖1所示。

▲ 圖1 張量收縮積

定義2(張量環(huán)分解)張量環(huán)分解是流行張量網(wǎng)絡(luò)的一種，它將張量分解為環(huán)狀網(wǎng)絡(luò)形式，如圖 2 所示。其對應(yīng)的數(shù)學(xué)表達形式為：其中，??,??，??是張量環(huán)秩。

▲?圖2 張量環(huán)分解

定義3(張量環(huán)回歸)給定訓(xùn)練樣本??，則張量回歸模型通常表示為，其中，，表示??和??的相關(guān)關(guān)系，??是偏差。對系數(shù)張量進行張量環(huán)分解??，便可以得到張量環(huán)回歸模型，如圖3所示。

▲?圖3 張量環(huán)回歸

算法描述

根據(jù)已經(jīng)定義的符號和概念，我們給出了一個新的回歸模型，將數(shù)據(jù)擬合項、用于秩自推斷的組稀疏約束項、用于平滑預(yù)測結(jié)果的全變差約束項整合在一起，如下式所示：

其中，??表示??，第一項??是數(shù)據(jù)擬合項，??是組稀疏項，??是全變分項。(1)組稀疏項??估計系數(shù)張量??的張量環(huán)秩??，需要對每一個??進行估計。而如圖 3 所示，??僅與其相鄰的兩個因子張量??和??直接相關(guān)。這促使我們提出以下組稀疏約束項：

其中，?? 是??的第??個前向切片，??是??的第??個水平切片。基于交替最小化思想，我們可以依次對每一個張量環(huán)秩進行優(yōu)化。具體來說，以一個 3 階系數(shù)張量為例：▲?圖4? 3階系數(shù)張量的張量環(huán)分解形式其優(yōu)化圖解如圖 5 所示：

▲?圖5 組稀疏項圖解(2)全變分項??

為確保張量輸出的局部一致性，我們對預(yù)測的結(jié)果進行全變差約束，如下式所示：

在本文中，我們分別給出了?和?時的算法，分別為 CTRR 和 SCTRR。這里僅給出 CTRR 的算法流程，其優(yōu)化思想主要來源于迭代加權(quán)最小二乘算法。

實驗

4.1 仿真數(shù)據(jù)(1)在仿真數(shù)據(jù)集上驗證 CTRR 在不同條件下(不同信噪比, 不同樣本量，不同大小和張量環(huán)秩的回歸系數(shù)張量)的預(yù)測性能(Q^2)和張量環(huán)秩推斷的準確性(REE)。實驗結(jié)果如圖6所示：

▲?圖6 CTRR 在不同條件下生成的仿真數(shù)據(jù)集上的表現(xiàn)(2)為更直觀地觀察所提算法對回歸系數(shù)張量估計的準確性，我們利用不同形狀的圖片作為回歸系數(shù)張量，構(gòu)建仿真數(shù)據(jù)，在不同信噪比條件下，CTRR 對回歸系數(shù)圖像的重建如圖 7 所示。

▲?圖7 CTRR在shape數(shù)據(jù)集上的表現(xiàn)

4.2 人體行為軌跡重建實驗

這里在人體行為軌跡重建的數(shù)據(jù)集 UMPM 上驗證所提算法的有效性，實驗結(jié)果如表 1 所示：▲ 表1?CTRR和SCTRR在UMPM數(shù)據(jù)集上的性能

結(jié)論

為了克服張量回歸中張量環(huán)秩估計這一困難，本文提出了一種基于組稀疏約束的緊湊張量回歸模型，將張量秩最小化問題放縮為帶有組稀疏約束的張量環(huán)低秩近似問題。在仿真數(shù)據(jù)集上的實驗驗證了 CTRR 可以在訓(xùn)練過程中對回歸系數(shù)張量的張量環(huán)秩進行推斷，以獲得緊湊的低秩近似。同時，在真實數(shù)據(jù)集上的實驗說明了引入局部平滑約束可以提高模型的預(yù)測性能并改善預(yù)測的視覺效果。

CTRR 將張量秩推斷這一離散參數(shù)的調(diào)節(jié)問題轉(zhuǎn)換為稀疏項的連續(xù)參數(shù)調(diào)節(jié)問題，提高了算法的穩(wěn)健性。未來，我們將進一步探索如何實現(xiàn)該算法參數(shù)的自動調(diào)節(jié)問題，開發(fā)更加實用有效的張量學(xué)習(xí)方法與應(yīng)用。

參考文獻

[1]?W. Guo, I. Kotsia, and I. Patras, “Tensor learning for regression,” IEEE Transactions on Image Processing, vol. 21, no. 2, pp. 816–827, 2012.

[2] E. F. Lock, “Tensor-on-tensor regression,” Journal of Computational and Graphical Statistics, vol. 27, no. 3, pp. 638–647, 2017.

[3] J. Liu, C. Zhu, Z. Long, H. Huang and Y. Liu, “Low-Rank Tensor Ring Learning for Multi-linear Regression,” Pattern Recognition, pp. 107753, 2020.

[4]?Y. Liu, J. Liu, and C. Zhu, "Low Rank Tensor Train Coefficient Array Estimation for Tensor-on-Tensor Regression," IEEE Transactions on Neural Networks and Learning Systems, 2020.

[5]?X. Li, Y. Ye, and X. Xu, “Low-rank tensor completion with total variation for visual data inpainting,” in Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[6]?I. Daubechies, R. DeVore, M. Fornasier, and C. S. Gunturk, “Iteratively reweighted least squares minimization for sparse recovery,” Communications on Pure and Applied Mathematics, vol. 63, no. 1, pp. 1–38, 2010.

[7]?M. Zhu and T. Chan, “An efficient primal-dual hybrid gradient algorithm for total variation image restoration,” UCLA CAM Report, 08-34, 2008.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息(姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向)?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

??投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式(微信或手機)，以便我們在編輯發(fā)布時和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的矩阵低秩张量分解_TKDE 2020 | CTRR：组稀疏约束的紧凑张量环回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。