soft-dtw，可微分版本的dtw

PYTORCH 筆記 DILATE 代碼解讀_UQI-LIUWJ的博客-CSDN博客

CNN+RNN

CNN捕獲變量之間的局部依賴關(guān)系+短期模式

GRU捕獲時(shí)序特征

skip-GRU捕獲長(zhǎng)期時(shí)序特征

將輸出分成線性部分和非線性部分，線性部分用于預(yù)測(cè)局部突變等屬性（自回歸模型），非線性部分是GRU和skip-GRU線性組合得到的，用于預(yù)測(cè)長(zhǎng)期全局特征

ASTGCN:

1）使用空間注意力機(jī)制來建?？臻g層面復(fù)雜的相關(guān)性

2）使用時(shí)間注意力機(jī)制來捕獲不同時(shí)間之間的動(dòng)態(tài)時(shí)間相關(guān)性

3）使用圖卷積來捕獲交通圖中的空間特征；以及不同時(shí)間篇之間的依賴關(guān)系?

使用記憶網(wǎng)絡(luò)來記憶歷史記錄中的極端事件

開發(fā)了一種新的損失函數(shù)，稱為極值損失（EVL）【約束異常事件的分布】

?

transformer 用于時(shí)間序列

1，使用因果卷積使得Q,K計(jì)算過程中可以看到一定的局部性

2，提出LogSparse Transformer，將空間復(fù)雜度降至

利用深度學(xué)習(xí)解決單變量時(shí)間序列點(diǎn)預(yù)測(cè)問題

提出了一種基于后向和前向殘留鏈路和一個(gè)非常深的全連接層堆棧的深度神經(jīng)結(jié)構(gòu)。該模型具有可解釋性

時(shí)空注意力機(jī)制

時(shí)空數(shù)據(jù)分解+ Conv LSTM

自適應(yīng)學(xué)習(xí)鄰接矩陣+時(shí)間卷積+圖卷積

2021 aaai best paper

定義第i個(gè)query的稀疏性測(cè)量值

選取最大的個(gè)Q，以計(jì)算attention 權(quán)重

計(jì)算M時(shí)，選取個(gè) qi,kj對(duì)，其他qikj=0

——>對(duì)于self-attention來說，時(shí)間復(fù)雜度為O(LlogL)

• 將趨勢(shì)-周期性分解從數(shù)據(jù)預(yù)處理挪到模型架構(gòu)中；encoder逐步將趨勢(shì)項(xiàng)剝離，decoder再逐步將趨勢(shì)項(xiàng)加上
• 復(fù)雜度是O(nlogn)，但是考慮了所有點(diǎn)（而并不像之前的Transformer一樣進(jìn)行稀疏attention）
• 同時(shí)用autoCorrelation代替逐點(diǎn)Transformer，通過序列相似度而不是點(diǎn)相似度得到attention

也是金字塔結(jié)構(gòu)的Transformer，和TriFormer的區(qū)別是，這里金字塔不同尺度的點(diǎn)，都是由原始時(shí)間序列經(jīng)過卷積操作轉(zhuǎn)化得來的

時(shí)間復(fù)雜度O(L)

• 和AutoFormer類似，也是趨勢(shì)-周期性分解再模型框架中
• 理論證明了隨機(jī)選擇m個(gè)DFT的譜域元素，可以很好的保留時(shí)間序列的信息
• 在譜域上進(jìn)行attention
• 復(fù)雜度是O(n)

將一維時(shí)間序列轉(zhuǎn)換成譜域上的二維時(shí)間序列張量，利用CNN變體模型捕獲周期內(nèi)和周期間時(shí)間序列特征，在短期時(shí)間序列預(yù)測(cè)、長(zhǎng)期時(shí)間序列預(yù)測(cè)、時(shí)間序列補(bǔ)全、時(shí)間序列異常檢測(cè)、時(shí)間序列分類任務(wù)中都表現(xiàn)不俗

一個(gè)簡(jiǎn)單的線性模型，在時(shí)間預(yù)測(cè)上效果比基于Transformer的模型都要好——>作者質(zhì)疑Transformer是否可以很好地適用于時(shí)間序列預(yù)測(cè)問題中

Transformer模型建模時(shí)間序列依賴性，是不是主要依靠podition embedding和temporal embedding？

將相鄰時(shí)間序列的點(diǎn)合成一個(gè)patch，進(jìn)行patch級(jí)別的Transformer

基于迭代SVD的矩陣補(bǔ)全（軟閾值+硬閾值）

對(duì)MF有很多理論的證明和說明（寫論文的時(shí)候可以用來參考）

TRMF 輔助論文：最小二乘法復(fù)現(xiàn)TRMF_UQI-LIUWJ的博客-CSDN博客

提出了一個(gè)新的時(shí)間正則化矩陣分解框架(TRMF)用于高維時(shí)間序列分析。

在TRMF的基礎(chǔ)上，添加了空間自回歸DAR的正則項(xiàng)

EMF,SMF 用于 0~1的打分矩陣補(bǔ)全

TAS-LR 論文輔助筆記 & 圖拉普拉斯正則項(xiàng)推導(dǎo)_UQI-LIUWJ的博客-CSDN博客

MF+時(shí)間序列約束和自適應(yīng)拉普拉斯正則化空間約束

帶缺失數(shù)據(jù)的視頻補(bǔ)全、預(yù)測(cè)

使用VAE架構(gòu)，將視頻每個(gè)object的每一幀分解成appearance、pose和missingness

• ?空間關(guān)聯(lián)性的挖掘
• ?多維度屬性關(guān)聯(lián)性的問題
• 時(shí)間信息的缺失
• 設(shè)計(jì)了一種空間相關(guān)的多核 K 均值 (S-MKKM) 方法來識(shí)別多視圖之間的潛在關(guān)系并捕獲區(qū)域相似性。
• 提出了一種自適應(yīng)權(quán)重非負(fù)矩陣分解方法，以利用上面學(xué)到的信息來解決多視圖缺失數(shù)據(jù)插補(bǔ)問題。 此外，所提出的方法還考慮了單視圖信息補(bǔ)全模型的特點(diǎn)，同時(shí)考慮了 KNN 策略來利用真實(shí)地理信息。

空間encoder時(shí)message passing network

時(shí)空encoder是將message passing network應(yīng)用到GRU里面

使用MF的框架+解耦時(shí)間特征表征，進(jìn)行時(shí)間序列補(bǔ)全

使用了flow?graph和spatial graph來學(xué)習(xí)region 向量表征

每一個(gè)點(diǎn)表示（地理空間上的點(diǎn)+時(shí)刻）

使用歷史OD對(duì)，實(shí)時(shí)流入流出信息，預(yù)測(cè)地鐵通行的OD

捕獲源區(qū)域和目標(biāo)區(qū)域的局部空間特征，融合氣象數(shù)據(jù)捕獲時(shí)間演化特征，捕獲全局空間特征

release了一個(gè)紐約的OD公開數(shù)據(jù)集

attention-STGCN捕捉時(shí)空信息+POI分布輔助，作為源區(qū)域和目標(biāo)區(qū)域embedding的權(quán)重

主要內(nèi)容

主要內(nèi)容

主要內(nèi)容

比較體育比賽中兩個(gè)play的相似程度

使用帶負(fù)采樣的skipgram建模play中每一子軌跡段的vector，然后使用

判斷兩個(gè)軌跡相似于否，就是看在某些時(shí)刻（兩個(gè)軌跡采樣時(shí)間的并集），兩個(gè)軌跡都在某一個(gè)網(wǎng)格的概率

軌跡數(shù)據(jù)是有定位誤差和零星采樣問題

python包，用于將GPS軌跡和openstreetmap對(duì)應(yīng)

python 筆記：PyTrack（將GPS數(shù)據(jù)和OpenStreetMap數(shù)據(jù)進(jìn)行整合）【官網(wǎng)例子解讀】_UQI-LIUWJ的博客-CSDN博客

主要內(nèi)容

本質(zhì)上是一種encoder-decoder模型，只不過encoder的輸出這里加上了學(xué)習(xí)pattern這個(gè)限制

?

• 生成類關(guān)聯(lián)規(guī)則的完整集合，這個(gè)集合滿足最小支持度以及最小置信度
• 建立一個(gè)基于類關(guān)聯(lián)規(guī)則的分類器

BPMF論文輔助筆記： 固定U，更新θU 部分推導(dǎo)_UQI-LIUWJ的博客-CSDN博客

https://blog.csdn.net/qq_40206371/article/details/120865455

在模型中使用了馬爾可夫鏈蒙特卡羅(MCMC)方法進(jìn)行近似推理

為超參數(shù)引入先驗(yàn)，并在參數(shù)和超參數(shù)上最大化模型的對(duì)數(shù)后驗(yàn)，從而允許基于訓(xùn)練數(shù)據(jù)自動(dòng)控制模型的復(fù)雜性?。

利用Transformer變體，物理和生物知識(shí)，預(yù)測(cè)蛋白質(zhì)3D結(jié)構(gòu)

原子級(jí)別的誤差

Kipf GNN

使用一階近似切比雪夫作為卷積核

首次提出自適應(yīng)鄰接矩陣的概念

時(shí)間依賴性：空洞卷積

空間依賴性：擴(kuò)散圖卷積（DCRNN的思路）+自適應(yīng)鄰接矩陣

• 圖卷積中每個(gè)節(jié)點(diǎn)一套參數(shù)（為避免節(jié)點(diǎn)過多時(shí)參數(shù)量爆炸，使用了矩陣分解）
• 自適應(yīng)鄰接矩陣
• 用上面兩個(gè)模塊替代GRU中的MLP

在傳統(tǒng)GNN的基礎(chǔ)上，每個(gè)點(diǎn)不僅有標(biāo)量信息，還有矢量信息，EGNN可以保證矢量經(jīng)過EGNN之后平移、旋轉(zhuǎn)、排列等變性

1 提出了一種新的GNN上的隨即丟棄方法，可以緩解GNN訓(xùn)練時(shí)的過擬合、過渡平滑、不魯棒

2 整合之前的random drop 方法，他們是本文提出的DropMessage的特例

3 從理論上說明了，GNN上的random drop，等價(jià)于在損失函數(shù)上加了正則項(xiàng)

使用近似奇異值分解以獲得增強(qiáng)圖信息

使用GRU來求解未知疾病狀態(tài)

使用DQN來或者各區(qū)域重要性排序

使用actor-critic來求解各區(qū)域口罩病床分配情況

論文代碼解讀 Hierarchical Reinforcement Learning for Scarce Medical Resource Allocation_UQI-LIUWJ的博客-CSDN博客

使用attention和LSTM進(jìn)行空間和時(shí)間建模，然后對(duì)每個(gè)紅綠燈分別進(jìn)行強(qiáng)化學(xué)習(xí)，計(jì)算紅綠燈控制方式

上層函數(shù)mata-controller根據(jù)state，從實(shí)現(xiàn)給定的目標(biāo)集中選擇一個(gè)目標(biāo)傳給底層函數(shù)controller，controller 根據(jù)狀態(tài)s和目標(biāo)g選擇動(dòng)作。

goal作為一個(gè)輸入，所以不同的goal共享相同的Q函數(shù)

也是上層制定goal，下層實(shí)現(xiàn)。

不過和上一個(gè)H-DQN不同，這里并沒有一個(gè)goal集合，這邊學(xué)習(xí)的goal可以看成是一個(gè)direction，也就是狀態(tài)S 變化的方向。如果下層學(xué)到的策略使得實(shí)際的狀態(tài)按照goal的方向變化，那么reward會(huì)比較大

求解V(s,g)。 由于(s,g)對(duì)很少，所以將s-g對(duì)組成的矩陣進(jìn)行矩陣分解（行state，列g(shù)oal）

在經(jīng)典U-Net的基礎(chǔ)上，沒有對(duì)模型架構(gòu)進(jìn)行修改，而是根據(jù)數(shù)據(jù)集自動(dòng)進(jìn)行數(shù)據(jù)預(yù)處理、模型架構(gòu)參數(shù)選擇、訓(xùn)練、inference等

醫(yī)學(xué)影像分割

基于窗口的transformer，具有多尺度信息，同時(shí)計(jì)算復(fù)雜度和圖像的尺寸呈線性關(guān)系

pytorch 筆記： Swin-Transformer 代碼_UQI-LIUWJ的博客-CSDN博客

3D骨架姿勢(shì)識(shí)別

使用對(duì)比學(xué)習(xí)

不同于傳統(tǒng)的對(duì)比學(xué)習(xí)，論文使用了層次化的對(duì)比學(xué)習(xí)loss，通過時(shí)間域和空間域不同粒度的對(duì)比學(xué)習(xí)loss，共同進(jìn)行優(yōu)化

很多學(xué)者認(rèn)為大的教師網(wǎng)絡(luò)，并不能使得小的學(xué)生網(wǎng)絡(luò)學(xué)習(xí)效果好

——>temperature 過大的時(shí)候，導(dǎo)致教師網(wǎng)絡(luò)輸出像uniform-label，類別之間的差異性就沒有了，僅僅起到了一個(gè) label smoothing 的作用

——>temperature 過小的時(shí)候，教師的輸出結(jié)果像 hard-label，導(dǎo)致和正常分類損失相比沒有什么額外的信息

本文通過將知識(shí)蒸餾損失函數(shù)分解，同時(shí)盡心理論分析，提出教師網(wǎng)絡(luò)中正確的logit和錯(cuò)誤的logit，使用的temperature應(yīng)該不一樣：正確的logit對(duì)應(yīng)的τ應(yīng)該大一些，錯(cuò)誤的logit對(duì)應(yīng)的tau應(yīng)該小一些

temperature自適應(yīng)學(xué)：學(xué)生網(wǎng)絡(luò)目標(biāo)是減少KD loss，temperature 目標(biāo)是增大KD loss

同時(shí)學(xué)的過程中增大temperature的權(quán)重，使得學(xué)生網(wǎng)絡(luò)越來越難學(xué)

CLIP

文本-圖像對(duì)進(jìn)行預(yù)訓(xùn)練，?