恕我直言：這篇文章與“GCAN: Graph Convolutional Adversarial Network for Unsupervised Domain Adaptation CVPR 2019”的思想基本一致，只是做了一個(gè)應(yīng)用，但是也能發(fā)一篇高水平刊物，就很說(shuō)明問(wèn)題，不過(guò)文章很多在故障診斷的應(yīng)用手法還是值得借鑒

一、預(yù)備知識(shí)：

無(wú)監(jiān)督域自適應(yīng)方法（Unsupervised Domain Adaptation）：用于學(xué)習(xí)域不變和區(qū)分性特征。代表方法包括域?qū)咕W(wǎng)絡(luò)DANN和MMD（最大平均差異度量）方法。
MMD是重構(gòu)希爾伯特空間的非參數(shù)度量函數(shù)，它經(jīng)常用于評(píng)估兩個(gè)分布期望的相似性。MMD方法作為深度網(wǎng)絡(luò)的一部分用于學(xué)習(xí)可遷移特征。
DANN來(lái)自于生成對(duì)抗網(wǎng)絡(luò)，其利用域判別器和特征提取器之間的兩層minmax博弈層可以提取遷移特征。特征提取器旨在提取域不變特征去“欺騙”域判別器，而域判別器又被訓(xùn)練用于區(qū)分特征提取器提取的特征是來(lái)自于源域還是目標(biāo)域。通過(guò)這樣的對(duì)抗訓(xùn)練，特征提取器可以學(xué)習(xí)到兩個(gè)域的全局分布。
GCN可以聚合k范圍內(nèi)的鄰點(diǎn)信息以此取得圖平滑，但是傳統(tǒng)GCN只能在一個(gè)固定接收域內(nèi)聚集信息；而多接收域GCN（MRF-GCN）可以獲得豐富的特征表示并將數(shù)據(jù)結(jié)構(gòu)信息嵌入至特征表示中。

二、所提方法：

A.域?qū)咕W(wǎng)絡(luò)：

在本工作中，主要討論新工作環(huán)境下無(wú)標(biāo)簽樣本的故障診斷。傳感器數(shù)據(jù)分為源域（有標(biāo)簽）和目標(biāo)域（無(wú)標(biāo)簽）。在UDA中，假定源域和目標(biāo)域的標(biāo)簽空間是相同的，而特征空間是不同但有關(guān)聯(lián)的。本文的目標(biāo)是建立一個(gè)深度網(wǎng)絡(luò)，能夠預(yù)測(cè)目標(biāo)域的樣本標(biāo)簽。
提出的基于變工況故障診斷的DAGCN流程如下圖：首先原始數(shù)據(jù)輸入至CNN以獲取特征映射，然后每個(gè)特征向量被視作是節(jié)點(diǎn)。通過(guò)提出的GGL方法，特征向量值被視作自動(dòng)生成圖的節(jié)點(diǎn)特征。之后，獲取的圖被導(dǎo)入至GCN以此將數(shù)據(jù)結(jié)構(gòu)信息嵌入至節(jié)點(diǎn)特征。最后，獲得的節(jié)點(diǎn)特征被用于故障分類以及域?qū)褂?xùn)練。因此，可以將步驟總結(jié)為：圖生成，目標(biāo)函數(shù)以及模型參數(shù)更新。

?B. 圖生成

圖有兩個(gè)比較重要的組成部分，即鄰接矩陣A和節(jié)點(diǎn)特征矩陣X。為了獲取X,一個(gè)CNN被用于從輸入數(shù)據(jù)中獲取特征，獲取的節(jié)點(diǎn)特征映射可以表示為：

?是一個(gè)小批次輸入矩陣。
提出了一種GGL，獲取鄰接矩陣A，并從小批量輸入矩陣構(gòu)造實(shí)例圖，其過(guò)程如圖4所示。首先，將提取的特征矩陣輸入多層感知器(MLP)。然后，通過(guò)MLP特征及其轉(zhuǎn)置矩陣之間的矩陣乘法得到鄰接矩陣。最后，根據(jù)top-k排序機(jī)制選擇每個(gè)節(jié)點(diǎn)的前k個(gè)最近鄰。因此，鄰接矩陣可由下式得到:

?Top?k(·)返回A在每列前k個(gè)最大值的索引，使鄰接矩陣稀疏，減少了計(jì)算負(fù)擔(dān)。

如圖2所示，三層接收域(K1, K2, and K3的取值為[1, 2, 3])的MRF-GCN被用于重構(gòu)實(shí)例圖。因此，對(duì)于一個(gè)輸入圖，通過(guò)MRF-GCN所得到的特征表示可以定義為：

?其中是第一和第二層MRF-Conv的學(xué)習(xí)得到的特征表示，W是可訓(xùn)練的權(quán)重矩陣。

C.UDA的目標(biāo)函數(shù)

目標(biāo)函數(shù)由三部分組成：特征提取器(F)、域判別器(D)和標(biāo)簽分類器(C)。為了提取遷移特征和構(gòu)建上述的三種重要信息（類標(biāo)簽，域標(biāo)簽，數(shù)據(jù)結(jié)構(gòu)信息），總體目標(biāo)函數(shù)包括分類損失、域一致性損失和結(jié)構(gòu)一致性損失三個(gè)部分。

1）分類損失：真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽的分類損失為交叉熵函數(shù)：

?其中，表示標(biāo)簽分類器的預(yù)測(cè)結(jié)果，表示交叉熵?fù)p失。表示數(shù)學(xué)期望。

2) 域一致性損失：由于域協(xié)變移位問(wèn)題(the domain covariant-shift problem)，僅用源域數(shù)據(jù)訓(xùn)練的標(biāo)簽分類器不能很好地處理目標(biāo)域數(shù)據(jù)。為了解決這個(gè)問(wèn)題，一個(gè)域判別器(D)用來(lái)判斷提取的特征是來(lái)自目標(biāo)域還是源域，并訓(xùn)練特征提取器欺騙域判別器。當(dāng)域判別器和特征提取器的minmax博弈達(dá)到均衡時(shí)，可以捕獲域不變特征(即域判別器已無(wú)法判別特征提取器所提的特征，說(shuō)明不同域的特征已無(wú)法區(qū)分，也就是得到域不變特征)。這里采用二進(jìn)制交叉熵?fù)p失作為域一致性損失，記為：

其中分別表示目標(biāo)域第j個(gè)和源域第i個(gè)提取特征。D(·)取值為0或1，可以用來(lái)區(qū)分樣本屬于哪個(gè)域（源域?yàn)?，目標(biāo)域?yàn)?）。

the domain covariant-shift problem:

假設(shè)q1（x）是測(cè)試集中一個(gè)樣本點(diǎn)的概率密度，q0（x）是訓(xùn)練集中一個(gè)樣本點(diǎn)的概率密度。最終我們估計(jì)一個(gè)條件概率密度p(y|x，θ)，它由x和一組參數(shù)θ=｛θ1，θ2......θm｝所決定。對(duì)于一組參數(shù)來(lái)說(shuō)，對(duì)應(yīng)loss(θ)函數(shù)評(píng)估性能的好壞
綜上，當(dāng)我們找出在q0（x）分布上最優(yōu)的一組θ'時(shí)，能否保證q1（x）上測(cè)試時(shí)也最好呢？
傳統(tǒng)機(jī)器學(xué)習(xí)假設(shè)訓(xùn)練集和測(cè)試集是獨(dú)立同分布的，即q0（x）=q1（x），所以可以推出最優(yōu)θ'依然可以保證q1（x）最優(yōu)。但現(xiàn)實(shí)當(dāng)中這個(gè)假設(shè)往往不成立，伴隨新數(shù)據(jù)產(chǎn)生，老數(shù)據(jù)會(huì)過(guò)時(shí)，當(dāng)q0（x）不再等于q1（x）時(shí)，就被稱作covariate shift
————————————————
原文鏈接：https://blog.csdn.net/mao_xiao_feng/article/details/54317852

交叉熵加入對(duì)數(shù)函數(shù)的原因：預(yù)測(cè)輸出與 y 差得越多，L 的值越大，也就是說(shuō)對(duì)當(dāng)前模型的 “ 懲罰 ” 越大，而且是非線性增大，是一種類似指數(shù)增長(zhǎng)的級(jí)別。這是由 log 函數(shù)本身的特性所決定的。這樣的好處是模型會(huì)傾向于讓預(yù)測(cè)輸出更接近真實(shí)樣本標(biāo)簽 y。

3）結(jié)構(gòu)一致性（對(duì)準(zhǔn)）損失:在對(duì)源域和目標(biāo)域特征結(jié)構(gòu)進(jìn)行對(duì)準(zhǔn)的過(guò)程中，采用MMD度量作為結(jié)構(gòu)偏差對(duì)準(zhǔn)損失，表示為:

?其中φ(·)表示非線性映射函數(shù)，表示通過(guò)將提取的特征嵌入到RKHS（重構(gòu)希爾伯特空間）中來(lái)測(cè)量該距離。

4）總體目標(biāo)函數(shù):結(jié)合定義的三個(gè)損失函數(shù)，實(shí)現(xiàn)UDA的總體目標(biāo)函數(shù)可以寫成

?其中γ和k是權(quán)衡參數(shù)（the tradeoff parameters）。

D.模型參數(shù)更新

令θF，θC、θD分別表示特征提取器、標(biāo)簽分類器和域判別器的參數(shù)。在模型訓(xùn)練過(guò)程中，可以通過(guò)反向傳播(BP)算法更新DAGCN中各部分的參數(shù)，記為

其中?表示偏導(dǎo)數(shù)算子，η表示學(xué)習(xí)率。
特別是在特征提取器中，MRF-GCN參數(shù)可以通過(guò)計(jì)算以下公式來(lái)更新:

通過(guò)MRF-GCN所得到的特征表示為H，是?MRF-GCN三層接收域的參數(shù)?,表示更新后的參數(shù)。
通過(guò)最小化定義的總體目標(biāo)函數(shù)，優(yōu)化DAGCN參數(shù)，得到域不變特征和判別特征，使使用帶標(biāo)記源域數(shù)據(jù)訓(xùn)練的分類器能夠正確地對(duì)未帶標(biāo)記目標(biāo)域數(shù)據(jù)進(jìn)行分類。因此，算法一總結(jié)了利用所提出的DAGCN對(duì)UDA進(jìn)行故障診斷的算法，圖5給出了利用所提出的DAGCN實(shí)現(xiàn)跨域故障診斷的詳細(xì)流程圖。

三、實(shí)驗(yàn)

數(shù)據(jù)集分別來(lái)自于變速箱和航空發(fā)動(dòng)機(jī)潤(rùn)滑油配件控制系統(tǒng)

A.實(shí)驗(yàn)1：齒輪箱故障診斷

1）數(shù)據(jù)描述：齒輪箱測(cè)試平臺(tái)由驅(qū)動(dòng)裝置、軸、齒輪箱和負(fù)載（a drivemotor, a shaft, a gearbox, and the load）組成。在本實(shí)驗(yàn)中，對(duì)齒輪箱輸出軸的齒輪預(yù)設(shè)了兩種不同類型的齒輪故障，包括齒面磨損和四種不同故障級(jí)別的齒裂紋在內(nèi)的齒輪故障如圖7所示，加上健康狀態(tài)，齒輪的健康狀態(tài)共有六種（4+1+1）。變速器Y方向安裝加速度計(jì)（Accelerometers）采集振動(dòng)信號(hào)，傳感器采樣頻率為10240 Hz。模擬四種不同轉(zhuǎn)速(1000、1100、1200和1400 r/min)，將每種轉(zhuǎn)速視為一種工況。

?本實(shí)驗(yàn)采用Z-score歸一化方法對(duì)采集的數(shù)據(jù)進(jìn)行歸一化。然后使用窗口長(zhǎng)度為1024的滑動(dòng)窗口對(duì)原始振動(dòng)信號(hào)進(jìn)行分割，形成子樣本，在分割過(guò)程中，每個(gè)樣本之間不存在重疊。在每個(gè)工況下，每個(gè)健康狀態(tài)產(chǎn)生1000個(gè)樣本，所以6個(gè)健康狀態(tài)總共得到6000個(gè)樣本。另外，為了獲得一種工況的訓(xùn)練集，在每種健康工況下隨機(jī)選取80%的樣本，其余20%作為測(cè)試集。因此，每一種工況下，總共有4800個(gè)樣本用于訓(xùn)練，1200個(gè)樣本用于測(cè)試。

z-score標(biāo)準(zhǔn)化，也稱為標(biāo)準(zhǔn)化分?jǐn)?shù)，這種方法根據(jù)原始數(shù)據(jù)的均值和標(biāo)準(zhǔn)差進(jìn)行標(biāo)準(zhǔn)化，經(jīng)過(guò)處理后的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1（根據(jù)下面的轉(zhuǎn)化函數(shù)很容易證明），轉(zhuǎn)化函數(shù)為：

————————————————
原文鏈接：https://blog.csdn.net/jzwong/article/details/51839721

我們使用0、1、2和3分別表示四種不同的工作條件（四種轉(zhuǎn)速工況）。因此，我們進(jìn)行了12個(gè)跨領(lǐng)域(A^2_4)的任務(wù)進(jìn)行綜合分析。為簡(jiǎn)單起見(jiàn)，我們使用表示跨域任務(wù)，即模型用域a的數(shù)據(jù)進(jìn)行訓(xùn)練，用域b的數(shù)據(jù)進(jìn)行測(cè)試。值得注意的是，在特征遷移階段，將域a的帶標(biāo)簽樣本和域b的少量未帶標(biāo)簽樣本輸入到DAGCN中進(jìn)行對(duì)抗訓(xùn)練，其余的域b的未帶標(biāo)簽樣本用于模型測(cè)試。

2）診斷結(jié)果:為了證明所提出的DAGCN的優(yōu)越性，我們采用了6種比較方法，分別是JAN[20]、MKMMD[21]、CORAL[22]、DANN[26]、CDANN和CDANN+E(CDANN 帶熵條件)[27]。六種比較方法的特征提取器都是一個(gè)四層CNN，而特征提取器也被用來(lái)獲得一個(gè)直接遷移的基準(zhǔn)。此外，DAGCN的詳細(xì)結(jié)構(gòu)如表1所示，其中前四層特征提取器為卷積層(convolutional layer, Conv)，后兩層為MRF-GConv層。
在模型訓(xùn)練中，使用300個(gè)epoch對(duì)模型進(jìn)行訓(xùn)練，在前50個(gè)epoch對(duì)每個(gè)模型進(jìn)行預(yù)訓(xùn)練，不使用目標(biāo)域樣本。初始學(xué)習(xí)速率設(shè)置為0. 001，學(xué)習(xí)速率衰減是在epoch150和250時(shí)分別乘0.1(即學(xué)習(xí)率在150epoch為1e-4，250epoch時(shí)為1e-5)。
兩個(gè)權(quán)衡參數(shù)(即γ和κ)由計(jì)算，其中τ取10，在遷移學(xué)習(xí)策略未激活時(shí)e取0，在遷移學(xué)習(xí)策略激活后e取1。本次實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)是整體的準(zhǔn)確性，為了減少結(jié)果的隨機(jī)性，最終結(jié)果采用了最后10個(gè)epoch的平均值。本次實(shí)驗(yàn)的結(jié)果如表II所示

3）結(jié)果分析：

?從表II可以看出，所提出的DAGCN在每個(gè)跨域任務(wù)中都能獲得最好的結(jié)果，而基于映射的方法（JAN、MKMMD和CORAL方法）比基于對(duì)抗性的方法(DANN、CDANN和CDANN+E)有更好的結(jié)果。在最困難的任務(wù)Q30中，表現(xiàn)最差的模型診斷準(zhǔn)確率為36.16%，而提出的DAGCN診斷準(zhǔn)確率為80.25%。在最簡(jiǎn)單的任務(wù)，即任務(wù)Q21中，表現(xiàn)最差的模型獲得的診斷準(zhǔn)確率為81%，而DAGCN達(dá)到94.42%。這些結(jié)果表明，盡管領(lǐng)域差異變得越來(lái)越大，跨領(lǐng)域任務(wù)變得越來(lái)越困難，DAGCN仍然可以獲得性能提高

?四、模型討論

A.消融實(shí)驗(yàn)

為了找出模型各部分對(duì)模型性能的影響，在該區(qū)域進(jìn)行了消融研究。兩個(gè)變體進(jìn)一步從提出的DAGCN衍生而來(lái)：1) DAMMD:只有四層CNN被用于特征提取（無(wú)GCN）；2) TGCN: DAGCN無(wú)分布偏差對(duì)準(zhǔn)損失（即只有分類損失）。兩種變體的實(shí)驗(yàn)結(jié)果和提出的DAGCN在變速箱數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表4所示

?從這些結(jié)果中可以看出，所提出的DAGCN比TGCN高3.20%，比DAMMD高18.74%。如此大的改進(jìn)表明，考慮數(shù)據(jù)結(jié)構(gòu)并將其嵌入到學(xué)習(xí)的特征表示中是至關(guān)重要的。此外，調(diào)整源和目標(biāo)域特性之間的分布也可以提高模型的性能。

為了顯示三種方法學(xué)習(xí)到的特征，通過(guò)t-SNE將特征提取器最后一層的特征可視化，圖13展示了任務(wù)Q21中三種方法的可視化特征。如圖13(a)所示，兩個(gè)不同域的兩個(gè)特征都被很好地劃分為六個(gè)部分（代表6種故障類型）。同時(shí)，源域和目標(biāo)域（源域是工況2，目標(biāo)域是工況1）的同類特征也能很好地對(duì)齊。此外，從圖13(b)和(c)可以發(fā)現(xiàn)，TGCN比DAMMD學(xué)習(xí)到更好的域不變特征，(TGCN利用了數(shù)據(jù)結(jié)構(gòu)信息，有更好的域不變性特征；DAMMD利用域?qū)R準(zhǔn)則，有更好可區(qū)分性特征)這與實(shí)驗(yàn)結(jié)果一致。結(jié)果表明，所提出的DAGCN學(xué)習(xí)了域不變性和可區(qū)分性特征，這對(duì)實(shí)現(xiàn)域自適應(yīng)很重要。

總結(jié)

以上是生活随笔為你收集整理的基于域对抗图卷积网络的多变环境下故障诊断的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。