ICLR-2018

摘要

對于多維或高維數(shù)據(jù)的無監(jiān)督異常檢測在基礎(chǔ)機(jī)器學(xué)習(xí)研究和工業(yè)應(yīng)用中都是非常重要的，其密度估計是核心。雖然先前基于維數(shù)降低隨后密度估計的方法取得了豐碩成果，但它們主要受到模型學(xué)習(xí)的解耦，其優(yōu)化目標(biāo)不一致，并且無法在低維空間中保留基本信息。在本文中，我們提出了深度自動編碼高斯混合模型（DAGMM）用于無??監(jiān)督異常檢測。我們的模型利用深度自動編碼器為每個輸入數(shù)據(jù)點(diǎn)生成低維表示和重建誤差，并進(jìn)一步輸入高斯混合模型（GMM）。 DAGMM不是使用解耦的兩階段訓(xùn)練和標(biāo)準(zhǔn)的期望最大化（EM）算法，而是以端到端的方式同時優(yōu)化深度自動編碼器和混合模型的參數(shù)，利用單獨(dú)的估計網(wǎng)絡(luò)來促進(jìn)混合模型的參數(shù)學(xué)習(xí)。聯(lián)合優(yōu)化很好地平衡了自動編碼重建，潛在表示的密度估計和正則化，有助于自動編碼器逃離不太吸引人的局部最優(yōu)，并進(jìn)一步減少重建錯誤，避免了預(yù)訓(xùn)練的需要。幾個公共基準(zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，DAGMM明顯優(yōu)于最先進(jìn)的異常檢測技術(shù)，并且基于標(biāo)準(zhǔn)F1得分可實(shí)現(xiàn)高達(dá)14％的改進(jìn)。

Introduction

在本文中，我們提出了深度自動編碼高斯混合模型（DAGMM），這是一個深度學(xué)習(xí)框架，從幾個方面解決了無監(jiān)督異常檢測中的上述挑戰(zhàn)。

首先，DAGMM在低維空間中保留輸入樣本的關(guān)鍵信息，該低維空間包括由維數(shù)減少和誘導(dǎo)重建誤差發(fā)現(xiàn)的減小維度的特征。從圖1所示的例子中，我們可以看到異常在兩個方面與正常樣本不同：（1）異常可以在縮小的維度中顯著偏離，其特征以不同的方式相關(guān); （2）與正常樣本相比，異常難以重建。與僅涉及具有次優(yōu)性能的方面之一（Zimek等人（2012）; Zhai等人（2016））的現(xiàn)有方法不同，DAGMM利用稱為壓縮網(wǎng)絡(luò)的子網(wǎng)絡(luò)通過自動編碼器執(zhí)行降維，通過連接來自編碼的減少的低維特征和來自解碼的重建誤差，為輸入樣本準(zhǔn)備低維表示。

其次，DAGMM在學(xué)習(xí)的低維空間上利用高斯混合模型（GMM）來處理具有復(fù)雜結(jié)構(gòu)的輸入數(shù)據(jù)的密度估計任務(wù)，這對于現(xiàn)有工作中使用的簡單模型來說相當(dāng)困難（Zhai等人（2016） ））。雖然GMM具有強(qiáng)大的能力，但它也在模型學(xué)習(xí)中引入了新的挑戰(zhàn)。由于GMM通常通過諸如期望最大化（EM）（Huber（2011））等交替算法來學(xué)習(xí)，因此難以進(jìn)行維數(shù)降低和密度估計的聯(lián)合優(yōu)化，有利于GMM學(xué)習(xí)，GMM學(xué)習(xí)通常退化為傳統(tǒng)的兩步法做法。為了解決這一培訓(xùn)挑戰(zhàn)，DAGMM利用稱為估計網(wǎng)絡(luò)的子網(wǎng)絡(luò)，**該子網(wǎng)絡(luò)從壓縮網(wǎng)絡(luò)獲取低維輸入并輸出每個樣本的混合成員預(yù)測。**利用預(yù)測的樣本成員資格，我們可以直接估計GMM的參數(shù)，便于評估輸入樣本的能量/可能性。通過同時最小化來自壓縮網(wǎng)絡(luò)的重建誤差和來自估計網(wǎng)絡(luò)的樣本能量，我們可以聯(lián)合訓(xùn)練直接幫助目標(biāo)密度估計任務(wù)的維數(shù)減少組件。

最后，DAGMM對端到端培訓(xùn)很友好。通常，通過端到端訓(xùn)練很難學(xué)習(xí)深度自動編碼器，因?yàn)樗鼈兒苋菀紫萑氩荒敲从形Φ木植孔罴褷顟B(tài)，因此廣泛采用預(yù)訓(xùn)練（Vincent et al。（2010）; Yang et al。（ 2017a）;謝等人（2016））。但是，預(yù)訓(xùn)練限制了調(diào)整降維行為的可能性，因?yàn)楹茈y通過微調(diào)對訓(xùn)練有素的自動編碼器進(jìn)行任何重大改變。我們的實(shí)證研究表明，DAGMM通過端到端訓(xùn)練得到了充分的學(xué)習(xí)，因?yàn)楣烙嬀W(wǎng)絡(luò)引入的正則化極大地幫助壓縮網(wǎng)絡(luò)中的自動編碼器擺脫了不太吸引人的局部最優(yōu)。幾個公共基準(zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)表明，DAGMM具有優(yōu)于現(xiàn)有技術(shù)的卓越性能，異常檢測的F1得分提高了14％。此外，我們觀察到端到端訓(xùn)練中DAGMM中自動編碼器的重建誤差與其預(yù)訓(xùn)練對應(yīng)物的重建誤差一樣低，而來自估計網(wǎng)絡(luò)沒有正則化的自動編碼器的重建誤差保持不變高。此外，端到端訓(xùn)練的DAGMM明顯優(yōu)于依賴于預(yù)先訓(xùn)練的自動編碼器的所有基線方法。

OVERVIEW

深度自動編碼高斯混合模型（DAGMM）由兩個主要部分組成：壓縮網(wǎng)絡(luò)和估計網(wǎng)絡(luò)。 如圖2所示，DAGMM的工作原理如下：（1）壓縮網(wǎng)絡(luò)通過深度自動編碼器對輸入樣本進(jìn)行降維，從縮小的空間和重建誤差特征中準(zhǔn)備它們的低維表示，并將表示提供給 隨后的估算網(wǎng)絡(luò); （2）估計網(wǎng)絡(luò)采用饋送，并在高斯混合模型（GMM）的框架中預(yù)測它們的似然/能量。

總結(jié)

以上是生活随笔為你收集整理的DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。