文章目錄

• Multi-layer intrusion detection system with ExtraTrees feature selection, extreme learning machine ensemble, and softmax aggregation
• • 論文摘要
  • 論文解決的問題
  • 1.模型結構
  • 2.ExtraTree特征選擇
  • 3.極限學習機
  • 4.softmax層

Multi-layer intrusion detection system with ExtraTrees feature selection, extreme learning machine ensemble, and softmax aggregation

論文摘要

基于機器學習的入侵檢測系統的最新進展確實優于其他技術，但在檢測多類攻擊時卻難以達到較高的準確率。我們提出了一種分三個階段工作的方法。

首先，使用ExtraTrees分類器為每種攻擊類型分別選擇相關特征。

然后，利用ELM的集成分別檢測每種類型的攻擊。

最后，利用softmax層對所有ELM的結果進行組合，對結果進行細化，進一步提高精度。

我們的系統背后的直覺是，多類分類與二元分類相比是相當困難的。因此，我們將多類問題分成多個二進制分類。

我們在UNSW和KDDcup99數據集上測試了我們的方法。結果清楚地表明，我們提出的方法能夠優于所有其他方法，具有較高的利潤率。該系統在UNSW和KDDcup99數據集上的多分類準確率分別為98.24%和99.76%。

此外，我們使用加權極端學習機來緩解攻擊分類不均衡的問題，進一步提高了性能。最后，利用gpu并行實現入侵檢測系統的集成，實現實時入侵檢測。

論文解決的問題

提出了一種使用ExtraTree進行特征選擇的想法。

提出了一種使用WELM（加權極限學習機）的集成思想，既能進行多分類，又能緩解數據集不平衡。

1.模型結構

說明：

對于第一個極限學習機（ELM）而言，我們用一個ExtraTree為Normal類型的樣本進行特征選擇，然后用極限學習機對這個已經進行過特征選擇的樣本進行訓練，得到一個訓練好的極限學習機$EL{M}_1$（注意$EL{M}_1$只是一個二分類器，如果樣本為Normal，則輸出1；為其他類型，則輸出0）。

以此類推，對每個類型都執行上面的操作，會獲得$EL{M}_2、EL{M}_3...、EL{M}_N$，即有N個類型的樣本， 就訓練N個ELM

最后使用softmax層對每個極限學習機的結果進行集成，得到最終結果

2.ExtraTree特征選擇

ExtraTree：極限隨機樹，是隨機森林的一個變種，相比于隨機森林，它的每個樹都使用原始數據集，不進行隨機選擇樣本這步操作。并且在進行分裂節點時，不采用基于信息增益，Gini系數等方法，而是隨機選擇一個特征進行分裂。

特征選擇：這步感覺論文并沒有講清楚，所以我覺得可以使用隨機森林進行特征選擇的方法進行特征選擇。

3.極限學習機

參考資料：極限學習機

可以先看一下上面的參考資料了解一下極限學習機，本文在它的基礎上進行了改進，為每個極限學習機加權以減輕數據集不平衡的問題。

具體改進在于：
求$H$的廣義逆：

注意：此時的W是一個n*n的對角矩陣（n為label個數），對角線是就是為每個類型分配的權重。

至于權重如何分配，可以自行百度，選擇任意算法。

4.softmax層

對每個ELM的輸出而言，只有0和1。所以如果某ELM判斷該樣本label=1，則表示為$y_i=1$，判斷該樣本label=0，則表示為$y_i=0$，用以下公式計算樣本屬于某$類型i$的概率：

計算完該樣本屬于每個類型i的概率完之后會得到一個N元組$（y_1，y_2，...，y_n）$（注意此時的$y_i$對應上面的$f(y{)}_i$）,用以下公式計算出結果的交叉熵損失：

此時的$t_i$我們也把它變成N元組，比如如果樣本i屬于Normal類型，則$t_i=(1,0,0...,0)$。

總結

以上是生活随笔為你收集整理的研究型论文_具有 ExtraTrees 特征选择、极限学习机集成和 softmax 聚合的多层入侵检测系统（英文论文）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。