Fuzzy System

• 1.摘要
• 2.引言
• 3. algorithm
• • 3.1 TSK介紹見前面的論文
  • 3.2 均勻正則化
  • 3.3 Batch Normalization（BN）
  • 4 實驗結果
  • • 4.1數據集介紹

本文相對簡單，創新點主要為實際問題的解決

1.摘要

TSK模糊系統作為一種高度可解釋性的機器學習方法，在處理大數據或者高維度數據上存在一定的缺陷。因此本文提出了一個新的TSK模糊系統算法來高效的處理這些數據。本文主要創新點有兩個，一個是引入了均勻正則化（UR)，強迫所有的規則有著相似的輸出，這提升了模型的泛化性。另一個是引入了批處理歸一化（BN），它將BN從深度神經網絡擴展到TSK模糊分類器，以加快收斂速度，提高泛化性能。經過十二個數劇集的驗證，得到了良好的效果。

2.引言

針對TSK模糊系統處理大數據或者高維度的數問題，許多人做出了努力，包括使用降維算法、特征提取等。哈有一些人聚焦于學習原始的稀疏子空間特征，從而減少每個模糊規則的參數量。
MGDB自從被應用與TSK模糊系統后，許多人進行了改進，包括adding a momentum， Adam，前兩者的結合，以及AdaBound，本文實驗發現AdaBound更好。但盡管這樣的MGDB-TSK模糊系統有著較好的性能，但是容易陷入局部最優以及梯度消失問題，基于此，在深度學習解決類似問題的適合提出了UR和BN，本文則跟隨實驗室之前的研究，繼續優化TSK模糊系統，將BN和UR與TSK模糊系統結合，解決大數據以及局部最優的問題。
貢獻如下：
1、提出了針對交叉熵（cross-entropy loss）的UR公式，迫使所有的規則平均，以提高泛化性。
2、擴展BN進入TSK模糊系統，展示了其快速收斂性以及準確率。
3、整合BN和UR得到了良好的性能。

3. algorithm

3.1 TSK介紹見前面的論文

此處不再贅述 ,點擊 TSK Fuzzy System

3.2 均勻正則化

混合專家系統與TSK模糊系統類似，當多個專家共同決策時，如果某一個或多個專家的準確率更高，則偏向于某個或某幾個專家的決策，給與他/他們更高的權重。但也因此造成了富者越富的情況，損失了其余專家給出的評判信息，不能很好的應對各種情況。在TSK模糊系統存在類似的情況，因此我們提出均勻正則化，將所有專家給出的意見權重統一，這樣就能最大程度的適用于各種情況，提升泛化性。
具體公式如下
因此，我們的損失函數變成了這個，類似于L2正則化，但是L2正則化是增加了懲罰項，這個是增加了統一正則化操作。

3.3 Batch Normalization（BN）

BN主要作用是引入兩個參數，將每一個數進行歸一化操作加速訓練過程，

這里的mb和δb是一批樣本的均值和標準差，γ和β是學習的參數，∈是參數，1*10-8避免標準差為0，

由圖中可知，將訓練階段模糊規則計算完之后，在輸出階段對所有模糊規則結果使用BN，這樣就可以將其貢獻歸一化，在計算輸出，則解決了模型的泛化性問題。在測試階段具體介紹如下：

同時，我們也可以對輸入數據進行歸一化操作，將數據分布歸一化后送入TSK模糊系統運行，基于此，也可以減少不同數據之間所產生的各異性公式如下：。

不同的BN操作對TSK模糊系統的影響如下圖：

4 實驗結果

4.1數據集介紹

不同算法之間原始準確率（RCA)對比：
DT: Decision tree；
RF: Random forest；
PART : The PART (partial decision tree) classifier；
JRip : The RIPPER (Repeated Incremental Pruning to Produce Error Reduction) classifier；
TSK-FCM-LSE；
TSK-MBGD: We used MBGD and AdaBound；
TSK-MBGD-UR: MBGD, AdaBound and UR；
TSK-MBGD-BN: We used MBGD, AdaBound and BN；
TSK-MBGD-UR-BN: We used MBGD, AdaBound, BN and UR；

平衡準確率：the mean of the per-class RCAs

p值檢驗差異性：

首先，對于非常高維的數據，輸入空間的模糊劃分變得非常復雜，當使用乘積t-范數時，可能會發生數值下流。進一步的研究應考慮自動選擇最相關的屬性作為前提的規則。其次，我們將研究如何提高數據驅動的TSK模糊系統的可解釋性。這也與第一個問題部分相關聯，因為減少前因子的數量可以提高規則的可解釋性。
最后，我們需要指出的是，我們沒有考慮到數據中的各種不確定性，如缺失值、錯誤值、噪聲、異常值等，這在現實應用中經常發生。一些技術，例如粗糙集，可以與模糊集集成來處理它們。或者，本文中使用的1型TSK模糊系統也可以擴展到區間或一般的2型模糊系統，以應對更多的不確定性。

總結

以上是生活随笔為你收集整理的Fuzzy System2021|论文阅读《Optimize TSK Fuzzy Systems for Classification Problems》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。