TSK模糊系統優化算法----MGDB

• 1、Motivation
• 2、Overviw of the TSK Fuzzy System Optimize
• • 2.1 Selct Optimize direction
  • 2.2 梯度下降優化措施
• 3、MGDB-RDA算法介紹
• • 3.1 Framework
  • 3.2 Algorithm introduction
• 4、Experients

paper: https://ieeexplore.ieee.org/document/8930057/references#references
code:https://github.com/drwuHUST/MBGD_RDA

1、Motivation

??本文針對回歸問題，將TSK模糊系統與神經網絡常用優化方法進行結合，引入了Drpout、正則化以及AdaBound方法，并將其修正為適合回歸問題優化的新方法，同時也解決了TSK模糊系統不能應用于不同大小數據集、泛化能力差的缺點。
??1、將三種強大的神經網絡優化技術，即MBGD、正則化和AdaBound，擴展到TSK模糊系統。
??2、提出了三種新的技術（ (DropRule, DropMF,
and DropMembership)，專門用于訓練TSK模糊系統。
??3、最終的算法，正則化MBGD，DropRule和AdaBound（MBGD-RDA），在10個不同大小的應用領域的真實數據集上顯示了優越的性能。

2、Overviw of the TSK Fuzzy System Optimize

2.1 Selct Optimize direction

??TSK模糊系統廣泛應用于各行各業，同時也取得了很多的成就，本文主要集中于TSK模糊系統在回歸問題上的應用。同時在TSK模糊系統優化方面，許多學者也做出了努力，但優化方法依舊集中于以下三個方面：1、進化算法，通過遺傳迭代的方式篩選出最優的后代，從而保證全局最優。2、梯度下降，通過反向傳播機制修正權重，目前已在神經模糊系統中有所應用。3、梯度下降和最小二乘估計，在基于模糊推理的自適應網絡（ANFIS）中提出，先驗參數由梯度下降優化，后驗參數由最小二乘法估計，相比梯度下降更好更快。但以上方法均存在不能應用于大數據的問題，大數據不僅數據維度大、數據量也大，類型多樣，速度快。本文中，則將大數據進行降維，采用主成分分析降維數據，主要處理數據體積大的問題。
由于進化算法需要對每個個體進行計算和迭代，所需內存以及計算代價較大，梯度下降和最小二乘法又容易出現過擬合問題，因此，在優化方法上，我們選擇了梯度下降。

2.2 梯度下降優化措施

??梯度下降主要可以分為batch gradient descent、 stochastic gradient descent、mini-batch gradient descent。其中batch gradient descent對于大數據可能存在內存不足，甚至不能執行的問題，stochastic gradient descent穩定性較差，而mini-batch gradient descent解決了以上兩個問題，并在深度學習領域得到了驗證。經過Mamdani neuro-fuzzy systems上的對比，將其應用于模糊系統是較好的。
??在梯度下降過程中，學習率是很重要的，目前尚未有人使用性能較好的AdaBound對TSK模糊系統進行學習。
??正則化操作常用于解決提升模型泛化性和減少過擬合問題。而近些年提出的新方法DropOut、 DropConnect也能提升模型的泛化性以及降低模型的過擬合，并在深度學習領域也進行了驗證，在TSK模糊系統上應用較少。

3、MGDB-RDA算法介紹

3.1 Framework

算法如下：




其中，算法的返回值是值誤差最小，但不一定是最優的值。可以通過迭代數結果比較得到最佳的返回值。

3.2 Algorithm introduction

??1、對于TSK模糊系統，我們在前面的文章中已經提過，并詳細解釋，具體可看TSK模糊系統。在隸屬度函數上本文只考慮 Gaussian MF。
??2、我們采用L2正則化來定義損失函數，增加懲罰項。這里xn和yn分別表示輸入輸出的標簽，y(xn)表示預測結果，其他參數如下
??3、Mini-Batch Gradient Descent (MBGD）
對于(7)中的損失函數，其梯度計算公式如下：

后面較為復雜，看原文

??4、DropRule是指在訓練過程中隨機丟棄一些規則，但在測試中使用所有規則。激勵水平則設置為(0,1)。TSK模糊系統的輸出則會再次被激勵水平的加權平均值計算。而激勵水平指的是各個模糊規則結果對于最終結果的貢獻，具體如圖：

具體原理為通過隨機刪除一些規則，我們強制每個規則使用隨機選擇的規則子集，因此每個規則都應該最大化自己的建模能力，而不是過于依賴其他規則。這可能有助于提高最終的TSK模糊系統的泛化性。
4、AdaBound由于其限制自適應學習率的上下界，因此，學習率的極端情況并不會出現，同時隨著迭代次數的增加，AdaBound會使得學習率不斷收斂為一個常數。本文所使用的下界和上界為

4、Experients

4.1 dataset

我們將最大輸入維數限制為5個：如果一個數據集有超過5個特征，那么就使用主成分分析將它們減少為5個特征。算法對比：嶺回歸算法，嶺回歸系數為0.05

MBDG，小批量梯度下降算法： batchsize = 64，學習率0.01

MBDG和正則化，入=0.05

MBDG和DropRule P=0.5，一半的模糊規則隨機為0

MBDG和DropRule和正則化，其他參數如上

MBDG和AdaBound ，其中α=0.01，β1=0.9，β2=0.999，∈=10^-8

MBGD 和DropRule和正則化和AdaBound

訓練樣本和測試樣本73分。

計算代價：

剩余包括參數靈敏性實驗、ANFIS對比、Adam對比等等，均用圖片展示，移步原文。

總結

以上是生活随笔為你收集整理的Fuzzy SyStem2020 | 论文阅读《Optimize TSK Fuzzy Systems for Regression Problems》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。