前言

核主成分分析 (KPCA) 是一種非線性數(shù)據(jù)處理方法，其核心思想是通過(guò)一個(gè)非線性映射把原始空間的數(shù)據(jù)投影到高維特征空間， 然后在高維特征空間中進(jìn)行基于主成分分析 (PCA) 的數(shù)據(jù)處理。KPCA通常有以下主要應(yīng)用：

• 降維
• 特征提取
• 去噪
• 故障檢測(cè)

由于 KPCA 的原理已經(jīng)有很多文章介紹了，本文不再贅述，側(cè)重是介紹 KPCA 的 MATLAB 實(shí)現(xiàn)。

KPCA 建模流程

KPCA 的建模流程如下^[1]：

獲取訓(xùn)練數(shù)據(jù)

計(jì)算核矩陣

核矩陣中心化

特征值分解

特征向量的標(biāo)準(zhǔn)化處理

主成分個(gè)數(shù)的選取

計(jì)算非線性主成分

計(jì)算 SPE 和 T2 統(tǒng)計(jì)量

計(jì)算 SPE 和 T2 統(tǒng)計(jì)量的控制限

通過(guò)步驟1-7可以實(shí)現(xiàn)數(shù)據(jù)降維或者特征提取（即非線性主成分）。另外，基于 KPCA 的數(shù)據(jù)重構(gòu)一般是通過(guò)求解近似的逆映射，把所獲取的非線性主成分重構(gòu)到原始空間，本文參考以下資料來(lái)實(shí)現(xiàn) KPCA 數(shù)據(jù)重構(gòu)^[2]的MATLAB實(shí)現(xiàn)：

Python 的機(jī)器學(xué)習(xí)庫(kù) Scikit-learn (sklearn)^[3]：sklearn.decomposition.KernelPCA.inverse_transform

Bak?r G H, Weston J, Sch?lkopf B. Learning to find pre-images [J]. Advances in neural information processing systems, 2004, 16: 449-456.

通過(guò)步驟1-9實(shí)現(xiàn)故障檢測(cè)模型的建立。對(duì)于測(cè)試數(shù)據(jù)，在獲取 KPCA 模型的基礎(chǔ)上，實(shí)現(xiàn)故障檢測(cè)的流程為：

獲取測(cè)試數(shù)據(jù)

計(jì)算核矩陣

核矩陣中心化

計(jì)算測(cè)試數(shù)據(jù)的非線性主成分

計(jì)算 SPE 和 T2 統(tǒng)計(jì)量

與 SPE 和 T2 統(tǒng)計(jì)量的控制限進(jìn)行比較

若超過(guò)控制限，則判斷為故障，并進(jìn)行故障診斷。

對(duì)于步驟7， 通過(guò)計(jì)算故障區(qū)間的 SPE 和 T2 統(tǒng)計(jì)量的貢獻(xiàn)率來(lái)實(shí)現(xiàn)故障診斷。本文參考以下資料來(lái)實(shí)現(xiàn)KPCA故障檢測(cè)和故障診斷^[4]：

Lee J M, Yoo C K, Choi S W, et al. Nonlinear process monitoring using kernel principal component analysis[J]. Chemical engineering science, 2004, 59(1): 223-234. （故障檢測(cè)）

Deng X, Tian X. A new fault isolation method based on unified contribution plots[C]//Proceedings of the 30th Chinese Control Conference. IEEE, 2011: 4280-4285. （故障診斷）

KPCA 的 MATLAB 實(shí)現(xiàn)

筆者在上述資料的基礎(chǔ)上，編寫(xiě)了 KPCA 的 MATLAB 實(shí)現(xiàn)代碼，主要特點(diǎn)有：

• 易于使用的函數(shù)接口
• 支持多種常用的核函數(shù)
• 支持?jǐn)?shù)據(jù)降維和重構(gòu)
• 支持故障檢測(cè)和故障診斷

源代碼已經(jīng)發(fā)布在 MATLAB 中文論壇、 GitHub 和 MathWorks 的 File Exchange:

核主元分析 (KPCA)的降維、特征提取以及故障檢測(cè)應(yīng)用?www.ilovematlab.cnhttps://github.com/iqiukp/Kernel-Principal-Component-Analysis-KPCA?github.comKernel Principal Component Analysis (KPCA)?ww2.mathworks.cn

下面介紹代碼的組成。

核函數(shù)

類 Kernel 提供了以下6種核函數(shù) ：

linear kernel function

gaussian kernel function

polynomial kernel function

sigmoid kernel function

exponential kernel function

laplacian kernel function

KPCA

KPCA的訓(xùn)練、測(cè)試和可視化由類 KernelPCA 、類 KernelPCAFunction 和 類 Visualization實(shí)現(xiàn)。

類 KernelPCA 是核心模塊，方法包括：

KernelPCA：構(gòu)造函數(shù)

train：模型訓(xùn)練

test：模型測(cè)試

reconstruct：數(shù)據(jù)重構(gòu)

computeEigenvalue：特征值分解

computeControlLimit：計(jì)算統(tǒng)計(jì)量的控制限

diagnose：故障診斷

computeContribution：統(tǒng)計(jì)量的貢獻(xiàn)率

類 KernelPCAFunction 實(shí)現(xiàn)一些輔助功能，方法包括：

checkInput：初始化參數(shù)

displayTrain：模型的信息輸出

displayTest：模型的信息輸出

類 Visualization 實(shí)現(xiàn)實(shí)驗(yàn)結(jié)果的可視化，方法包括：

map：可視化降維數(shù)據(jù)（dim = 2）

prediction：可視化故障檢測(cè)結(jié)果

reconstruct：可視化數(shù)據(jù)重構(gòu)結(jié)果

diagnose：可視化故障重構(gòu)結(jié)果

數(shù)據(jù)降維 (特征提取) 示例 （circle 數(shù)據(jù) 和 banana 數(shù)據(jù)，高斯核函數(shù)）

clc

為了方便可視化，circle 數(shù)據(jù) 和 banana 數(shù)據(jù)都是只有2個(gè)特征的數(shù)據(jù)。其降維（特征提取）結(jié)果為：

circle 數(shù)據(jù)的降維 (特征提取) 結(jié)果

banana 數(shù)據(jù)的降維 (特征提取) 結(jié)果

數(shù)據(jù)重構(gòu)示例 （circle 數(shù)據(jù) 和 banana 數(shù)據(jù)，高斯核函數(shù)）

clc

數(shù)據(jù)重構(gòu)結(jié)果為：

circle 數(shù)據(jù)的重構(gòu)結(jié)果

banana 數(shù)據(jù)的重構(gòu)結(jié)果

故障檢測(cè)示例 （TE 過(guò)程數(shù)據(jù)，高斯核函數(shù)）

clc

TE過(guò)程是一個(gè)典型的工業(yè)過(guò)程，本文實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)為500*52，測(cè)試數(shù)據(jù)為960*52，數(shù)據(jù)矩陣的行為樣本個(gè)數(shù)，列為特征個(gè)數(shù)。故障檢測(cè)結(jié)果為：

故障檢測(cè)結(jié)果

故障診斷示例 （TE 過(guò)程數(shù)據(jù)，高斯核函數(shù)）

clc

診斷結(jié)果：

故障診斷結(jié)果

注意

模型訓(xùn)練和測(cè)試結(jié)果存儲(chǔ)在類 KernelKPCA 創(chuàng)建對(duì)象的屬性 model 和 prediction 中

參數(shù)說(shuō)明請(qǐng)閱讀 contents.m 文件

核心模塊采用 classdef ... end 的類定義，代碼適用的 MATLAB 最低版本為 R2008a

此代碼僅供參考

小尾巴

如果這篇文章對(duì)您有所幫助，歡迎點(diǎn)贊、關(guān)注、收藏，同時(shí)也歡迎專注我的個(gè)人專欄，分享與交流機(jī)器學(xué)習(xí)算法和編程實(shí)踐心得。

機(jī)器學(xué)習(xí)與編程實(shí)踐?zhuanlan.zhihu.com

參考

^Lee J M, Yoo C K, Choi S W, et al. Nonlinear process monitoring using kernel principal component analysis[J]. Chemical engineering science, 2004, 59(1): 223-234.

^Bak?r G H, Weston J, Sch?lkopf B. Learning to find pre-images [J]. Advances in neural information processing systems, 2004, 16: 449-456

^https://github.com/scikit-learn/scikit-learn/blob/95d4f0841/sklearn/decomposition/_kernel_pca.py#L341

^Deng X, Tian X. A new fault isolation method based on unified contribution plots[C]//Proceedings of the 30th Chinese Control Conference. IEEE, 2011: 4280-4285.

總結(jié)

以上是生活随笔為你收集整理的matlab 数据降维和重构_核主成分分析（Kernel PCA, KPCA）的MATLAB 实现的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。