Fisher線性判別算法原理及實(shí)現(xiàn) MATLAB

一、Fisher判別器原理

二、代碼實(shí)現(xiàn)

clc; close all; clear; %% 生成數(shù)據(jù) rng(2020); %指定一個(gè)種子 mu1 = [0 3]; sigma1 = [0.5 0; 0 0.5]; data1 = mvnrnd(mu1,sigma1,300); %生成一個(gè)300*2的矩陣，每一列的數(shù)據(jù)分別以0，3為均值，標(biāo)準(zhǔn)差都為0.5rng(2021); %指定一個(gè)種子 mu2 = [6 7]; sigma2 = [0.5 0; 0 0.5]; data2 = mvnrnd(mu2,sigma2,300); %生成一個(gè)300*2的矩陣，每一列的數(shù)據(jù)分別以6，7為均值，標(biāo)準(zhǔn)差都為0.5% rng(2022); %指定一個(gè)種子 % mu3 = [5 -5]; % sigma3 = [0.5 0; % 0 0.5]; % data3 = mvnrnd(mu3,sigma3,300); %生成一個(gè)300*2的矩陣，每一列的數(shù)據(jù)分別以5，-5為均值，標(biāo)準(zhǔn)差都為0.5%% figure(1),plot(data1(:,1),data1(:,2),'r+');hold on; plot(data2(:,1),data2(:,2),'b*');hold on; % figure(3),plot(data3(:,1),data3(:,2),'m^');hold on;%% mu_1=mean(data1,1); %求data1數(shù)據(jù)集的均值 mean是求每一列的均值 mu_2=mean(data2,1); %求data2數(shù)據(jù)集的均值 mean是求每一列的均值 tmp=data1-repmat(mu_1,[size(data1,1),1]); %size(data1,1)返回data1第一維的大小 repmat將mu_1矩陣當(dāng)成一個(gè)數(shù)，然后按后面的向量排列 S1=tmp'*tmp; %計(jì)算出S1 下面的操作是一樣的 tmp=data2-repmat(mu_2,[size(data2,1),1]); S2=tmp'*tmp; Sw=S1+S2; w_star=Sw\(mu_1-mu_2)'; %這邊直接用結(jié)論 注意這里的mu_1 mu_2是行向量，而PPT上的為列向量，所以多了個(gè)轉(zhuǎn)置，實(shí)際上是一樣的%% Plot w_star Data=[data1;data2]; %將兩個(gè)數(shù)據(jù)集合并成一個(gè)數(shù)據(jù)集 [xmin,ymin]=min(Data,[],1); %返回每一列的最小值 [xmax,ymax]=max(Data,[],1); %返回每一列的最大值 X=xmin:0.1:xmax; %采樣 k=w_star(2)/(w_star(1)+eps);%求出判別函數(shù)的斜率 plot(X,k*X-4,'k--'); %畫(huà)出判別函數(shù)，-4只是上下平移，并不會(huì)影響到判別函數(shù)的方向，這里只是為了不讓它穿過(guò)樣本%% w_star=-w_star; %反向 y1=data1*w_star; %計(jì)算data1中每一個(gè)樣本的投影 y2=data2*w_star; %計(jì)算data2中每一個(gè)樣本的投影 figure(2),plot(y1,zeros(length(y1)),'r+');hold on; plot(y2,zeros(length(y2)),'b*');hold on; %橫坐標(biāo)是它們的投影，縱坐標(biāo)取零是便于在一維中比較，可以發(fā)現(xiàn)兩類樣本分開(kāi)了%% Sw-1Sb特征值分解 Sb=(mu_1-mu_2)'*(mu_1-mu_2); %注意這里的mu_1 mu_2是行向量，而PPT上的為列向量，所以多了個(gè)轉(zhuǎn)置，實(shí)際上是一樣的 Tmp=Sw\Sb; % Jf矩陣 [V,D]=eig(Tmp); %V儲(chǔ)存特征向量，D儲(chǔ)存特征值，D是個(gè)對(duì)角陣，特征值儲(chǔ)存在對(duì)角線上 D=diag(D); %提取出特征值行向量 [~,ind]=max(D);%最大特征值的序號(hào) v=V(:,ind); %提取出與最大特征值對(duì)應(yīng)的特征向量 k1=v(2)/(v(1)+eps); figure(3),plot(data1(:,1),data1(:,2),'r+');hold on; plot(data2(:,1),data2(:,2),'b*');hold on; plot(X,k*X-4,'k--');hold on; plot(X,k1*X-6,'m--'); %可以發(fā)現(xiàn)與第一種方法得到的結(jié)果是一樣的%% G(x)=w'x+w0 mu_y1=mean(y1); %計(jì)算data1數(shù)據(jù)投影的平均值 mu_y2=mean(y2); %計(jì)算data2數(shù)據(jù)投影的平均值 d=(mu_y1+mu_y2)/2; %d就是閾值 w0=-d; figure(4),plot(data1(:,1),data1(:,2),'r+');hold on; plot(data2(:,1),data2(:,2),'b*');hold on; plot(X,k*X-4,'k--');hold on; Y=(-w_star(1)*X-w0)/(w_star(2));%令G(x)=0解出y即可 注意x向量的第一個(gè)元素是橫坐標(biāo)，第二個(gè)元素是縱坐標(biāo) plot(X,Y,'m-'); axis equal;

三、實(shí)驗(yàn)結(jié)果

Figure 1:

Figure 2:

Figure 3:

Figure 4:

總結(jié)

以上是生活随笔為你收集整理的Fisher线性判别算法原理及实现 MATLAB的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。