最近做圖像分類，數據集的整理真的好費時間，找到一個代碼，非常好使，推薦給大家。

實現的功能是，將一個文件夾下的每個子文件夾的一半數據分割出來并保存，生成相應的train.txt,test.txt。

自己弄數據集，真是非一般的體驗呀。雖然說這樣算是正在意義上經歷一個完整的項目，被迫學習了很多數據處理的問題。但是搞數據真是太蛋疼了。

想了很多方法，但最后發現其實自己整理的數據，最合理的分配訓練集和測試集的方法。就是先把數據全部整到一起，然后按一定比例從中隨機選出訓練集和測試集(這兩個肯定是不能重復的)，比如這里的25%作為測試集，75%作為訓練集。

編寫這個程序一開始，主要是有些函數不知道怎么用。編這程序是發現了即使是matlab編寫程序都要用disp輸出一些信息，這樣更方便查看程序運行進度。其余就是新學習了一些函數，再把之前編寫的程序合起來。

clear;close all;clc;

%%

%程序實現的功能

%1、把指定路徑的數據(已按類別放置在不同的文件夾中)，隨機的把其中的75%的劃分為訓練集，25%劃分為測試集

%2、訓練集按類別放在指定路徑的train文件夾中，測試集按類別放在指定路徑的val文件夾中

%3、在train和val文件夾的同級文件夾按照caffe需求生成對應的train.txt和val.txt的label

%%

%程序中用到的之前不清楚的函數如下

%1)disp：用來在界面上顯示一些必要的信息，方便查看程序進度。disp(' ')可以起到在界面上換行顯示的作用

%2)str2double：帶起之前一直使用的str2num,matlab的提示是這樣函數效率更高。而且這兩個函數輸出的數據類型都是double類型。

%3)randperm(n)：生成一個1到n直接的隨機數列

%4)copyfile(a,b)：把文件a復制到路徑b，路徑b帶有最后的\符號

%

%

%

%%

disp('程序開始執行');

%%%%%%需要更改的參數(即兩個路徑)%%%%%%%%%%%%%%%%%%%%%%%%%%

pathSource='G:\遙感數據庫\1\AID';%AID文件夾下有30個文件夾

pathDestination='G:\遙感數據庫\deal';%保存分割后數據集以及train.txt和test.txt

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%在目標路徑創建train、val文件夾

pathCreDirTrain=[pathDestination,'\','train','\'];

mkdir(pathCreDirTrain);

pathCreDirVal=[pathDestination,'\','val','\'];

mkdir(pathCreDirVal);

%讀取文件夾列表，這種方式讀取會保留原文件.(在結構體中第一個)和上一層目錄..(在結構體第二個)

dirSourceList=dir(pathSource);

countSourceList=length(dirSourceList);%文件夾個數

%拷貝數據到目標路徑

for numDirList=3:countSourceList

%if(length(dirSourceList(numDirList).name)>=2)%根據這個過濾掉在此文件夾可能的train.txt、val.txt、count.txt文件

%continue;

%end

fileName=dir([pathSource,'\',dirSourceList(numDirList).name]);%讀取子文件夾中的圖片

%統計子文件夾中的文件個數

fileSum=length(fileName);

fileNum=fileSum-2;%為了生成對應于讀取的從3開始的文件，只能先減去2，然后生成隨機數后加上2

disp(' ');%加入一個空格，作為在界面顯示中一個類似于換行的工具

%在程序中增加一些輸出信息，方便查看數據內容

disp(['原始數據子文件夾',num2str(dirSourceList(numDirList).name),'中有圖片：',num2str(fileNum)]);

%由于matlab讀取文件的規則，在文件列表中肯定最前面會有.和..這兩個文件

%所以想到先生成fileSum-2范圍內的隨機數，然后再各項加2，就為真正要找的隨機數

numFileList=randperm(fileNum);

numFileList=numFileList+2;

partitionPosition=round(fileNum/2);%這是通過四舍五入確定的分割位置。這是劃分數據的比例，2是按一半劃分，如果是4的話，'先拷貝val(前25%)后拷貝train(后75%)'

%在程序中增加一些輸出信息，方便查看數據內容

% disp(['先拷貝val(前25%)后拷貝train(后75%)']);

%%

%拷貝測試集數據val

%在程序中增加一些輸出信息，方便查看程序執行進度

disp(['在val文件夾下創建子文件夾',num2str(dirSourceList(numDirList).name)]);

disp(['拷貝',num2str(partitionPosition),'張圖片到val文件夾下子文件夾',num2str(dirSourceList(numDirList).name),'中']);

%不知道這種拷貝東西到別的地方，是先拷貝數據量比較多的部分，還是數據量比較少的部分，這有什么講究。

%在目標val文件夾中，創建對應的子文件夾

pathCreValDir=[pathCreDirVal,dirSourceList(numDirList).name,'\'];

mkdir(pathCreValDir);

%在程序中增加一些輸出信息，方便查看程序執行進度

disp(['復制測試數據到val子文件夾',num2str(dirSourceList(numDirList).name),'中']);

%復制圖片到指定路徑

for picNum=1:partitionPosition%由于是要讀取numFileList中生成的隨機數據，所以從1開始

copyfile([pathSource,'\',dirSourceList(numDirList).name,'\',fileName(numFileList(picNum)).name], ...

pathCreValDir);

end

%%

%拷貝訓練集數據train

%在程序中增加一些輸出信息，方便查看程序執行進度

disp(['在train文件夾下創建子文件夾',num2str(dirSourceList(numDirList).name)]);

disp(['拷貝',num2str(fileNum-partitionPosition),'張圖片到train文件夾下子文件夾',num2str(dirSourceList(numDirList).name),'中']);

%在目標train文件夾中，創建對應的子文件夾

pathCreTrainDir=[pathCreDirTrain,dirSourceList(numDirList).name,'\'];

mkdir(pathCreTrainDir);

%在程序中增加一些輸出信息，方便查看程序執行進度

disp(['復制訓練數據到Train子文件夾',num2str(dirSourceList(numDirList).name),'中']);

%復制圖片到指定路徑

for picNum=partitionPosition+1:fileNum%由于是要讀取numFileList中生成的隨機數據，所以從1開始

copyfile([pathSource,'\',dirSourceList(numDirList).name,'\',fileName(numFileList(picNum)).name], ...

pathCreTrainDir);

end

end

disp('數據拷貝完畢');

%%

%生成label

disp('開始生成label');

%考慮到最好寫個程序，能夠一步完整所有操作。所以在這程序下面加上生成label的功能

%在上面的程序中，已經有變量pathCreDirTrain(目標Train的路徑)、pathCreDirVal(目標Val的路徑)

%先生成train文件夾中的label

disp('開始生成trainlabel');

dirTrainList=dir(pathCreDirTrain);%讀取文件夾列表，這種方式讀取會保留原文件.(在結構體中第一個)和上一層目錄..(在結構體第二個)

countTrainList=length(dirTrainList);%文件夾個數

fid = fopen([pathDestination,'\','train.txt'], 'w');%打開train文件夾時，對應的文本文件

for numList=3:countTrainList%文件夾從3開始

if(length(dirTrainList(numList).name)>=2)%根據這個過濾掉在此文件夾可能的train.txt文件

continue;

end

fileName=dir([pathCreDirTrain,'\',dirTrainList(numList).name]);%讀取子文件夾

fileSum=length(fileName);%統計子文件夾中的文件個數

for fileNum=3:fileSum%文件從3開始

fprintf(fid,'%s', [dirTrainList(numList).name,'/',fileName(fileNum).name]);%輸入：子文件/圖片名稱

fprintf(fid,'%s', ' ');%空格間隔符

fprintf(fid,'%d', str2double(dirTrainList(numList).name));%加入label,即文件夾名稱

fprintf(fid,'\n');%換行

end

end

fclose(fid);%關閉文本文件

fclose('all');%關閉所有連接，防止沒關掉的情況

disp('trainlabel生成完畢');

%在上面的程序中，已經有變量pathCreDirTrain(目標Train的路徑)、pathCreDirVal(目標Val的路徑)

%先生成train文件夾中的label

disp('開始生成vallabel');

dirValList=dir(pathCreDirVal);%讀取文件夾列表，這種方式讀取會保留原文件.(在結構體中第一個)和上一層目錄..(在結構體第二個)

countValList=length(dirValList);%文件夾個數

fid = fopen([pathDestination,'\','val.txt'], 'w');%打開train文件夾時，對應的文本文件

for numList=3:countValList%文件夾從3開始

if(length(dirValList(numList).name)>=2)%根據這個過濾掉在此文件夾可能的train.txt文件

continue;

end

fileName=dir([pathCreDirVal,'\',dirValList(numList).name]);%讀取子文件夾

fileSum=length(fileName);%統計子文件夾中的文件個數

for fileNum=3:fileSum%文件從3開始

fprintf(fid,'%s', [dirValList(numList).name,'/',fileName(fileNum).name]);%輸入：子文件/圖片名稱

fprintf(fid,'%s', ' ');%空格間隔符

fprintf(fid,'%d', str2double(dirValList(numList).name));%加入label,即文件夾名稱

fprintf(fid,'\n');%換行

end

end

fclose(fid);%關閉文本文件

fclose('all');%關閉所有連接，防止沒關掉的情況

disp('vallabel生成完畢');

總結

以上是生活随笔為你收集整理的matlab划分训练集验证和测试集代码_数据集划分为训练集和测试集并生成标签--matlab代码...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。