深度學習數據集的準備

下面介紹一個做了很久的項目，其中最簡單的一部分是將該乳腺X線數據集進行有病沒病的分類訓練，說到訓練最基本的就是數據集的準備，在這里先講講數據集怎么準備。下圖是原始數據集的一部分。數據集在我電腦路徑為C:\Users\Administrator.SKY-20180518VHY\Desktop\my

0中的數據

1中的數據

創建***空***的文件夾制作train集和validation set如下圖，路徑為C:\Users\Administrator.SKY-20180518VHY\Desktop\1

對其進行準備，詳細程序及講解如下：

# -*- coding: utf-8 -*- """ Created on Thu Oct 25 10:40:13 2018@author:dj """ #導入一些庫之前博客對這些庫有所講解[添加鏈接描述](https://blog.csdn.net/weixin_40123108/article/details/83340744) import numpy as np import os import random import shutilaq='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\my'#原數據集包括幾類數據 data=os.listdir(aq) #print(data)#此時data只有0，1兩個文件夾#random.shuffle(data) #print(data[0][0])#引用的是文件名root=aq c=datatrain_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\1\\train'#train與val的路徑 val_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\1\\val'

在train和val文件夾中制作0,1文件夾

for i in range(len(c)):qqq=os.path.exists(train_root+'/'+c[i])if (not qqq):os.mkdir(train_root+'/'+c[i])qq=os.path.exists(val_root+'/'+c[i])if (not qq):os.mkdir(val_root+'/'+c[i])#將原始數據按照7:3分別復制到train 與val 中 aq='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\my\\' for i in range(len(c)):a=c[i]#print(i)data_0=os.listdir(aq+a)#抓取0,1文件夾內X線照片的內容#print(data_0)#print(data_0[5])#索引的為文件夾中的x線圖像random.shuffle(data_0)#打亂數據for z in range(len(data_0)):#data_0為數據#print(z)pic_path=root+'/'+a+'/'+data_0[z]#得到data_0中的數據路徑if z<int(len(data_0)*0.7):obj_path=train_root+'/'+a+'/'+data_0[z]else:obj_path=val_root+'/'+a+'/'+data_0[z]#print(len(data_0),len(data_0)*0.7)#if (os.path.exists(pic_path)):shutil.copyfile(pic_path,obj_path)#將pic_path復制到obj_path中

最終得到的數據集如下圖所示：
train文件夾中有：

val文件夾中有：

train中的0文件夾中數據：

val中1文件夾有：

總結

以上是生活随笔為你收集整理的深度学习数据集的准备的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。