Fashion-mnist數據的讀取與保存

• 圖像分類數據集（Fashion-MNIST）
• • 一、獲取數據集
  • • 1.1 方法一
    • 1.2 方法二
  • 二、顯示數據
  • • 2.1 方法一
    • 2.2 方法二
  • 三、保存數據
  • 四、讀取小批量
  • • 4.1 方法一
    • 4.2 方法二
  • 小結

圖像分類數據集（Fashion-MNIST）

一、獲取數據集

首先導入本節需要的包或模塊。

%matplotlib inline import d2lzh as d2l from mxnet.gluon import data as gdata import sys import time from mxnet import nd

1.1 方法一

下面，我們通過Gluon的data包來下載這個數據集。第一次調用時會自動從網上獲取數據。我們通過參數train來指定獲取訓練數據集或測試數據集（testing data set）。測試數據集也叫測試集（testing set），只用來評價模型的表現，并不用來訓練模型。

mnist_train = gdata.vision.FashionMNIST(train=True) mnist_test = gdata.vision.FashionMNIST(train=False)

1.2 方法二

下面采用手動導入這個數據集導入已經下載好的mnist數據函數：load_mnist()

import os import struct import numpy as npdef load_mnist(path, kind='train'):"""Load MNIST data from `path`"""labels_path = os.path.join(path,'%s-labels-idx1-ubyte'% kind)images_path = os.path.join(path,'%s-images-idx3-ubyte'% kind)with open(labels_path, 'rb') as lbpath:magic, n = struct.unpack('>II',lbpath.read(8))labels = np.fromfile(lbpath,dtype=np.uint8)with open(images_path, 'rb') as imgpath:magic, num, rows, cols = struct.unpack('>IIII',imgpath.read(16))images = np.fromfile(imgpath,dtype=np.uint8).reshape(len(labels), 784)return images, labels X_train, y_train = load_mnist(r"H:\vacation\myGitHub\Machine_Learning\training\d2l-zh\data\fashion-mnist",kind='train') X_test, y_test = load_mnist(r'H:\vacation\myGitHub\Machine_Learning\training\d2l-zh\data\fashion-mnist',kind='t10k') len(X_train),len(X_test) (60000, 10000)

二、顯示數據

2.1 方法一

import matplotlib.pyplot as pltfig, ax = plt.subplots(nrows=2,ncols=5,sharex=True,sharey=True, )ax = ax.flatten() for i in range(10):img = X_train[y_train == i][0].reshape(28, 28) #一張圖片784（28*28）列ax[i].imshow(img, cmap='Greys', interpolation='nearest')ax[0].set_xticks([]) ax[0].set_yticks([]) plt.tight_layout() plt.show()

我們還可以繪制某一物品的多個樣本圖片, 來看一下這些樣本到底有多不同:

fig, ax = plt.subplots(nrows=5,ncols=5,sharex=True,sharey=True, )ax = ax.flatten() for i in range(25):img = X_train[y_train == 7][i].reshape(28, 28)ax[i].imshow(img, cmap='Greys', interpolation='nearest')ax[0].set_xticks([]) ax[0].set_yticks([]) plt.tight_layout() plt.show()

2.2 方法二

我們可以通過方括號[]來訪問任意一個樣本，下面獲取第一個樣本的圖像和標簽。

feature, label = mnist_train[0]

變量feature對應高和寬均為28像素的圖像。每個像素的數值為0到255之間8位無符號整數（uint8）。它使用三維的NDArray存儲。其中的最后一維是通道數。因為數據集中是灰度圖像，所以通道數為1。為了表述簡潔，我們將高和寬分別為$h$和$w$像素的圖像的形狀記為$h\times w$或（h，w）。

feature.shape, feature.dtype ((28, 28, 1), numpy.uint8)

圖像的標簽使用NumPy的標量表示。它的類型為32位整數（int32）。

label, type(label), label.dtype (2, numpy.int32, dtype('int32'))

Fashion-MNIST中一共包括了10個類別，分別為t-shirt（T恤）、trouser（褲子）、pullover（套衫）、dress（連衣裙）、coat（外套）、sandal（涼鞋）、shirt（襯衫）、sneaker（運動鞋）、bag（包）和ankle boot（短靴）。以下函數可以將數值標簽轉成相應的文本標簽。

# 本函數已保存在d2lzh包中方便以后使用 def get_fashion_mnist_labels(labels):text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat','sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']return [text_labels[int(i)] for i in labels]

下面定義一個可以在一行里畫出多張圖像和對應標簽的函數。

# 本函數已保存在d2lzh包中方便以后使用 def show_fashion_mnist(images, labels):"""images類型:mxnet.ndarray.ndarray.NDArraylabels類型:numpy.ndarray"""d2l.use_svg_display()# 這里的_表示我們忽略（不使用）的變量_, figs = d2l.plt.subplots(1, len(images), figsize=(12, 12))for f, img, lbl in zip(figs, images, labels):f.imshow(img.reshape((28, 28)).asnumpy())f.set_title(lbl)f.axes.get_xaxis().set_visible(False)f.axes.get_yaxis().set_visible(False)

現在，我們看一下訓練數據集中前9個樣本的圖像內容和文本標簽。

X, y = mnist_train[0:9] show_fashion_mnist(X, get_fashion_mnist_labels(y))

type(X) mxnet.ndarray.ndarray.NDArray

三、保存數據

另外, 我們也可以選擇將 MNIST 圖片數據和標簽保存為 CSV 文件, 這樣就可以在不支持特殊的字節格式的程序中打開數據集. 但是, 有一點要說明, CSV 的文件格式將會占用更多的磁盤空間, 如下所示:
如果我們打算保存這些 CSV 文件, 在將 MNIST 數據集加載入 NumPy array 以后, 我們應該執行下列代碼:

np.savetxt('train_img.csv', X_train,fmt='%i', delimiter=',') np.savetxt('train_labels.csv', y_train,fmt='%i', delimiter=',') np.savetxt('test_img.csv', X_test,fmt='%i', delimiter=',') np.savetxt('test_labels.csv', y_test,fmt='%i', delimiter=',')

一旦將數據集保存為 CSV 文件, 我們也可以用 NumPy 的 genfromtxt 函數重新將它們加載入程序中:
NDArray和NumPy相互變換
我們可以通過array函數和asnumpy函數令數據在NDArray和NumPy格式之間相互變換。下面將NumPy實例變換成NDArray實例。

X_train2 = nd.array(np.genfromtxt('train_img.csv',dtype=int, delimiter=',')) y_train2 = np.genfromtxt('train_labels.csv',dtype=int, delimiter=',') X_test2 = nd.array(np.genfromtxt('test_img.csv',dtype=int, delimiter=',')) y_test2 = np.genfromtxt('test_labels.csv',dtype=int, delimiter=',')

訓練集中和測試集中的每個類別的圖像數分別為6,000和1,000。因為有10個類別，所以訓練集和測試集的樣本數分別為60,000和10,000。

len(mnist_train), len(mnist_test) (60000, 10000) #用csv數據畫出圖像 from mxnet import nd X1 = X_train2[0:9] y1 = y_train2[0:9] show_fashion_mnist(X1, get_fashion_mnist_labels(y1))

四、讀取小批量

我們將在訓練數據集上訓練模型，并將訓練好的模型在測試數據集上評價模型的表現。雖然我們可以像“線性回歸的從零開始實現”一節中那樣通過yield來定義讀取小批量數據樣本的函數，但為了代碼簡潔，這里我們直接創建DataLoader實例。該實例每次讀取一個樣本數為batch_size的小批量數據。這里的批量大小batch_size是一個超參數。

在實踐中，數據讀取經常是訓練的性能瓶頸，特別當模型較簡單或者計算硬件性能較高時。Gluon的DataLoader中一個很方便的功能是允許使用多進程來加速數據讀取（暫不支持Windows操作系統）。這里我們通過參數num_workers來設置4個進程讀取數據。

此外，我們通過ToTensor實例將圖像數據從uint8格式變換成32位浮點數格式，并除以255使得所有像素的數值均在0到1之間。ToTensor實例還將圖像通道從最后一維移到最前一維來方便之后介紹的卷積神經網絡計算。通過數據集的transform_first函數，我們將ToTensor的變換應用在每個數據樣本（圖像和標簽）的第一個元素，即圖像之上。

4.1 方法一

batch_size = 255 transformer = gdata.vision.transforms.ToTensor() if sys.platform.startswith('win'):num_workers = 0 # 0表示不用額外的進程來加速讀取數據 else:num_workers = 4train_iter = gdata.DataLoader(mnist_train.transform_first(transformer),batch_size, shuffle=True,num_workers=num_workers) test_iter = gdata.DataLoader(mnist_test.transform_first(transformer),batch_size, shuffle=False,num_workers=num_workers) gdata.DataLoader??

4.2 方法二

# 將訓練數據的特征和標簽組合 mnist_train2 = gdata.ArrayDataset(X_train2,y_train2) mnist_test2 = gdata.ArrayDataset(X_test2,y_test2) train_iter2 = gdata.DataLoader(mnist_train2,batch_size, shuffle=True,num_workers=num_workers) test_iter2 = gdata.DataLoader(mnist_test2,batch_size, shuffle=False,num_workers=num_workers)

我們將獲取并讀取Fashion-MNIST數據集的邏輯封裝在d2lzh.load_data_fashion_mnist函數中供后面章節調用。該函數將返回train_iter和test_iter兩個變量。隨著本書內容的不斷深入，我們會進一步改進該函數。它的完整實現將在“深度卷積神經網絡（AlexNet）”一節中描述。

最后我們查看讀取一遍訓練數據需要的時間。

start = time.time() for X, y in train_iter2:continue '%.2f sec' % (time.time() - start) '2.29 sec' X.shape,y.shape ((75, 784), (75,))

小結

• Fashion-MNIST是一個10類服飾分類數據集，之后章節里將使用它來檢驗不同算法的表現。
• 我們將高和寬分別為$h$和$w$像素的圖像的形狀記為$h\times w$或（h，w）。

總結

以上是生活随笔為你收集整理的Fashion-mnist数据的读取与保存的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。