TensorFlow学习笔记（二十四）自制TFRecord数据集 读取、显示及代码详解
1 Feeding： 在tensorflow程序運行的每一步， 用python代碼在線提供數據
2 Reader ： 在一個計算圖（tf.graph）的開始前，將文件讀入到流（queue）中
3 在聲明tf.variable變量或numpy數組時保存數據。受限于內存大小，適用于數據較小的情況
在本文，主要介紹第二種方法，利用tf.record標準接口來讀入文件
準備圖片數據
筆者找了2類狗的圖片， 哈士奇和吉娃娃， 全部 resize成128 * 128大小
如下圖， 保存地址為D:\Python\data\dog
每類中有10張圖片
現在利用這2 類 20張圖片制作TFRecord文件
制作TFRECORD文件
1 先聊一下tfrecord, 這是一種將圖像數據和標簽放在一起的二進制文件，能更好的利用內存，在tensorflow中快速的復制，移動，讀取，存儲 等等..
這里注意，tfrecord會根據你選擇輸入文件的類，自動給每一類打上同樣的標簽
如在本例中，只有0,1 兩類
2 先上“制作TFRecord文件”的代碼，注釋附詳解
?| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | import os import tensorflow as tf from PIL import Image? #注意Image,后面會用到 import matplotlib.pyplot as plt import numpy as np cwd='D:\Python\data\dog\\' classes={'husky','chihuahua'} #人為 設定 2 類 writer= tf.python_io.TFRecordWriter("dog_train.tfrecords") #要生成的文件 for index,name in enumerate(classes): ????class_path=cwd+name+'\\' ????for img_name in os.listdir(class_path): ????????img_path=class_path+img_name #每一個圖片的地址 ????????img=Image.open(img_path) ????????img= img.resize((128,128)) ????????img_raw=img.tobytes()#將圖片轉化為二進制格式 ????????example = tf.train.Example(features=tf.train.Features(feature={ ????????????"label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])), ????????????'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw])) ????????})) #example對象對label和image數據進行封裝 ????????writer.write(example.SerializeToString())? #序列化為字符串 writer.close() |
運行完這段代碼后，會生成dog_train.tfrecords 文件，如下圖
tf.train.Example 協議內存塊包含了Features字段，通過feature將圖片的二進制數據和label進行統一封裝， 然后將example協議內存塊轉化為字符串， tf.python_io.TFRecordWriter 寫入到TFRecords文件中。
讀取TFRECORD文件
在制作完tfrecord文件后， 將該文件讀入到數據流中。
代碼如下
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | def read_and_decode(filename): # 讀入dog_train.tfrecords ????filename_queue = tf.train.string_input_producer([filename])#生成一個queue隊列 ????reader = tf.TFRecordReader() ????_, serialized_example = reader.read(filename_queue)#返回文件名和文件 ????features = tf.parse_single_example(serialized_example, ???????????????????????????????????????features={ ???????????????????????????????????????????'label': tf.FixedLenFeature([], tf.int64), ???????????????????????????????????????????'img_raw' : tf.FixedLenFeature([], tf.string), ???????????????????????????????????????})#將image數據和label取出來 ????img = tf.decode_raw(features['img_raw'], tf.uint8) ????img = tf.reshape(img, [128, 128, 3])? #reshape為128*128的3通道圖片 ????img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 #在流中拋出img張量 ????label = tf.cast(features['label'], tf.int32) #在流中拋出label張量 ????return img, label |
注意，feature的屬性“label”和“img_raw”名稱要和制作時統一 ，返回的img數據和label數據一一對應。返回的img和label是2個 tf 張量，print出來 如下圖
顯示tfrecord格式的圖片
有些時候我們希望檢查分類是否有誤，或者在之后的網絡訓練過程中可以監視，輸出圖片，來觀察分類等操作的結果，那么我們就可以session回話中，將tfrecord的圖片從流中讀取出來，再保存。 緊跟著一開始的代碼寫：
?| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | filename_queue = tf.train.string_input_producer(["dog_train.tfrecords"]) #讀入流中 reader = tf.TFRecordReader() _, serialized_example = reader.read(filename_queue)?? #返回文件名和文件 features = tf.parse_single_example(serialized_example, ???????????????????????????????????features={ ???????????????????????????????????????'label': tf.FixedLenFeature([], tf.int64), ???????????????????????????????????????'img_raw' : tf.FixedLenFeature([], tf.string), ???????????????????????????????????})? #取出包含image和label的feature對象 image = tf.decode_raw(features['img_raw'], tf.uint8) image = tf.reshape(image, [128, 128, 3]) label = tf.cast(features['label'], tf.int32) with tf.Session() as sess: #開始一個會話 ????init_op = tf.initialize_all_variables() ????sess.run(init_op) ????coord=tf.train.Coordinator() ????threads= tf.train.start_queue_runners(coord=coord) ????for i in range(20): ????????example, l = sess.run([image,label])#在會話中取出image和label ????????img=Image.fromarray(example, 'RGB')#這里Image是之前提到的 ????????img.save(cwd+str(i)+'_''Label_'+str(l)+'.jpg')#存下圖片 ????????print(example, l) ????coord.request_stop() ????coord.join(threads) |
代碼運行完后， 從tfrecord中取出的文件被保存了。如下圖：
在這里我們可以看到，圖片文件名的第一個數字表示在流中的順序（這里沒有用shuffle）， 第二個數字則是 每個圖片的label，吉娃娃都為0，哈士奇都為1。 由此可見，我們一開始制作tfrecord文件時，圖片分類正確。
下面給出一些常見圖片處理方式：
# -*- coding: utf-8 -*-
import matplotlib.pyplot as plt
import tensorflow as tf? ?
import numpy as np
import os
os.getcwd()
image_raw_data = tf.gfile.FastGFile("E:\\testData\\images\\cat.jpg",'rb').read()
with tf.Session() as sess:
??? img_data = tf.image.decode_jpeg(image_raw_data)
?? ?
??? # 輸出解碼之后的三維矩陣。
??? #print(img_data.eval())
??? #print(img_data.get_shape())
??? img_data.set_shape([1797, 2673, 3])
??? print(img_data.get_shape())
?
#### 2. 打印圖片?? ?
with tf.Session() as sess:
??? plt.imshow(img_data.eval())
??? plt.show()
#### 3. 重新調整圖片大小?? ?
with tf.Session() as sess:?? ?
??? resized = tf.image.resize_images(img_data, [300, 300], method=0)
?? ?
??? # TensorFlow的函數處理圖片后存儲的數據是float32格式的，需要轉換成uint8才能正確打印圖片。
??? print("Digital type: ", resized.dtype)
??? cat = np.asarray(resized.eval(), dtype='uint8')
??? # tf.image.convert_image_dtype(rgb_image, tf.float32)
??? plt.imshow(cat)
??? plt.show()?? ?
?? ?
#### 4. 裁剪和填充圖片?? ?
with tf.Session() as sess:?? ?
??? croped = tf.image.resize_image_with_crop_or_pad(img_data, 1000, 1000)
??? padded = tf.image.resize_image_with_crop_or_pad(img_data, 3000, 3000)
??? plt.imshow(croped.eval())
??? plt.show()
??? plt.imshow(padded.eval())
??? plt.show()?? ?
?? ?
#### 5. 截取中間50%的圖片?? ?
with tf.Session() as sess:? ?
??? central_cropped = tf.image.central_crop(img_data, 0.5)
??? plt.imshow(central_cropped.eval())
??? plt.show()?? ?
?? ?
#### 6. 翻轉圖片?? ?
with tf.Session() as sess:
??? # 上下翻轉
??? #flipped1 = tf.image.flip_up_down(img_data)
??? # 左右翻轉
??? #flipped2 = tf.image.flip_left_right(img_data)
?? ?
??? #對角線翻轉
??? transposed = tf.image.transpose_image(img_data)
??? plt.imshow(transposed.eval())
??? plt.show()
?? ?
??? # 以一定概率上下翻轉圖片。
??? #flipped = tf.image.random_flip_up_down(img_data)
??? # 以一定概率左右翻轉圖片。
??? #flipped = tf.image.random_flip_left_right(img_data)?? ?
?? ?
#### 7. 圖片色彩調整?? ?
with tf.Session() as sess:??? ?
??? # 將圖片的亮度-0.5。
??? #adjusted = tf.image.adjust_brightness(img_data, -0.5)
?? ?
??? # 將圖片的亮度-0.5
??? #adjusted = tf.image.adjust_brightness(img_data, 0.5)
?? ?
??? # 在[-max_delta, max_delta)的范圍隨機調整圖片的亮度。
??? adjusted = tf.image.random_brightness(img_data, max_delta=0.5)
?? ?
??? # 將圖片的對比度-5
??? #adjusted = tf.image.adjust_contrast(img_data, -5)
?? ?
??? # 將圖片的對比度+5
??? #adjusted = tf.image.adjust_contrast(img_data, 5)
?? ?
??? # 在[lower, upper]的范圍隨機調整圖的對比度。
??? #adjusted = tf.image.random_contrast(img_data, lower, upper)
??? plt.imshow(adjusted.eval())
??? plt.show()?? ?
?
#### 8. 添加色相和飽和度?? ?
with tf.Session() as sess:??????? ?
??? adjusted = tf.image.adjust_hue(img_data, 0.1)
??? #adjusted = tf.image.adjust_hue(img_data, 0.3)
??? #adjusted = tf.image.adjust_hue(img_data, 0.6)
??? #adjusted = tf.image.adjust_hue(img_data, 0.9)
?? ?
??? # 在[-max_delta, max_delta]的范圍隨機調整圖片的色相。max_delta的取值在[0, 0.5]之間。
??? #adjusted = tf.image.random_hue(image, max_delta)
?? ?
??? # 將圖片的飽和度-5。
??? #adjusted = tf.image.adjust_saturation(img_data, -5)
??? # 將圖片的飽和度+5。
??? #adjusted = tf.image.adjust_saturation(img_data, 5)
??? # 在[lower, upper]的范圍隨機調整圖的飽和度。
??? #adjusted = tf.image.random_saturation(img_data, lower, upper)
?? ?
??? # 將代表一張圖片的三維矩陣中的數字均值變為0，方差變為1。
??? #adjusted = tf.image.per_image_whitening(img_data)
?? ?
??? plt.imshow(adjusted.eval())
??? plt.show()?? ?
?? ?
#### 9. 添加標注框并裁減。?? ?
with tf.Session() as sess:??????? ?
??? boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7], [0.35, 0.47, 0.5, 0.56]]])
??? begin, size, bbox_for_draw = tf.image.sample_distorted_bounding_box(
??????? tf.shape(img_data), bounding_boxes=boxes)
??? batched = tf.expand_dims(tf.image.convert_image_dtype(img_data, tf.float32), 0)
??? image_with_box = tf.image.draw_bounding_boxes(batched, bbox_for_draw)
?? ?
??? distorted_image = tf.slice(img_data, begin, size)
??? plt.imshow(distorted_image.eval())
??? plt.show()?? ?
???
總結
以上是生活随笔為你收集整理的TensorFlow学习笔记（二十四）自制TFRecord数据集 读取、显示及代码详解的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： TensorFlow学习笔记（二十二）
- 下一篇： TensorFlow学习笔记（二十五）C