這里用了matplotlib來驗(yàn)證是否成功生成dataset。

第一個(gè)需要注意的是，在decode_example()中用了一個(gè)tf.reshape，這個(gè)函數(shù)里的參數(shù)應(yīng)該和前面制作的tfrecord的圖像參數(shù)一致，也就是如果前面tfrecord的圖像大小是600，那么此時(shí)的tf.reshape里應(yīng)該是[600, 600, 3]；而如果是224，那就是[224, 224, 3]

還需要注意的是在用dataset讀取的時(shí)候，如果最后一個(gè)batch的大小和我們自行定義的batch_size不符合，就會(huì)引起tf.errors.OutOfRangeError，這個(gè)時(shí)候需要用異常處理try, except，代碼示意為：

try:_, _ = sess.run([_, _]) # _所代表的內(nèi)容根據(jù)自身的實(shí)驗(yàn)添加 except tf.errors.OutOfRangeError:print('it is the end')break

此外還需要注意的是，在iterator的選擇上：

如果是用于訓(xùn)練和驗(yàn)證，應(yīng)該選擇iterator = dataset.make_initializable_iterator()。因?yàn)槭褂眠@個(gè)可以循環(huán)輸入，保持一個(gè)train.batch對(duì)應(yīng)一個(gè)validation_batch。

如果是用于測(cè)試，可以選擇上面的選擇iterator = dataset.make_one_shot_iterator()。因?yàn)橹恍枰淮伪闅v。

最后需要注意的是，iteration和epoch之間的關(guān)系。如果在代碼中加入while True：，那么上面的i代表了epoch，即一個(gè)i期間完成了一次完整的數(shù)據(jù)集遍歷；如果 沒有 在代碼中加入while True：，那么上面的i代表了iteration，即一個(gè)i期間完成了一次完整的batch_size遍歷。

$平時(shí)常說的訓(xùn)練幾萬次就是指$幾萬次 iteration。

附上完整的代碼：

"""# 使用dataset讀取tfrecord""" import tensorflow as tf import matplotlib.pyplot as plt# 單個(gè)record的解析函數(shù) def decode_example(example, resize_height, resize_width, label_nums):dics = {'image_raw': tf.FixedLenFeature([], tf.string),'label': tf.FixedLenFeature([], tf.int64)}parsed_example = tf.parse_single_example(serialized=example, features=dics)tf_image = tf.decode_raw(parsed_example['image_raw'], out_type=tf.uint8) # 這個(gè)其實(shí)就是圖像的像素模式，之前我們使用矩陣來表示圖像# 對(duì)圖像的尺寸進(jìn)行調(diào)整，調(diào)整成三通道圖像，如果前面制作tfrecord時(shí)的圖像大小是多少，這里就要寫多少。# 比如tfrecord的圖像是224，這里就寫[224,224,3]；如果是600，就是[600, 600, 3]tf_image = tf.reshape(tf_image, shape=[600, 600, 3])tf_image = tf.image.resize_images(tf_image, (resize_height, resize_width), method=2)tf_image = tf.cast(tf_image, tf.float32) * (1. / 255) # 對(duì)圖像進(jìn)行歸一化以便保持和原圖像有相同的精度tf_label = tf.cast(parsed_example['label'], tf.int64)tf_label = tf.one_hot(tf_label, label_nums, on_value=1, off_value=0) # 將label轉(zhuǎn)化成用one_hot編碼的格式return tf_image, tf_label# 生成dataset，可以引入其他py文件中。 def create_dataset(tfrecords_file, batch_size, resize_height, resize_width, num_class):dataset = tf.data.TFRecordDataset(tfrecords_file)# map函數(shù)可以讓dataset的結(jié)構(gòu)和上面的decode_example一致。# lambda個(gè)人推測(cè)是為了構(gòu)建上面的decode_example，但是如果decode函數(shù)除了example之外沒有其他變量，那就不需要用lambda# 但是這里的lambda里只有一個(gè)x，對(duì)應(yīng)的example，而且這個(gè)x不需要外部函數(shù)傳值，這一點(diǎn)很困惑。# 我個(gè)人覺得是在tf.data.TFRecordDataset創(chuàng)建了dataset之后，dataset里就包含了serialized對(duì)應(yīng)的值# 因此可以函數(shù)內(nèi)部自己傳值，不需要外部設(shè)置變量再傳值。dataset = dataset.map(lambda x: decode_example(x, resize_height, resize_width, num_class))dataset = dataset.shuffle(2000)dataset = dataset.batch(batch_size)return datasetif __name__ == '__main__':# 定義可以一次獲得多張圖像的函數(shù)def show_image(image_dir):plt.imshow(image_dir)plt.axis('on')plt.show()# 檢查dataset是否正確生成def batch_test(tfrecords_file, batch_size, resize_height, resize_width, num_class):dataset = create_dataset(tfrecords_file, batch_size, resize_height, resize_width, num_class)# iterator = dataset.make_one_shot_iterator()# iterator = tf.data.Iterator.from_structure(dataset.output_types,# dataset.output_shapes)# iterator1 = iterator.make_initializer(dataset)iterator = dataset.make_initializable_iterator()batch_images, batch_labels = iterator.get_next()init_op = tf.global_variables_initializer()with tf.Session() as sess:sess.run(init_op)coord = tf.train.Coordinator()threads = tf.train.start_queue_runners(coord=coord)# 查看tfrecord的樣本數(shù)量sample_nums = 0for record in tf.python_io.tf_record_iterator(tfrecords_file):sample_nums += 1print('\n#######\n')print('this tfrecord file: "{}" has _{}_ samples'.format(tfrecords_file, sample_nums))print('\n#######\n')for i in range(100):# sess.run(iterator1)sess.run(iterator.initializer)# 如果加上while True，那么上面的i代表著一個(gè)epoch,也就是將數(shù)據(jù)集的全部樣本都完成一遍；# 如果不加上while True，那么上面的i就代表著一個(gè)iteration，也就是使用一個(gè)batch_size完成一次。# iteration和epoch之間的關(guān)系為：1 epoch （所代表的數(shù)量）= batch_size * iteration# 在這里我選擇的是iteration，如果需要epoch可以在添加while True之后再將try-break之間的代碼tab一下就行。try:# show_image(images[5,:,:,:]) # 代表每一個(gè)batch的第三張圖片images, labels = sess.run([batch_images, batch_labels])print('{}th, image.shape:{}, type:{}, labels.shape:{}'.format(i + 1, images.shape, images.dtype,labels.shape))except tf.errors.OutOfRangeError:print('\n******\n')print('{}th batch is the final batch, total iteration is: {} '.format(i, i))print('\n******\n')breakcoord.request_stop()coord.join(threads)tfrecords_file = 'E:/111project/tfrecord/validation.tfrecords'resize_height = 100resize_width = 100num_class = 5batch_test(tfrecords_file, 200, resize_height, resize_width, num_class)

總結(jié)

以上是生活随笔為你收集整理的分类任务4——用dataset读取tfrecord的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。