TensorFlow加載數據

TensorFlow官方共給出三種加載數據的方式:
1. 預加載數據
2. 填充數據
預加載數據的缺點: 將數據直接嵌在數據流圖中,當訓練數據較大時,很消耗內存.填充的方式也有數據量大,消耗內存高的缺點,并且數據類型的轉換等中間環節增加了不少開銷(之前的筆記示例中主要使用的這兩種方式).最好用第三種方法,在圖中定義好文件讀取的方法,讓Tensorflow 自己從文件中讀取數據,并解碼成可使用的樣本集.

CODE : 預加載數據與填充數據

import tensorflow as tf import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'# 預加載數據 # 缺點: 將數據直接嵌在數據流圖中,當訓練數據較大時,很消耗內存 x1 = tf.constant([2,3,4]) x2 = tf.constant([4,0,1]) y = tf.add(x1,x2)with tf.Session() as sess:print(sess.run(y))# 填充數據 # 設計圖 a1 = tf.placeholder(tf.int16) a2 = tf.placeholder(tf.int16) b = tf.add(x1,x2) # 用 python 產生數據 li1 = [2,3,4] li2 = [4,0,1] # 打開一個會話,將數據填充給后端 with tf.Session() as sess:print(sess.run(b,feed_dict={a1: li1,a2: li2}))# 填充的方式也有數據量大,消耗內存高的缺點,并且數據類型的轉換等中間環節增加了不少開銷. # 這時最好用第三種方法,在圖中定義好文件讀取的方法,讓Tensorflow 自己從文件中讀取數據,并解碼成可使用的樣本集

運行結果:

[6 3 5] [6 3 5]

相關

在TensorFlow中進行模型訓練時,在官網給出的三種讀取方式,中最好的文件讀取方式就是將利用隊列進行文件讀取,而且步驟有兩步:
1. 把樣本數據寫入TFRecords二進制文件 : http://blog.csdn.net/fontthrone/article/details/76727412
2. TensorFlow筆記(基礎篇):加載數據之從隊列中讀取:http://blog.csdn.net/fontthrone/article/details/76728083
3. python中的argparse模塊:http://blog.csdn.net/fontthrone/article/details/76735591

總結

以上是生活随笔為你收集整理的7.1 TensorFlow笔记(基础篇):加载数据之预加载数据与填充数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。