前言

緊接上一篇博客，學習tensorboard可視化訓練過程。

國際慣例，參考博客：

MNIST機器學習入門

Tensorboard 詳解（上篇）

Tensorboard 可視化好幫手 2

tf-dev-summit-tensorboard-tutorial

tensorflow官方mnist_with_summaries

預備知識

根據之前學的知識，創建一個卷積結構進行手寫數字分類

import tensorflow as tf import numpy as np from tensorflow.examples.tutorials.mnist import input_data#讀取手寫數字 mnist = input_data.read_data_sets('./dataset/',one_hot=True)#定義卷積操作 def conv_layer(input,size_in,size_out,name='conv'):with tf.name_scope(name):w=tf.Variable(tf.truncated_normal([5,5,size_in,size_out],stddev=0.1),name='W')b=tf.Variable(tf.constant(0.1,shape=[size_out]),name='B')conv = tf.nn.conv2d(input,w,strides=[1,1,1,1],padding='SAME')act = tf.nn.relu(conv+b)return tf.nn.max_pool(act,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')#全連接層 def fc_layer(input,size_in,size_out,name='fc'):with tf.name_scope(name):w=tf.Variable(tf.truncated_normal([size_in,size_out],stddev=0.1),name='W')b=tf.Variable(tf.constant(0.1,shape=[size_out]),name='B')act=tf.matmul(input,w)+breturn act#創建模型 def create_model(input_x):#卷積input_img = tf.reshape(input_x,[-1,28,28,1])conv1=conv_layer(input_img,1,32,'conv1')conv2=conv_layer(conv1,32,64,'conv2')#全連接flattened=tf.reshape(conv2,[-1,7*7*64])fc1=fc_layer(flattened,7*7*64, 1024,'fc1')act1=tf.nn.relu(fc1)out=fc_layer(act1,1024,10,'fc2')return out#定義網絡輸入，輸出 X=tf.placeholder(tf.float32,shape=[None,28*28],name='x') Y=tf.placeholder(tf.float32,shape=[None,10],name='y')logits = create_model(X) #創建模型 prediction=tf.nn.softmax(logits=logits,name='prediction') #預測# 損失函數 loss_op = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=logits,labels=Y)) optimize = tf.train.AdamOptimizer(learning_rate=0.01) train_op = optimize.minimize(loss_op)#評估函數 correct_pred = tf.equal(tf.argmax(prediction,1),tf.argmax(Y,1)) accuracy = tf.reduce_mean(tf.cast(correct_pred,tf.float32))with tf.Session() as sess:sess.run(tf.global_variables_initializer())for step in range(20000):batch_xs,batch_ys=mnist.train.next_batch(50)sess.run(train_op,feed_dict={X:batch_xs,Y:batch_ys})if(step%10==0 or step==1):loss,acc = sess.run([loss_op,accuracy],feed_dict={X: mnist.test.images,Y: mnist.test.labels})print('Step:{0},loss:{1},acc:{2}'.format(step,loss,acc))

依舊是那幾個流程：讀數據→初始化相關參數→定義接收數據的接口以便測試使用→初始化權重和偏置→定義基本模塊(編碼和解碼)→構建模型(先編碼再解碼)→定義預測函數、損失函數、優化器→訓練

加入TensorBoard

從tensorflow的官方文檔來看，支持可視化操作函數有：scalar、image、audio、text、histogram

這里我們只需要使用scalar可視化loss值的變動，image可視化部分輸入數據、histogram可視化權重與偏置的分布。

很簡單，調用方法統一是tf.summary。

可視化卷積層的權重和偏置

#定義卷積操作 def conv_layer(input,size_in,size_out,name='conv'):with tf.name_scope(name):w=tf.Variable(tf.truncated_normal([5,5,size_in,size_out],stddev=0.1),name='W') b=tf.Variable(tf.constant(0.1,shape=[size_out]),name='B') conv = tf.nn.conv2d(input,w,strides=[1,1,1,1],padding='SAME')act = tf.nn.relu(conv+b)tf.summary.histogram(name+'/weights',w)tf.summary.histogram(name+'/bias',b)return tf.nn.max_pool(act,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')

可視化部分訓練數據：

#創建模型 def create_model(input_x):#卷積input_img = tf.reshape(input_x,[-1,28,28,1])tf.summary.image('input',input_img,3)conv1=conv_layer(input_img,1,32,'conv1')conv2=conv_layer(conv1,32,64,'conv2')#全連接flattened=tf.reshape(conv2,[-1,7*7*64])fc1=fc_layer(flattened,7*7*64, 1024,'fc1')act1=tf.nn.relu(fc1)out=fc_layer(act1,1024,10,'fc2')return out

可視化損失函數變動：

# 損失函數 loss_op = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=logits,labels=Y)) tf.summary.scalar('loss',loss_op)

最終要把所有需要可視化的操作合并到一起：

merged=tf.summary.merge_all()

而tensorflow中的操作一般需要由session執行，也就是說如果我們想寫入日志，就需要在session中執行merged操作，并使用add_summary將每次訓練的記錄寫入到日志文件。

with tf.Session() as sess:writer=tf.summary.FileWriter('logs/',sess.graph)sess.run(tf.global_variables_initializer())for step in range(20000):batch_xs,batch_ys=mnist.train.next_batch(50)sess.run(train_op,feed_dict={X:batch_xs,Y:batch_ys})if(step%10==0 or step==1):loss,acc,s = sess.run([loss_op,accuracy,merged],feed_dict={X: mnist.test.images[:100],Y: mnist.test.labels[:100]})print('Step:{0},loss:{1},acc:{2}'.format(step,loss,acc))writer.add_summary(s,step)

然后運行訓練腳本，開始訓練以后，打開終端，啟動tensorboard

tensorboard --logdir 'logs'

其中最后一個參數logs代表日志存儲的地方，根據自己的情況定義

運行以后會彈出一個網址：

/home/xx/anaconda3/lib/python3.6/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.from ._conv import register_converters as _register_converters TensorBoard 1.12.2 at http://xx-XPS-8700:6006 (Press CTRL+C to quit)

瀏覽器中打開此網址，能夠看到tensorboard顯示的你想可視化的內容。

【注】可能參數不會實施更新，在右上角的齒輪那里可以調整刷新間隔，默認30s

后續

可視化對訓練過程是十分重要的，有時候模型不起作用，loss不降或者炸了，可以通過權重來判斷是否參數更新是否出現了問題，而且如果是生成對抗網絡，可以把訓練過程中的重建圖像打印出來，也可以看到模型是否有效。
本博文源碼：https://download.csdn.net/download/zb1165048017/11536994

總結

以上是生活随笔為你收集整理的【TensorFlow-windows】TensorBoard可视化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。