TF之DNN：TF利用簡單7個神經元的三層全連接神經網絡實現降低損失到0.000以下(輸入、隱藏、輸出層分別為 2、3 、 2 個神經元)

?

?

?

目錄

輸出結果

實現代碼

---

?

?

?

輸出結果

?

實現代碼

# -*- coding: utf-8 -*-import tensorflow as tf import os import numpy as np#TF：TF實現簡單的三層全連接神經網絡（輸入、隱藏、輸出層分別為 2、3 、 2 個神經元） #隱藏層和輸出層的激活函數使用的是 ReLU 函數。該模型訓練的樣本總數為 512，每次迭代讀取的批量為 10。全連接網絡以交叉熵為損失函數，并使用 Adam 優化算法進行權重更新。 import tensorflow as tf from numpy.random import RandomState batch_size= 10 w1=tf. Variable (tf.random_normal([ 2 , 3 ],stddev= 1 ,seed= 1 )) w2=tf. Variable (tf.random_normal([ 3 , 1 ],stddev= 1 ,seed= 1 )) # None 可以根據batch 大小確定維度，在shape的一個維度上使用None x=tf.placeholder(tf.float32,shape=( None , 2 )) y=tf.placeholder(tf.float32,shape=( None , 1 )) #激活函數使用ReLU a=tf.nn.relu(tf.matmul(x,w1)) yhat=tf.nn.relu(tf.matmul(a,w2)) #定義交叉熵為損失函數，訓練過程使用Adam算法最小化交叉熵 cross_entropy=-tf.reduce_mean(y*tf.log(tf.clip_by_value(yhat, 1e-10 , 1.0 ))) train_step=tf.train. AdamOptimizer ( 0.001 ).minimize(cross_entropy) #tf.train.AdamOptimizer(learning_rate).minimize(cost_function) 是進行訓練的函數，其中我們采用的是 Adam 優化算法更新權重，并且需要提供學習速率和損失函數這兩個參數。 rdm= RandomState ( 1 ) data_size= 516 #生成兩個特征，共data_size個樣本 X=rdm.rand(data_size, 2 )#X=rdm.rand(512,2) 表示隨機生成 512 個樣本，每個樣本有兩個特征值。 #定義規則給出樣本標簽，所有x1+x2<1的樣本認為是正樣本，其他為負樣本。Y，1為正樣本 Y = [[int(x1+x2 < 1 )] for (x1, x2) in X] with tf.Session() as sess:sess.run(tf.global_variables_initializer())print (sess.run(w1)) print (sess.run(w2))steps= 11000for i in range(steps):#選定每一個批量讀取的首尾位置，確保在1個epoch內采樣訓練 ? ? ? ?start = i * batch_size % data_sizeend = min(start + batch_size,data_size)sess.run(train_step,feed_dict={x:X[start:end],y:Y[start:end]})if i % 1000 == 0 :training_loss= sess.run(cross_entropy,feed_dict={x:X,y:Y})print ( "在迭代 %d 次后，訓練損失為 %g" %(i,training_loss))

?

?

?

總結

以上是生活随笔為你收集整理的TF之DNN：TF利用简单7个神经元的三层全连接神经网络【2-3-2】实现降低损失到0.000以下的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。