文章目錄

• • 1. 張量
  • 2. 自動(dòng)求導(dǎo)、梯度下降

學(xué)習(xí)于：簡(jiǎn)單粗暴 TensorFlow 2

1. 張量

import tensorflow as tf print(tf.__version__) # 2.3.1random_float = tf.random.uniform(shape=()) # tf.Tensor(0.80420315, shape=(), dtype=float32) zero_vec = tf.zeros(shape=(2)) # tf.Tensor([0. 0.], shape=(2,), dtype=float32)A = tf.constant([[1, 2], [3, 4]], dtype=tf.float32) B = tf.constant([[5, 6.], [7, 8]]) print(A.shape) # (2, 2) 形狀 print(A.dtype) # <dtype: 'float32'> 數(shù)據(jù)類型 print(A.numpy()) # 取出張量的數(shù)值矩陣 # [[1. 2.] # [3. 4.]]

2. 自動(dòng)求導(dǎo)、梯度下降

• tf.GradientTape() 求導(dǎo)記錄器
• tf.Variable() 變量的操作可被求導(dǎo)記錄器記錄，常用于機(jī)器學(xué)習(xí)的 參數(shù)
• tape.gradient(loss, vars)自動(dòng)計(jì)算梯度， loss 對(duì) vars 的梯度
• optimizer.apply_gradients(grads_and_vars) 優(yōu)化器更新參數(shù)

import numpy as np # 原始數(shù)據(jù) X_raw = np.array([2013, 2014, 2015, 2016, 2017], dtype=np.float32) y_raw = np.array([12000, 14000, 15000, 16500, 17500], dtype=np.float32)# 歸一化 X = (X_raw - X_raw.min()) / (X_raw.max() - X_raw.min()) y = (y_raw - y_raw.min()) / (y_raw.max() - y_raw.min())# 轉(zhuǎn)成張量 X = tf.constant(X) y = tf.constant(y)# 參數(shù)變量 a = tf.Variable(initial_value=0.) b = tf.Variable(initial_value=0.) variables = [a, b]# 梯度下降 num_epoch = 10000 # 迭代輪數(shù) # 優(yōu)化器 optimizer = tf.keras.optimizers.SGD(learning_rate=5e-4)# 迭代 for e in range(num_epoch):# 使用tf.GradientTape()記錄損失函數(shù)的梯度信息with tf.GradientTape() as tape: # 進(jìn)入 with 上下文后，變量所有的操作被tape記錄下來y_pred = a * X + b # 預(yù)測(cè)值loss = tf.reduce_sum(tf.square(y_pred - y)) # 平方損失# 損失函數(shù)關(guān)于 模型參數(shù) 的梯度grads = tape.gradient(loss, variables)# 根據(jù)梯度 更新參數(shù)optimizer.apply_gradients(grads_and_vars=zip(grads, variables)) 最終變量值： a <tf.Variable 'Variable:0' shape=() dtype=float32, numpy=0.97637> b <tf.Variable 'Variable:0' shape=() dtype=float32, numpy=0.057565063>

總結(jié)

以上是生活随笔為你收集整理的TensorFlow 2.0 - 张量/自动求导/梯度下降的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。