RL之Q Learning：利用強化學習之Q Learning實現走迷宮—訓練智能體走到迷宮(簡單迷宮)的寶藏位置

?

?

目錄

輸出結果

設計思路

實現代碼

測試記錄全過程

---

?

?

?

輸出結果

?

設計思路

?

實現代碼

from __future__ import print_function import numpy as np import time from env import EnvEPSILON = 0.1 ALPHA = 0.1 GAMMA = 0.9 MAX_STEP = 30np.random.seed(0)def epsilon_greedy(Q, state):if (np.random.uniform() > 1 - EPSILON) or ((Q[state, :] == 0).all()):action = np.random.randint(0, 4) # 0~3else:action = Q[state, :].argmax()return actione = Env() Q = np.zeros((e.state_num, 4))for i in range(200):e = Env()while (e.is_end is False) and (e.step < MAX_STEP):action = epsilon_greedy(Q, e.present_state)state = e.present_statereward = e.interact(action)new_state = e.present_stateQ[state, action] = (1 - ALPHA) * Q[state, action] + \ALPHA * (reward + GAMMA * Q[new_state, :].max())e.print_map()time.sleep(0.1)print('Episode:', i, 'Total Step:', e.step, 'Total Reward:', e.total_reward)time.sleep(2)

?

?

?

?

測試記錄全過程

開始 ......... ......... . . ......... . . .A o . ......... . . .A o . . . ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . o . . . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . .A o . .A . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . . o . . . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . . o . .A . ......... ......... . . .A o . .A . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . o . . . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . o . . A . ......... ......... . . . A . . A . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... Episode:0 Total Step:17, Total Reward:100 . . . A . . . ......... Episode:0 Total Step:17, Total Reward:100 . A . . . ......... Episode:0 Total Step:17, Total Reward:100 . . ......... Episode:0 Total Step:17, Total Reward:100 ......... Episode:0 Total Step:17, Total Reward:100 ......... ......... . . ......... . . .A o . ......... . . .A o . . . ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . .A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . A . . A o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . . . o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . A . . A o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . . . o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... ......... . . . A o . . . ......... [F[F[F[F……. A . . . ......... Episode:48 Total Step:6, Total Reward:100 . . ......... Episode:48 Total Step:6, Total Reward:100 ......... Episode:48 Total Step:6, Total Reward:100 ......... ......... . A . ......... . A . . o . ......... . A . . o . . . ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . . . o . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... Episode:49 Total Step:6, Total Reward:100 . . . A . . . ......... Episode:49 Total Step:6, Total Reward:100 . A . . . ......... Episode:49 Total Step:6, Total Reward:100 . . ......... Episode:49 Total Step:6, Total Reward:100 ......... Episode:49 Total Step:6, Total Reward:100 ......... ......... . A . ......... . A . . o . ......... . A . . o . . . ......... . A . . o . . . ......... ……......... . . . A . . . ......... Episode:73 Total Step:8, Total Reward:100 . . . A . . . ......... Episode:73 Total Step:8, Total Reward:100 . A . . . ......... Episode:73 Total Step:8, Total Reward:100 . . ......... Episode:73 Total Step:8, Total Reward:100 ......... Episode:73 Total Step:8, Total Reward:100 ......... ......... . A . ......... . A . . o . ......... . A . . o . . . ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ……......... . . . Ao . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... Episode:95 Total Step:10, Total Reward:100 . . . A . . . ......... Episode:95 Total Step:10, Total Reward:100 . A . . . ......... Episode:95 Total Step:10, Total Reward:100 . . ......... Episode:95 Total Step:10, Total Reward:100 ......... Episode:95 Total Step:10, Total Reward:100 ......... ......... . A . ......... . A . . o . ......... . A . . o . . . ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . . . o . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... Episode:96 Total Step:6, Total Reward:100 . . . A . . . ......... Episode:96 Total Step:6, Total Reward:100 . A . . . ......... Episode:96 Total Step:6, Total Reward:100 . . ......... Episode:96 Total Step:6, Total Reward:100 ......... Episode:96 Total Step:6, Total Reward:100 ......... ......... . A . ......... . A . . o . ......... . A . . o . . . ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . . . o . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... Episode:97 Total Step:8, Total Reward:100 . . . A . . . ......... Episode:97 Total Step:8, Total Reward:100 . A . . . ......... Episode:97 Total Step:8, Total Reward:100 . . ......... Episode:97 Total Step:8, Total Reward:100 ......... Episode:97 Total Step:8, Total Reward:100 ......... ......... . A . ......... . A . . o . ......... . A . . o . . . ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . . . o . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... Episode:98 Total Step:6, Total Reward:100 . . . A . . . ......... Episode:98 Total Step:6, Total Reward:100 . A . . . ......... Episode:98 Total Step:6, Total Reward:100 . . ......... Episode:98 Total Step:6, Total Reward:100 ......... Episode:98 Total Step:6, Total Reward:100 ......... ......... . A . ......... . A . . o . ......... . A . . o . . . ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . A . . o . . . ......... ......... . . . o . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... ......... . . . A . . . ......... Episode:99 Total Step:6, Total Reward:100 . . . A . . . ......... Episode:99 Total Step:6, Total Reward:100 . A . . . ......... Episode:99 Total Step:6, Total Reward:100 . . ......... Episode:99 Total Step:6, Total Reward:100 ......... Episode:99 Total Step:6, Total Reward:100 Episode:99 Total Step:6, Total Reward:100 F:\AI\DL21TF\DL21examples\chapter_18>

?

?

?

?

?

總結

以上是生活随笔為你收集整理的RL之Q Learning：利用强化学习之Q Learning实现走迷宫—训练智能体走到迷宫(简单迷宫)的宝藏位置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。