在開始探索強(qiáng)化學(xué)習(xí)的諸多算法之前，我們先來了解一下它所涉及到的具體概念。這些概念將作為基石，一直陪伴著我們的學(xué)習(xí)之旅。為了能夠?qū)⑦@些概念熟記在心，我們這一期做成強(qiáng)化學(xué)習(xí)概念小卡片，一張一張給大家展示和幫助大家理解。

作者&編輯 | 行健 言有三

1 基礎(chǔ)概念怎么學(xué)

經(jīng)常有同學(xué)拿到一本書不知道該怎么學(xué)習(xí)，尤其是涉及到理工科的教材，往往充滿了各種新的名詞和概念，章節(jié)之間有的彼此關(guān)聯(lián)，有的彼此獨(dú)立。面對這樣一本類似于“概念網(wǎng)絡(luò)”組織起來的書，如何入手更快呢? 我們知道，書籍的寫作過程是一章一章完成的，作者在大腦里構(gòu)建的知識地圖，或者說知識網(wǎng)絡(luò)確是一個(gè)完整的整體，作者在開始寫書的時(shí)候就對整個(gè)知識網(wǎng)絡(luò)有全貌的理解和認(rèn)識。在這樣的一個(gè)知識網(wǎng)絡(luò)里面，會(huì)有很多不同的知識節(jié)點(diǎn)，作為整個(gè)知識體系的節(jié)點(diǎn)，來連接構(gòu)建出整個(gè)知識網(wǎng)絡(luò)的全貌。雖然按部就班的去看書的每一章節(jié)，可以讓你看到這些節(jié)點(diǎn)的具體內(nèi)容，但是要想把整個(gè)書的知識網(wǎng)絡(luò)熟絡(luò)于心，那需要額外的努力。俗話說，書讀百遍，其義自見。古人也知道，一本書讀一遍是不夠的。可是面對日益爆炸增長的知識，我們?nèi)绾慰焖俚恼莆兆髡叩闹R網(wǎng)絡(luò)，成了我們有必要學(xué)習(xí)的“知識提取”方法論。在這里，我們提出，這些知識節(jié)點(diǎn)往往來自于概念的獨(dú)立構(gòu)建和相互融合的衍生，所以，基于這一點(diǎn)，我們要關(guān)注這些位于作者知識網(wǎng)絡(luò)中的關(guān)鍵節(jié)點(diǎn)，一開始就來學(xué)習(xí)這些基礎(chǔ)概念，從而高屋建瓴，打好基礎(chǔ)。對這些概念的辨識，需要一定功力，閱讀的功力往往從翻開書的那一刻就體現(xiàn)出來了。如果把一本書比作一位老師，目錄便是他的骨架，支撐起整本書的靈魂。在目錄里，去尋找那些你看不懂，想不清楚的名詞，這些名詞就是你需要認(rèn)知的第一份“概念草稿圖”的組成。

對于一個(gè)領(lǐng)域的知識而言，無非分為上圖所示的幾個(gè)基本方面的內(nèi)容。知識體系中有哪些是事實(shí)（fact）作為依據(jù)，有哪些是基于事實(shí)進(jìn)行的分析（analysis）和分析，有哪些作為過程（process）,包含事實(shí)本身的過程和分析處理加工事實(shí)的過程，有哪些是基于這些事實(shí)（fact）和過程（process）進(jìn)行假設(shè)，定義的概念（concept），從而產(chǎn)生推理和結(jié)論，最終構(gòu)建出新的對象( project ) 或者實(shí)體（instance），或者新的學(xué)科（subject）。在此基礎(chǔ)上，當(dāng)其他人獲取和繼承到這份知識后，會(huì)去創(chuàng)造出價(jià)值，這些價(jià)值包含創(chuàng)新的idea和情緒思維的體驗(yàn)，更包含藝術(shù)(art)層面的，研究(study)層面的，理論(theory)層面的，學(xué)術(shù)(scholar)層面的，以及個(gè)體的成長(growth)和提升方面。同時(shí)知識在繼承過程中本身也會(huì)完成一次新的衍生和增長（growth)。

我們將這些對知識本身的討論和學(xué)習(xí)，叫做“元學(xué)習(xí)”。元學(xué)習(xí)能夠幫助我們?nèi)肽救值念I(lǐng)會(huì)知識精華，將知識薈萃提取成我們的自己的精神感悟和思想認(rèn)識，而不是記憶中的細(xì)枝末節(jié)。如果你還在記憶知識，那很多情況，你只能夠簡單的應(yīng)用，還達(dá)不到對知識進(jìn)行創(chuàng)造性的衍生和自我獨(dú)特的見解。當(dāng)然，我們還是推崇刻苦練習(xí)基本功，在繼承知識這件事情上，從來沒有捷徑，只是效率和境界的不同。

接下來，我們對強(qiáng)化學(xué)習(xí)的概念體系進(jìn)行結(jié)構(gòu)和認(rèn)識，將這些知識放進(jìn)我們的知識框架的背包當(dāng)中，從而方便我們后期取用、組合、應(yīng)用、以及產(chǎn)生新的創(chuàng)造，達(dá)到學(xué)習(xí)知識的終極目標(biāo)。

2 強(qiáng)化學(xué)習(xí)的基礎(chǔ)概念

(1) 系統(tǒng)

什么是系統(tǒng)？系統(tǒng)是一個(gè)抽象定義。它所對應(yīng)的具體實(shí)體可以是任何組成的物質(zhì)存在。強(qiáng)調(diào)物質(zhì)存在是系統(tǒng)存在的必要前提。系統(tǒng)大到星系宇宙，小到細(xì)胞、分子、原子。我們對所研究的對象作出邊界定義后，就構(gòu)成了系統(tǒng)。

(2) 環(huán)境

環(huán)境是排除系統(tǒng)研究實(shí)體或研究變量之外的部分。在強(qiáng)化學(xué)習(xí)中，環(huán)境指排除智能體之外的所有組成。

(3) 智能體

智能體是強(qiáng)化學(xué)習(xí)中的主要研究對象，我們希望智能體能夠通過環(huán)境的檢驗(yàn)來實(shí)現(xiàn)系統(tǒng)的目標(biāo)。

(4) 交互

交互專指智能體與環(huán)境的交互。目前強(qiáng)化學(xué)習(xí)中的研究中，多數(shù)系統(tǒng)與外部沒有直接交互。在一些游戲戰(zhàn)中，人類玩家可以看作一個(gè)外部系統(tǒng)和環(huán)境進(jìn)行交互，聯(lián)合智能體一起對環(huán)境進(jìn)行探索。可以認(rèn)為人類玩家是系統(tǒng)外部角色，不過在改變和影響系統(tǒng)本身方面，人類玩家和智能體是一樣的。這一點(diǎn)，你可以理解為在系統(tǒng)之外“沒有上帝存在”。

(5) 動(dòng)作

動(dòng)作指智能體和環(huán)境產(chǎn)生交互的所有行為的集合。

(6) 狀態(tài)

狀態(tài)指智能體當(dāng)前的所處的環(huán)境情況，自身歷史狀態(tài)情況，以及目標(biāo)完成情況。這里目標(biāo)是指系統(tǒng)在開始構(gòu)建之初，為智能體所定義的目標(biāo)。

(7) 策略

策略是說智能體在允許的動(dòng)作集合中，通過對動(dòng)作進(jìn)行組合，先后使用次序的調(diào)整，從而探索出不同的使用動(dòng)作組合和次序來實(shí)現(xiàn)目標(biāo)。換言之，如何從當(dāng)前的狀態(tài)，通過動(dòng)作，轉(zhuǎn)換到最佳的下一個(gè)狀態(tài)。

(8) 試錯(cuò)

試錯(cuò)是早期強(qiáng)化學(xué)習(xí)的主要方向。通過試錯(cuò)來探索最優(yōu)策略。目前強(qiáng)化學(xué)習(xí)研究的方向轉(zhuǎn)為獎(jiǎng)勵(lì)函數(shù)的優(yōu)化。

(9) 記憶

智能體對過往經(jīng)驗(yàn)的總結(jié)歸納和采用的方式。

(10) 獎(jiǎng)勵(lì)

獲得環(huán)境正反饋后，智能體獲得環(huán)境中設(shè)計(jì)的獎(jiǎng)勵(lì)，另外，還有一種獎(jiǎng)勵(lì)就是對環(huán)境本身的適應(yīng)和開發(fā)。

(11) 價(jià)值函數(shù)

如何做才能最大化獎(jiǎng)勵(lì)。價(jià)值函數(shù)始終是約束最優(yōu)策略的產(chǎn)生和策略探索的方式。

(12) 探索

去嘗試找到不同策略下的獎(jiǎng)勵(lì)的過程。

(13) 應(yīng)用

利用已有的探索成果來和環(huán)境交互。

(14) 馬爾科夫決策過程

馬爾科夫決策過程是包含動(dòng)作，轉(zhuǎn)換函數(shù)，獎(jiǎng)勵(lì)的過程。

在有了這些基礎(chǔ)概念之后，我們需要對這些概念進(jìn)行組合，或者改變順序的安排來定義一套具體的算法。在之后的專欄中，我們要學(xué)會(huì)寫出算法的偽代碼。這些概念就是偽代碼的基礎(chǔ)。另外，符號化和嚴(yán)格的數(shù)學(xué)定義也非常重要，之后，數(shù)學(xué)符號的引入和證明都將推出，但這些定義往往和理論宗派有關(guān)，不同的科學(xué)家對這些問題的看法和角度并不太一樣。下周我們會(huì)分享這些內(nèi)容，數(shù)學(xué)定義也會(huì)相繼給出。

3 強(qiáng)化學(xué)習(xí)中的六類問題

雖然強(qiáng)化學(xué)習(xí)給出了一個(gè)非常通用的解決問題的思路，但是面對具體問題，在不同場景下，強(qiáng)化學(xué)習(xí)又會(huì)有不同的側(cè)重。這些側(cè)重點(diǎn)主要體現(xiàn)在一下六類問題的不同探索點(diǎn)上：

(1) Learning

如何通過學(xué)習(xí)去解決問題，智能體從未知的環(huán)境中通過策略學(xué)習(xí)提高。

(2) Planing

如何通過規(guī)劃去解決問題，已知基于環(huán)境的模型，智能體通過模型進(jìn)行計(jì)算，并且不需要外部交互，智能體能夠提高策略的表現(xiàn)。這類問題的典型案例是 alphaGo。在已知圍棋的規(guī)則下，去尋找最優(yōu)結(jié)果。

(3) Explorition

如何通過探索去解決問題，智能體通過試錯(cuò)獲取環(huán)境信息。

(4) Exploitation

如何利用已知信息去解決問題，智能體利用獲取的信息獲取最大獎(jiǎng)勵(lì)。

(5) prediction

如何借助預(yù)測未來去解決問題，通過評估和預(yù)測未來，給出最佳策略。

(6) Control

如何通過控制未來去解決問題，通過控制和改變未來，找到最佳策略。

六類問題本身并不獨(dú)立，我們在這里把六類問題抽象出來看，每類問題下都有很多經(jīng)典的應(yīng)用。后續(xù)我們介紹具體算法的時(shí)候會(huì)一一討論和學(xué)習(xí)，反復(fù)強(qiáng)化。

4 強(qiáng)化學(xué)習(xí)中的算法

有了上述六類問題，我們再看看如何通過方法或者方法的組合去定義解決問題的算法。

借助是否使用了Policy、Value fuction、Model 不同的方法組合，強(qiáng)化學(xué)習(xí)算法可以分為Value-based，Policy-Based，Model-Based，Model-Free這三種。具體涉及到的算法在下圖中可以看到。

總結(jié)

最后，我們小結(jié)一下，這次我們著重分享了強(qiáng)化學(xué)習(xí)的基礎(chǔ)概念，這些我們給出了解釋性的定義。對這概念，我們可能并沒有具體的數(shù)學(xué)定義，這在解決問題的過程中非常不方便，那么如何將我們的概念通過數(shù)學(xué)證明的方式嚴(yán)格定義下來呢？下一節(jié)，和未來許多節(jié)，我們都將努力的去定義這些概念，消化和理解這些概念。

有三AI夏季劃

有三AI夏季劃進(jìn)行中，歡迎了解并加入，系統(tǒng)性成長為中級CV算法工程師。

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

• 【強(qiáng)化學(xué)習(xí)】強(qiáng)化學(xué)習(xí)專欄上線，60多篇文章等你follow

• 【強(qiáng)化學(xué)習(xí)】數(shù)據(jù)科學(xué)，從計(jì)算到推理

• 【圖像分割應(yīng)用】醫(yī)學(xué)圖像分割（一）——腦區(qū)域分割

• 【圖像分割應(yīng)用】醫(yī)學(xué)圖像分割（二）——心臟分割

• 【NLP】自然語言處理專欄上線，帶你一步一步走進(jìn)“人工智能技術(shù)皇冠上的明珠”。

• 【NLP】用于語音識別、分詞的隱馬爾科夫模型HMM

• 【NLP】用于序列標(biāo)注問題的條件隨機(jī)場（Conditional Random Field, CRF）

總結(jié)

以上是生活随笔為你收集整理的【强化学习】从强化学习基础概念开始的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。