强化学习及其在NLP上的应用
生活随笔
收集整理的這篇文章主要介紹了
强化学习及其在NLP上的应用
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
what is RL?
RL輸入是一個序列,很大程度上兩次輸入的相關聯
Different kinds of RL
線性或非線性擬合會有幾個問題:1、默認數據獨立同分布,但是輸入數據間有關聯 2、target不穩定,label 好壞程度或正確程度不穩定
DQN對其進行三方面改進:1、深度卷積神經網絡擬合能力比較強? 2、通過之前的樣本或者別人的樣本進行訓練,主要是打亂樣本之間的相關性
狀態--》策略擬合
動作很多或者連續動作空間,會消耗更多的資源不適合用基于值的RL
適合使用基于策略的RL,減少過程計算
缺點:
高方差:ac算法或a3c算法可以解決高方差這個問題
目的:骷髏拿到錢
確定性策略問題:灰色塊往左走,白色塊往右走,那一直得不到想要的結果
隨機性策略:可以探索更多的區域
RL在離散空間有天然的優勢,文本生成、序列決策
?相似的論文:"Adversarial Learning for Neural Dialogue Generation (2017)"
GAN 不能用于自然語言處理和文本生成:
判別器 生成器:判別器加0.1,在詞庫可能找不到
判別器:CNN? ? ? 生成器:LSTM
視頻參考鏈接:http://www.mooc.ai/course/503/learn#lesson/2762
總結
以上是生活随笔為你收集整理的强化学习及其在NLP上的应用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 知识图谱技术实战
- 下一篇: Docker(基础理解)