李宏毅机器学习（七）GPT的野望
生活随笔
收集整理的這篇文章主要介紹了
李宏毅机器学习（七）GPT的野望
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前情提要
前面我們有說，BERT做的是什么？ Bert做的是填空題！ GPT做的是什么？ 做的是預測接下來要出現的Token是什么？ 它里面的結構有點像Transformer中的Decoder
GPT最有名的就是生成了一個關于獨角獸的假新聞！ 同時也說明了它的作用就是可以寫出一個文章
GPT系列很難去訓練，因為太大了，也很難去fine-tune！ 但是GPT有一個很狂的想法： 就是說我們只給你少量或者沒有參考樣本，在給出你提示后，讓你去學習出正確的答案！
給出了42個任務！ 這些是42個任務的準確率！
Beyond Text
當然也可以用在不同的領域上了！
Image
BYOL：Bootstrap Your Own Latent（不知道為什么會Work！ Deep learning的神奇）
SimCLR
Speech
Audio Version/Bert 也可以補全語音
Speech GLUE- SUPERB
這是各種Self-supervised的模型！
總結
以上是生活随笔為你收集整理的李宏毅机器学习（七）GPT的野望的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Linux系统服务器停服,Linux系统
- 下一篇： ipv6 访问内网_【内网渗透】—— 隐