fastbert解读
生活随笔
收集整理的這篇文章主要介紹了
fastbert解读
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目前確實僅支持分類任務,目前在工業界中很多任務都可以轉換成分類任務,例如雙句匹配等。其他任務的支持還需要進一步研究,歡迎持續關注。
而且這個加速優勢只在測試階段明顯,訓練時候所有branch都要訓練反而增加負擔
2-我覺得分類、序列標注、句間關系等判別任務都可以用,但論文中確實只驗證了分類和句間關系
https://github.com/autoliuweijie/FastBERT
Reducing Transformer Depth on Demand with Structured Dropout:
https://zhuanlan.zhihu.com/p/127869267
FastBERT: a Self-distilling BERT with Adaptive Inference Time:
https://arxiv.org/abs/2004.02178
K-BERT: Enabling Language Representation with Knowledge Graph:
https://arxiv.org/abs/1909.07606
總結
以上是生活随笔為你收集整理的fastbert解读的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 显卡不够时,如何训练大型网络
- 下一篇: 集束搜索