聲明：平時看些文章做些筆記分享出來，文章中難免存在錯誤的地方，還望大家海涵。平時搜集一些資料，方便查閱學習：http://yqli.tech/page/speech.html。如轉載，請標明出處。歡迎關注微信公眾號：低調奮進

Adapting GPT, GPT-2 and BERT Language Models for?Speech?Recognition

本文章是劍橋大學在2021.07.29更新的文章，主要研究GPT,GPT2和Bert等預訓練語言模型對語音識別的優化作用。具體的文章鏈接

https://arxiv.org/pdf/2108.07789.pdf

---

1?研究背景

預訓練模型的Bert, GPT,GPT2為下游諸多nlp任務提供很好的幫助，但其在ASR中應用卻很少研究，因此本文主要研究這些預訓練模型Bert, GPT,GPT2在ASR中的應用。

2?詳細設計

本文主要回顧一下Transformer，GPT, GPT2和Bert，這里不再詳細介紹。另外本文介紹如何使用這些預訓練的模型來對asr的n-best進行重打分。

3?實驗結果

首先，本文對比使用FNN, LSTM和Transformer聲學模型（這些模型是重新開始訓練所得到）重打分效果。由table1顯示，使用這些LM重打分，wer都下降，尤其同時使用該三種模型的wer最低。接下來看一下使用GPT的效果，圖3和圖4展示使用context大小對性能的影響，context越長效果越好。table3對比使用GPT的效果，相比于table1中的語言模型，使用GPT的性能最好，而且使用in-domain中的語料進行微調的效果好于直接使用原始的GPT。在Bert上的效果相同，但沒有GPT的wer低。最后，同時使用GPT,GPT2和Bert的wer最低。

4?總結

本文研究使用GPT,GPT2和Bert等預訓練語言模型來優化ASR，從而降低錯誤率。

總結

以上是生活随笔為你收集整理的语音识别(ASR)论文优选：Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。