前言

文本生成，旨在利用NLP技術，根據給定信息產生特定目標的文本序列，應用場景眾多，并可以通過調整語料讓相似的模型框架適應不同應用場景。本文重點圍繞Encoder-Decoder結構，列舉一些以文本摘要生成或QA系統文本生成為實驗場景的技術進展。

Seq2seq框架

2014年NLP界有兩份重要的成果，Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation和Sequence to Sequence Learning with Neural Networks。雖然在Decoder的輸入上有差別，但結構上兩者都將Encoder-Decoder結構應用在翻譯場景中，并由此開始，seq2seq框架在機器翻譯，對話生成等領域中占據重要位置。另外，前者首次提出GRU結構，后者采用Beam Search改善預測結果，這些都成為如今seq2seq框架的基礎技術元素。

隨后，Bahdanau在Neural Machine Translation by Jointly Learning to Align and Translate中提出了融合attention和seq2seq結構的NMT模型結構，至此，由Encoder-Attention-Decoder組成的seq2seq框架正式形成。

總結

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（四十二）-Seq2seq框架下的文本生成的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。