谷歌今天宣布開源 tf-seq2seq，這是一個用于 Tensorflow 的通用編碼器-解碼器框架，可用于機器翻譯、文本總結、會話建模、圖說生成等任何序列到序列的任務。

2016年，我們宣布了谷歌神經機器翻譯（GNMT），一個序列到序列（“seq2seq”）模型，現在用于谷歌翻譯商用系統。雖然 GNMT 在翻譯質量方面取得了巨大的進步，但影響卻十分有限，主要是外部研究人員無法使用這一框架訓練模型。

今天，我們很高興向大家介紹 tf-seq2seq，這是一個TensorFlow開源代碼seq2seq框架，使用seq2seq模型可以很容易地進行實驗，并獲得最先進的結果。為此，我們使tf-seq2seq代碼庫干凈（clean）和模塊化，記錄了完整的測試情況和所有功能。

我們的框架支持標準seq2seq模型的各種配置，如編碼器/解碼器的深度（depth of the encoder/decode），注意力機制，RNN單元類型或 beam 大小。這種多功能性使我們能夠發現最佳的超參數并且在性能上優于其他框架，如我們的文章《神經機器翻譯架構的大規模探索》（Massive Exploration of Neural Machine Translation Architectures）所述。

論文地址：https://arxiv.org/abs/1703.03906

從漢語普通話到英語的seq2seq模型。在每個時間步長中，編碼器接收一個漢字和自己以前的狀態（黑色箭頭表示），并產生一個輸出向量（用藍色箭頭表示）。然后，解碼器逐個生成英文翻譯，每一步都會綜合考慮最后一個字、先前的狀態和編碼器的所有輸出的加權組合（也就是注意力[3]，用藍色標記），然后產生下一個英文單詞。我們在實現中，使用 wordpieces[4]處理罕見的單詞。

除了機器翻譯之外，tf-seq2seq還可以應用于任何其他的序列到序列任務（即，學習產生給定輸入序列的輸出序列），包括機器文本總結（machine summarization）、圖說生成、語音識別和會話建模（conversational modeling）。我們仔細設計了框架來保持其通用性（generality），并提供教程，預處理數據和其他機器翻譯實用程序。

希望使用 tf-seq2seq能加速（或開始）你自己的深度學習研究。 也歡迎你對我們的GitHub庫做貢獻。

Github 庫：https://github.com/google/seq2seq

參考資料：

[1] Massive Exploration of Neural Machine Translation Architectures, Denny Britz, Anna Goldie, Minh-Thang Luong, Quoc Le

[2] Sequence to Sequence Learning with Neural Networks, Ilya Sutskever, Oriol Vinyals, Quoc V. Le. NIPS, 2014

[3] Neural Machine Translation by Jointly Learning to Align and Translate, Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio. ICLR, 2015

[4] Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, ?ukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean. Technical Report, 2016

[5] Attention and Augmented Recurrent Neural Networks, Chris Olah, Shan Carter. Distill, 2016

[6] Neural Machine Translation and Sequence-to-sequence Models: A Tutorial, Graham Neubig

[7] Sequence-to-Sequence Models, TensorFlow.org

原文鏈接：https://research.googleblog.com/2017/04/introducing-tf-seq2seq-open-source.html

總結

以上是生活随笔為你收集整理的谷歌开源 tf-seq2seq，你也能用谷歌翻译的框架训练模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。