文 | 付瑤
編 | 小軼

博士的畢業論文是我們博士學位教育重要的一環，不僅僅是獲得學位的最后一個難關，也是讀博期間工作的總結展現。那么一個優秀的博士在讀博期間會做出多少成果？ta 的博士論文又長什么樣？今天，讓我們打開一篇最新的斯坦福博士的畢業論文，來看看都講了些什么。

作者是剛剛8月份畢業于斯坦福的女博士Abigail See。Abigail 的研究方向是開放式的文本生成，導師是大名鼎鼎的 Chris Manning。目前在谷歌學術上已經擁有 2139 的引用量。同時，她也是斯坦福 AI Salon，AI woman 兩個組織的主要負責人，還連續擔任過是斯坦福 cs224n （NLP導論）的助教組長。

Abigail 在讀博期間共計發表了 6 篇一作文章。她在博士畢業論文中對自己讀博 6 年間的科研成果進行了總結。單論數量而言，平均每年一篇的產量，可能即使放之國內普通高校也不能算十分突出。難得的是篇篇高質量，其中不乏引用量 1700+ 的超高影響力論文，以及獲得最佳論文提名的高認可度工作。

▲Abigail See 讀博期間的一作論文

博士論文標題：
NEURAL GENERATIONOF OPEN-ENDED TEXT AND DIALOGUE

論文鏈接：
https://purl.stanford.edu/hw190jq4736

作者主頁：
https://cs.stanford.edu/people/abisee/

工作概述

Abigail 博士期間的研究方向在開放式文本生成，但具體應用的下游任務并不集中，主要涉及 摘要、對話、故事生成 三類。在這三個子領域上，作者對自己的 contribution 總結如下：

• 摘要：提出指針生成器模型（pointer-generator network）來提高復制的準確性，以及一個覆蓋機制來減少生成摘要的重復。

• 對話：通過收集大規模用戶評價，揭示了機器人行為(如重復、特異性、話題停留和提問)和用戶質量判斷之間的關系，改善用戶體驗

• 故事生成：描述了大規模預訓練和解碼算法對生成文本的句法、語義、結構和文體方面的影響。作為成果，作者部署研究了一個生成式聊天模型，能夠通過分析機器人與用戶的交互，確定了機器人的主要錯誤類型、與用戶不滿的關系，從而改善對話系統。

文章架構

作者在畢業論文中分為了5大部分來主要敘述自己的研究工作分別是：

• 引言

• 研究背景

• 指針生成網絡

• 控制聊天對話的屬性

• 預訓練對故事生成的影響

• 用戶聊天對話中的不滿

引言和背景介紹部分我們就略去不表了，主要關注后面四個部分。

指針生成網絡概述

本章節中主要敘述了作者構建的指針生成網絡 Pointer-Generator的相關工作。該文發表于ACL'17，目前引用量已達1700+。對 NLG 有過了解的同學想必都聽說過。

相關論文：
Get to the point: Summarization with pointer-generator networks

論文鏈接：
https://arxiv.org/pdf/1704.04368.pdf

Pointer-Generator 構建了一個融合網絡以及指針網絡的混合模型，既允許通過指針復制單詞，也允許從固定詞匯表中生成新的單詞。把sequence-to-sequence模型應用于摘要生成時存在兩個主要的問題：（1）難以準確復述原文的事實細節、無法處理原文中的未登錄詞(OOV)；（2）生成的摘要中存在重復的片段。針對這兩個問題，本文提出的融合了seq2seq模型和pointer network的pointer-generator network以及覆蓋率機制(coverage mechanism)，在CNN/Daily Mail數據集上，相比于state-of-art，ROUGE分數提升了兩個點。

控制聊天對話的屬性

相關論文：
What makes a good conversation? How controllable attributes affect human judgments

論文鏈接：
https://arxiv.org/pdf/1902.08654.pdf

作者提出：一個好的對話需要有以下特性：簡潔與細節 持續主題與更換主題 問問題和回答問題，對應四種屬性：重復性、獨特性、回復相關性和問與答。在這部分內容中作者旨在設計通用且易于調整的的控制方法，研究了兩種控制方法條件訓練（conditional Traning）和加權解碼(weighted decoding)。使用條件訓練和加權解碼來控制四個屬性：repetition重復性、secificity特異性、response-relatedness反映相關性和question-asking提問。在測試該任務改進的效果子作者對28種模型配置進行了大規模的人工評估，并進行了人機對話以進行比較。

預訓練對故事生成的影響

相關論文：
Do Massively Pretrained Language Models Make Better Storytellers?

論文鏈接：
https://arxiv.org/pdf/1909.10705.pdf

在大規模語料中訓練得到的預訓練語言模型在很多NLP任務中都取得了較好的表現，但是在開放文本生成中的能力仍未被明確。一些實驗結果雖然展現了其潛在的能力，但是并沒有關于預訓練模型在文本生成的能力的具體研究。作者通過在WritingPrompts-1024上評估，對比了GPT2-117與Fusion model等模型在故事生成的表現。通過多種指標評估生成文本后，研究人員發現了一些可以很好生成故事的模型，以及一些表現不太好的模型。雖然 GPT2-117 在語境上更好，對事件的順序更敏感，而且使用了更多不常用的詞匯，但是它在使用最大似然解碼算法時只能生成重復的、沒有多樣性的文本。

用戶聊天對話中的不滿

相關論文：
Understanding and predicting user dissatisfactionin a neural generative chatbot

論文鏈接：
https://sigdial.org/sites/default/files/workshops/conference22/Proceedings/pdf/2021.sigdial-1.1.pdf
🏆 Nominated for Best Paper Award

神經生成對話代理已經顯示出越來越多的能力進行簡短的閑談對話，神經生成可以實現更強大的社交聊天機器人，能夠比以前基于規則或基于檢索的對話系統靈活地討論更廣泛的主題。然而，它們在實際部署中的表現-尤其是在嘈雜的環境中與內在動機的用戶對話，卻沒有得到很好的研究。

作者對一個神經生成模型進行了詳細的案例研究，該模型部署在Chirpy Cardinal (Alexa Prize socialbot)上，在一系列的實驗中，發現了不夠明確的話語是生成錯誤的主要來源，如忽略、幻覺、不清楚和重復。除此之外,作者證明了不滿意的用戶話語可以作為半監督學習信號來改進對話系統，訓練了一個predictor用于改進下一輪來減少不滿，并通過人類評價表明，作為一個排名函數，它選擇了更高質量的神經生成的話語。

小結

當我們打開論文來看作者在讀博期間的研究工作，雖然她在讀博期間的論文數量并不算多，但是每一篇章的質量都很高，不僅獲得過最佳論文的提名，而且有引用量高達1700的文章，即使有的論文沒有太高的引用量，也是對在該領域有深刻影響，是立足所研究課題長遠發展的角度進行科研工作。比起快速切換熱點來迎合頂會的青睞，她選擇了堅定沿著自己的思路，來創立自己的學術宇宙。對一個普通研究生來說，能有一兩篇頂會論文已實屬不易。但如果志存高遠，以領域內的貢獻要求自己，你將會看到不一樣的峰頂。Chris Manning 和他的 phd 給我們樹立了一個很好的榜樣。

博士畢業文是各位攻讀博士學位的同學獲取學位必須經歷的一道難關，除了學術態度之外，寫作的技巧也非常重要。通過這次的拜讀經歷，小編總結了幾條tips分享給大家：

（1）梳理脈絡：博士畢業論文篇幅較大，如果作者脈絡梳理的不夠清晰，不僅會顯得研究工作、學術思路雜亂無章，而且會導致讀者一頭霧水，讀不透論文的內容。

（2）內容組織 ：畢業論文是在讀博期間幾年圍繞課題開展的研究的集合，框架的設定、章節的展開都應與你的研究歷程關聯，層層剝繭，互為支撐。

（3）凸出重點：支撐大論文寫作的研究內容和數據的數量會非常龐大，將與論文相關性較弱的數據剔除，刪掉旁支末節，以此來突出自己的主要研究重點及關鍵實驗結果。

（4）撰寫細節：在大篇幅寫作中，搭配不當、語義重估、語序顛倒等錯誤的出現不是罕事，這些會對你的論文將會非常的減分。因此，一定要多檢查幾遍細節。除此之外，論文中的圖片也是一種重要的成果展展示，控制所有圖片的顏色、尺寸、圖中文字的字體、字號，使得你的論文看起來整潔統一。

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

總結

以上是生活随笔為你收集整理的在斯坦福，做 Manning 的 phd 要有多强？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。