日前，西雅圖的研究人員推出了一項被他們稱為“TuringAdvice”的新人工智能大挑戰，挑戰的核心是創建語言模型，為使用真實世界語言的人類提供有用的建議。

　　TuringAdvice 挑戰賽是基于動態的 RedditAdvice 數據集而發起的。Reddit advice 是為迎接挑戰而創建的，它是一個眾包的數據集，在過去兩周里共享的建議在 Reddit 小組中獲得了最多的支持票。為了通過挑戰，機器提供的建議必須要與那些受歡迎的人類建議一樣有用，甚至更好。

　　作為 TuringAdvice 的一部分，研究人員還發布了一個靜態 RedditAdvice 2019 數據集，用于訓練提供建議的人工智能模型，其中包括 Reddit 子社區用戶分享的 18.8 萬個情景下的 61.6 萬條建議。

　　初步分析表明，像谷歌 T5（去年秋天推出的一個擁有 110 億個參數的模型）這樣的高級模型，只有在9% 的情況下，寫建議版主發現至少和人類建議一樣有用。研究人員還評估了 Grover 變壓器模型和 TF-IDF 的版本。這項研究沒有評估像 Google 的 BERT 這樣流行的雙向 NLP 模型，因為它們通常被認為在生成文本方面不如從左到右的模型。關于人際關系、法律事務和日常生活方面的建議，可以在網上找到人機對比演示。

　　最近發布的一篇關于 TuringAdvice 的論文寫道：“今天最大的模型在 REDDITADVICE 上苦苦掙扎，所以我們很高興看到新模型得到發展。”

　　“我們認為，如今存在一個深層次的問題：人類在現實世界中如何使用語言，與我們的評估方法能夠衡量的，這二者之間存在差距。當今的主流范式是研究靜態數據集，并根據輸出結果與預先定義正確答案的相似性對機器進行評級。”

　　“然而，當我們在現實世界中使用語言進行交流時——比如提供建議，或向某人傳授一個概念——很少有一個通用的正確答案可以與之相比，這只是我們想要實現的一個松散的目標。我們引入了一個框架來縮小基準測試和實際語言使用之間的差距。”

　　作者們表示，TuringAdvice 挑戰賽中的 AI 進展，可能會使人工智能更好地為人類提供建議或充當虛擬治療師。

　　為了確保結果與真實世界的語言使用保持一致，研究小組選擇了一種動態評估方法，他們在最近兩周內從 Reddit 的各個子社區收集了 200 個情況。他們選擇把建議作為一個測試場景，因為它是所有人都非常熟悉的東西，并且與閱讀理解等核心 NLP 任務重疊。

　　TuringAdvice 挑戰是華盛頓大學和艾倫人工智能研究所（Allen Institute of AI）的工作，上周在 arXiv 上發表的一篇研究論文對此進行了詳細闡述。該論文題為根據機器的實際語言使用情況來評估機器》（evaluation Machines by their Real-World Language Use）。華盛頓大學副教授 Ali Farhadi 是艾倫研究所先前團隊的負責人，也是本文的合著者之一，他的人工智能初創企業 Xnor 最近被蘋果收購。

　　所有的模型性能評估都來自于通過亞馬遜的 Mechanical Turk 雇傭的人員。這篇論文曾對獲取人工智能模型培訓數據的方式表示不滿，但它認為，比起發布自動化機器建議來回應需要幫助的人類，雇傭 Mechanical Turk 員工的做法更有道德；它也承認，獲得報酬來完成這項任務會引入外部動機。傾向于選擇機器建議而非人類建議的工人被解雇了。

　　首席研究員 Rowan Zellers 在采訪中透露，研究人員將有機會創建并調整他們的模型；第二輪排行榜結果預計將在未來幾個月內公布。

　　研究人員表示，他們選擇了 Reddit 各子社區分享的流行建議，試圖創造一種內在的動力，就像人們在 Reddit 上響應求助時所體驗的那樣。

　　TuringAdvice 挑戰賽的一個關注點是價格。評估 200 條關于 Mechanical Turk 的建議大概需要 370 美元。未來挑戰賽的參與者將被要求支付 Mechanical Turk 的費用，以便他們的模型被評估或出現在 TuringAdvice 排行榜上。

　　TuringAdvice 是過去一年中為建立更健壯的自然語言模型而創造的最新挑戰。去年秋天，華盛頓大學的 NLP 實驗室曾與紐約大學、Facebook 的 AI 研究院和三星研究院一道，推出了 SuperGLUE 挑戰賽和“排行榜”(leaderboard)這一個更復雜的評估性能的任務系列。

　　雷鋒網編譯，via VentureBeat：https://venturebeat.com/2020/04/14/researchers-challenge-ai-to-give-advice-as-well-as-humans-on-reddit-can/

總結

以上是生活随笔為你收集整理的AI做“军师”？先赢过Reddit用户再说吧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。