數(shù)據(jù)集是推動自然語言處理技術(shù)進步的基石。為應(yīng)對自然語言處理技術(shù)應(yīng)用中面臨的多領(lǐng)域、多場景等諸多挑戰(zhàn)，百度聯(lián)合中國計算機學(xué)會、中國中文信息學(xué)會，于2020年8月共同發(fā)起中文自然語言處理數(shù)據(jù)共建計劃——“千言”， 推進中文信息處理技術(shù)的進步。

發(fā)布一年多以來，“千言”已針對開放域?qū)υ挕㈤喿x理解和情感分析等8個任務(wù)，匯集了來自11所高校和企業(yè)的28個開源數(shù)據(jù)集。其中，情感分析作為自然語言處理技術(shù)的基本任務(wù)之一，涵蓋了句子級情感分類、評價對象級情感分類、觀點抽取三個經(jīng)典任務(wù)數(shù)據(jù)集，吸引了來自京東、網(wǎng)易、小米、平安、OPPO、新浪等多家知名企業(yè)的近300支團隊參加打榜。

近日，為了更好地推動情感分析技術(shù)在大規(guī)模產(chǎn)業(yè)化的應(yīng)用，中文信息學(xué)會情感計算專業(yè)委員會、美團與百度共同發(fā)布千言-情感分析2.0，實現(xiàn)兩方面的重大升級。首先，在繼續(xù)關(guān)注模型準(zhǔn)確率效果的同時，加強對模型是否“可信”的評估，發(fā)布業(yè)界首個中文情感可信數(shù)據(jù)集DuTrust；其次，針對產(chǎn)業(yè)化中面臨的任務(wù)類型、數(shù)據(jù)模態(tài)多樣化的難題，提供面向真實應(yīng)用場景的大規(guī)模、高質(zhì)量、多模態(tài)的情感分析數(shù)據(jù)，發(fā)布業(yè)界最大規(guī)模的中文評論分析數(shù)據(jù)集ASAP和面向推薦場景的多模態(tài)情感標(biāo)簽數(shù)據(jù)集DuVideoSenti。

發(fā)布業(yè)界首個中文情感可信數(shù)據(jù)集DuTrust[1]

“可信AI”的概念在近幾年提出，并且逐漸成為全球共識。可信AI，就是保證AI系統(tǒng)的可解釋性、魯棒性和公平性，確保算法可被人信任。在情感分析技術(shù)的科學(xué)研究和產(chǎn)業(yè)落地中，可信情感分析系統(tǒng)需要具備較強的魯棒性和可解釋能力，也就是要求模型針對各種不同表達，既能給出精準(zhǔn)的預(yù)測結(jié)果，還能給出其判斷依據(jù)，從而保證模型的預(yù)測結(jié)果更加置信。

作為業(yè)界首個中文情感可信數(shù)據(jù)集，DuTrust基于人工標(biāo)注的擾動數(shù)據(jù)和情感證據(jù)，全部來源于真實用戶評論數(shù)據(jù)，同時測試模型的魯棒性和可解釋性，全面評估模型的可信能力。

中文情感可信數(shù)據(jù)集DuTrust數(shù)據(jù)樣例

以上述評論數(shù)據(jù)為例，DuTrust首先為每個樣例對應(yīng)標(biāo)注一個擾動樣本，并且標(biāo)注原始樣本和擾動樣本的情感類別，通過計算模型在原始樣例和擾動樣例上預(yù)測的準(zhǔn)確率（Accuracy）作為模型魯棒性的評估指標(biāo)。

此外，DuTrust還分別為原始樣例以及擾動樣例人工標(biāo)注了情感的判斷依據(jù)，在可解釋性評估時，需要用戶同時給出模型的情感判別依據(jù)，最終通過計算其與人工標(biāo)注結(jié)果在字粒度上重合度F1值（F1-measure）作為模型可解釋性的評估指標(biāo)。

聯(lián)合發(fā)布業(yè)界最大規(guī)模的中文評論分析數(shù)據(jù)集ASAP [2]

在電商場景下，一般來說情感分析涉及評論得分預(yù)估和對象級情感分類兩個最基礎(chǔ)的任務(wù)。兩個任務(wù)之間天然存在很強的關(guān)聯(lián)性，且在商業(yè)應(yīng)用中也通常一起使用。然而現(xiàn)有的中文公開數(shù)據(jù)集大都針對兩個任務(wù)分別構(gòu)建，未能將兩類任務(wù)有效聯(lián)系起來。

此次“千言”與美團聯(lián)合發(fā)布的業(yè)界最大規(guī)模中文評論分析數(shù)據(jù)集ASAP，首次實現(xiàn)對評論得分預(yù)估和對象級情感分類兩個任務(wù)的聯(lián)合標(biāo)注，數(shù)據(jù)全部源于真實的電商場景，從數(shù)據(jù)規(guī)模和標(biāo)注質(zhì)量上都遠超其他數(shù)據(jù)集。

中文評論分析數(shù)據(jù)集ASAP數(shù)據(jù)樣例

該數(shù)據(jù)集針對輸入的評論文本，人工標(biāo)注整體的評論得分（1-5分），以及對應(yīng)不同評價對象的情感類別（積極、消極、中性三種），并且使用準(zhǔn)確率（Accuracy）評估模型的預(yù)測效果。

面向推薦場景的多模態(tài)視頻情感標(biāo)簽數(shù)據(jù)集DuVideoSenti [3]

目前，個性化推薦技術(shù)迅猛發(fā)展，成為繼搜索引擎之后的又一重要的信息獲取途徑。推薦系統(tǒng)的目的是為用戶提供個性化的內(nèi)容和服務(wù)，幫助用戶快速高效的獲取個性化信息。

在真實的應(yīng)用場景中，往往存在大量內(nèi)容題材、質(zhì)量相同，但卻能給用戶帶來不同視覺沖擊和情感感受的資源。針對這類資源，需要構(gòu)建能夠刻畫用戶不同的視覺和情感感受的完備的標(biāo)簽體系，才能將其更好地應(yīng)用于推薦系統(tǒng)，提升用戶的體驗。

千言面向推薦場景推出多模態(tài)情感標(biāo)簽數(shù)據(jù)集DuVideoSenti，引入視頻情感泛標(biāo)簽預(yù)測任務(wù)，構(gòu)建了視頻情感泛標(biāo)簽體系。該體系由人工定義的“文藝清新”、“時尚炫酷”、“舒適溫馨”等11個情感泛標(biāo)簽組成，用以刻畫用戶瀏覽視頻后的視覺和情感方面的感受。數(shù)據(jù)集為每個小視頻標(biāo)注了情感泛標(biāo)簽，并且提供了視頻的標(biāo)題、幀圖特征用于模型的訓(xùn)練和預(yù)測。在測試中使用準(zhǔn)確率（Accuracy）用于評估模型的預(yù)測效果。本數(shù)據(jù)集聚焦情感分析技術(shù)在個性化推薦場景中的應(yīng)用，同時有助于推動多模態(tài)學(xué)習(xí)技術(shù)的發(fā)展。

多模態(tài)視頻情感標(biāo)簽數(shù)據(jù)集DuVideoSenti數(shù)據(jù)樣例

舉辦基于千言-情感分析2.0的評測比賽

為了進一步推動情感分析相關(guān)研究，中國中文信息學(xué)會情感計算專業(yè)委員會與千言開源數(shù)據(jù)集項目組（www.luge.ai）還聯(lián)合舉辦“千言情感分析常規(guī)評測比賽”，目前已有來自國內(nèi)知名企業(yè)及高校超1000位選手報名參賽。

據(jù)悉，本次比賽就以千言-情感分析2.0為核心，全面評估情感分析模型在多種模態(tài)場景下的預(yù)測準(zhǔn)確率、模型的魯棒性和可解釋性指標(biāo)。除了有挑戰(zhàn)性的賽題，百度飛槳 AI Studio 將為選手提供免費的Tesla V100 GPU算力，千言數(shù)據(jù)集還將為優(yōu)勝團隊頒發(fā)證書，并發(fā)放精美的定制禮品。

報名及競賽詳情鏈接：
https://aistudio.baidu.com/aistudio/competition/detail/50/0/task-definition

未來，希望有更多的情感分析領(lǐng)域科研學(xué)者、領(lǐng)域?qū)＜覅⑴c共建千言-情感分析榜單，共同推動中文情感分析技術(shù)的進步，建設(shè)世界范圍內(nèi)的中文情感分析影響力。

點擊進入獲得更多技術(shù)信息~~

總結(jié)

以上是生活随笔為你收集整理的聚焦可信AI与产业应用，百度联合发起千言计划实现情感分析2.0升级的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。