數(shù)據(jù)集是推動自然語言處理技術(shù)進(jìn)步的基石。為應(yīng)對自然語言處理技術(shù)應(yīng)用中面臨的多領(lǐng)域、多場景等諸多挑戰(zhàn)，百度聯(lián)合中國計算機(jī)學(xué)會、中國中文信息學(xué)會，于2020年8月共同發(fā)起中文自然語言處理數(shù)據(jù)共建計劃——“千言”， 推進(jìn)中文信息處理技術(shù)的進(jìn)步。

　　發(fā)布一年多以來，“千言”已針對開放域?qū)υ?、閱讀理解和情感分析等8個任務(wù)，匯集了來自11所高校和企業(yè)的28個開源數(shù)據(jù)集。其中，情感分析作為自然語言處理技術(shù)的基本任務(wù)之一，涵蓋了句子級情感分類、評價對象級情感分類、觀點抽取三個經(jīng)典任務(wù)數(shù)據(jù)集，吸引了來自京東、網(wǎng)易、小米、平安、OPPO、新浪等多家知名企業(yè)的近300支團(tuán)隊參加打榜。

　　近日，為了更好地推動情感分析技術(shù)在大規(guī)模產(chǎn)業(yè)化的應(yīng)用，百度聯(lián)合中國中文信息學(xué)會情感計算專業(yè)委員會、美團(tuán)共同發(fā)布千言-情感分析2.0，實現(xiàn)兩方面的重大提升。首先，在繼續(xù)關(guān)注模型準(zhǔn)確率效果的同時，加強(qiáng)對模型是否“可信”的評估，發(fā)布業(yè)界首個中文情感可信數(shù)據(jù)集DuTrust；其次，針對產(chǎn)業(yè)化中面臨的任務(wù)類型、數(shù)據(jù)模態(tài)多樣化的難題，提供面向真實應(yīng)用場景的大規(guī)模、高質(zhì)量、多模態(tài)的情感分析數(shù)據(jù)，發(fā)布業(yè)界最大規(guī)模的中文評論分析數(shù)據(jù)集ASAP和面向推薦場景的多模態(tài)情感標(biāo)簽數(shù)據(jù)集DuVideoSenti。

　　發(fā)布業(yè)界首個中文情感可信數(shù)據(jù)集DuTrust

　　“可信AI”的概念在近幾年提出，并且逐漸成為全球共識?？尚臕I，就是保證AI系統(tǒng)的公平性、可解釋性、魯棒性和透明性，確保算法可被人信任。在情感分析技術(shù)的科學(xué)研究和產(chǎn)業(yè)落地中，可信情感分析系統(tǒng)需要模型具備較強(qiáng)的魯棒性，還需要模型具備可解釋能力，也就是需要模型既能給出精準(zhǔn)的預(yù)測結(jié)果，還能給出其判斷依據(jù)，從而保證模型的預(yù)測結(jié)果更加置信。

　　作為業(yè)界首個中文情感可信數(shù)據(jù)集，DuTrust基于人工標(biāo)注的擾動數(shù)據(jù)和情感證據(jù)，全部來源于真實用戶評論數(shù)據(jù)，同時測試模型的魯棒性和可解釋性，全面評估模型的可信能力。

　　中文情感可信數(shù)據(jù)集DuTrust數(shù)據(jù)樣例

　　以上述評論數(shù)據(jù)為例，DuTrust首先為每個樣例對應(yīng)標(biāo)注一個擾動樣本，并且標(biāo)注原始樣本和擾動樣本的情感類別，通過計算模型在原始樣例和擾動樣例上預(yù)測的準(zhǔn)確率（Accuracy）作為模型魯棒性的評估指標(biāo)。

　　此外，DuTrust還分別為原始樣例以及擾動樣例人工標(biāo)注了情感的判斷依據(jù)，在可解釋性評估時，需要用戶同時給出模型的情感判別依據(jù)，最終通過計算其與人工標(biāo)注結(jié)果在字粒度上重合度F1值（F1-measure）作為模型可解釋性的評估指標(biāo)。

　　聯(lián)合發(fā)布業(yè)界最大規(guī)模的中文評論分析數(shù)據(jù)集ASAP

　　在電商場景下，一般來說情感分析涉及評論得分預(yù)估和對象級情感分類兩個最基礎(chǔ)的任務(wù)。兩個任務(wù)之間天然存在很強(qiáng)的關(guān)聯(lián)性，且在商業(yè)應(yīng)用中也通常一起使用。然而現(xiàn)有的中文公開數(shù)據(jù)集大都針對兩個任務(wù)分別構(gòu)建，未能將兩類任務(wù)有效聯(lián)系起來。

　　此次“千言”與美團(tuán)聯(lián)合發(fā)布的業(yè)界最大規(guī)模中文評論分析數(shù)據(jù)集ASAP，首次實現(xiàn)對評論得分預(yù)估和對象級情感分類兩個任務(wù)的聯(lián)合標(biāo)注，數(shù)據(jù)全部源于真實的電商場景，從數(shù)據(jù)規(guī)模和標(biāo)注質(zhì)量上都遠(yuǎn)超其他數(shù)據(jù)集。

　　中文評論分析數(shù)據(jù)集ASAP數(shù)據(jù)樣例

　　該數(shù)據(jù)集針對輸入的評論文本，人工標(biāo)注整體的評論得分（1-5分），以及對應(yīng)不同評價對象的情感類別（積極、消極、中性三種），并且使用準(zhǔn)確率（Accuracy）評估模型的預(yù)測效果。

　　發(fā)布面向推薦場景的多模態(tài)視頻情感標(biāo)簽數(shù)據(jù)集DuVideoSenti

　　目前，個性化推薦技術(shù)迅猛發(fā)展，成為繼搜索引擎之后的又一重要的信息獲取途徑。推薦系統(tǒng)的目的是為用戶提供個性化的內(nèi)容和服務(wù)，幫助用戶快速高效的獲取個性化信息。

　　在真實的應(yīng)用場景中，往往存在大量內(nèi)容題材、質(zhì)量相同，但卻能給用戶帶來不同視覺沖擊和情感感受的資源。針對這類資源，需要構(gòu)建能夠刻畫用戶不同的視覺和情感感受的完備的標(biāo)簽體系，才能將其更好地應(yīng)用于推薦系統(tǒng)，提升用戶的體驗。

　　千言面向推薦場景推出多模態(tài)情感標(biāo)簽數(shù)據(jù)集DuVideoSenti，引入視頻情感泛標(biāo)簽預(yù)測任務(wù)，構(gòu)建了視頻情感泛標(biāo)簽體系。該體系由人工定義的“文藝清新”、“時尚炫酷”、“舒適溫馨”等11個情感泛標(biāo)簽組成，用以刻畫用戶瀏覽視頻后的視覺和情感方面的感受。數(shù)據(jù)集為每個小視頻標(biāo)注了情感泛標(biāo)簽，并且提供了視頻的標(biāo)題、幀圖特征用于模型的訓(xùn)練和預(yù)測。在測試中使用準(zhǔn)確率（Accuracy）用于評估模型的預(yù)測效果。本數(shù)據(jù)集聚焦情感分析技術(shù)在個性化推薦場景中的應(yīng)用，同時有助于推動多模態(tài)學(xué)習(xí)技術(shù)的發(fā)展。

　　多模態(tài)視頻情感標(biāo)簽數(shù)據(jù)集DuVideoSenti數(shù)據(jù)樣例

　　為了進(jìn)一步推動情感分析相關(guān)研究，中國中文信息學(xué)會情感計算專業(yè)委員會與千言開源數(shù)據(jù)集項目組（www.luge.ai）還聯(lián)合舉辦“千言情感分析常規(guī)評測比賽”，目前已有來自國內(nèi)知名企業(yè)及高校超1000位選手報名參賽。

　　據(jù)悉，本次比賽就以千言-情感分析2.0為核心，全面評估情感分析模型在多種模態(tài)場景下的預(yù)測準(zhǔn)確率、模型的魯棒性和可解釋性指標(biāo)。除了有挑戰(zhàn)性的賽題，百度飛槳 AI Studio 將為選手提供免費的Tesla V100 GPU算力，千言數(shù)據(jù)集還將為優(yōu)勝團(tuán)隊頒發(fā)證書，并發(fā)放精美的定制禮品。

　  未來，希望有更多的情感分析領(lǐng)域科研學(xué)者、領(lǐng)域?qū)＜覅⑴c共建千言-情感分析榜單，共同推動中文情感分析技術(shù)的進(jìn)步，建設(shè)世界范圍內(nèi)的中文情感分析影響力。