ChineseDiachronicCorpus

ChineseDiachronicCorpus，中文歷時語料庫，橫跨六十余年，包括騰訊歷時新聞2009-2016，人民日報歷時語料1946-2003，參考消息歷時語料1957-2002。基于歷時流通語料庫，可用于歷時語言變化計算、語言監(jiān)測、社會文化變遷研究提供基礎(chǔ)性的語料支持。

為什么中文開放數(shù)據(jù)集如此之難

有的時候我在想，chineseldc基本停滯了，后面除了gluedata benchmark，國內(nèi)數(shù)據(jù)集開源為什么這么難？我想了一想，不當(dāng)當(dāng)是侵權(quán)的問題，有很多原因【不一定對】：
1）研究導(dǎo)向。數(shù)據(jù)集屬于很底層、初級的工作，頭部研究注意力放在深度學(xué)習(xí)上（近年來有好轉(zhuǎn)，比如ccl近2年的best paper 都有側(cè)重），基礎(chǔ)數(shù)據(jù)沒人做；
2）版權(quán)保護(hù)。雖然國家沒有出臺官方的抓取即違法的政策，但這是大趨勢，這個也制約了數(shù)據(jù)的發(fā)布和公開。
3）研究保護(hù)。國內(nèi)開源生態(tài)不樂觀，發(fā)出去，就等著被抄，花費大量人力、物力、財力標(biāo)注的語料，可能發(fā)布出去就直接被使用，形成競爭壁壘。
4）缺乏引導(dǎo)。近年來有意識的在搞平臺，比如百度搞千言，民間搞glue benchmark，但最怕做成擺貨架。 目前開放了很多的基礎(chǔ)評測資源，大大多都是針對英文的【沒辦法，要國際化，要文章】。
6）缺乏統(tǒng)一的資源開放標(biāo)準(zhǔn)。資源開放標(biāo)準(zhǔn)的制定、推行，是一個自頂向下的行為，制定可行的標(biāo)準(zhǔn)，是今后資源管理、規(guī)范化，有效、公正 地評測資源任務(wù)的重點。

得語言者得天下，得語言資源者，分得天下。中文語言資源，不應(yīng)該是這幅模樣。

項目的由來

語言是人類重要的交際工具，同時也是社會的鏡子，語言記錄并反映了社會，對語言記錄進(jìn)行挖掘、計算，可以從各個層面對社會進(jìn)行解讀。例如，基于語料庫進(jìn)行詞語考察，以反映單個詞語在不同時間周期中的使用及變動情況。 以語料為載體，挖掘出屬于某個特定時間周期的社會特點，例如年度關(guān)鍵詞、年度人物、年度流行語；對詞語進(jìn)行文化計算，如顏色計算、性別計算、觀點計算等，以考察整個社會對某一事物、看法的演變。 當(dāng)前，開源可用的中文歷時語料庫較少。代表性的有北京語言大學(xué)國家語言資源監(jiān)測與研究平面媒體中心DCC動態(tài)流通語料庫，其對國內(nèi)數(shù)十家報紙媒體進(jìn)行監(jiān)測，也有中國傳媒大學(xué)的歷時語料庫可以使用。

當(dāng)前，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展以及采集技術(shù)的相對成熟，構(gòu)建起歷時語料庫變得越來越容易，這就使得向外界共享歷時語料庫變得更為便利且必要。 本項目，旨在通過公開收集的方式，從網(wǎng)絡(luò)媒體和平面媒體兩個角度出發(fā)，形成騰訊新聞、人民日報、參考消息三大歷時語料庫，以供社會開放使用。

項目的用途

那么，基于這個語料庫，能夠做什么呢？總結(jié)了下，至少可以從詞語考察、語義計算、熱度計算、文化計算、媒體對比、語法研究等六個方面開展工作。

用途名稱技術(shù)手段應(yīng)用場景

詞語考察	分詞、詞頻統(tǒng)計	通用詞表等編寫
語義計算	共現(xiàn)詞、MI搭配、依存搭配	搭配等語義詞典編寫
熱度計算	流通度計算、術(shù)語提取	流行語等發(fā)布
文化計算	顏色計算、性別計算	文化變遷
媒體對比	媒體差異計算	傳播學(xué)研究
語法研究	語法模式檢索	語法教材與詞典編寫

項目的獲取

對于如何獲取數(shù)據(jù)，下表是對數(shù)據(jù)集的介紹，需要使用的可以開放下載使用，因涉及版權(quán)問題，暫只放數(shù)據(jù)來源。免責(zé)聲明：該項目由公開渠道收集而成，不可商用，僅可用于科學(xué)研究，若有侵權(quán)，可聯(lián)系刪除。

數(shù)據(jù)名稱時間跨度數(shù)據(jù)大小數(shù)據(jù)來源

騰訊新聞	2009-2016	5GB	https://auto.qq.com/l/201104/scrollnews_15.htm
人民日報	1946-2003	3.44GB	http://www.laoziliao.net/rmrb/
參考消息	1957-2002	1.1GB	http://www.laoziliao.net/ckxx/

關(guān)于作者

劉煥勇，中國科學(xué)院軟件研究所，兼任數(shù)據(jù)地平線科技算法總監(jiān)，專注金融、情報兩大領(lǐng)域，從事事件抽取、事件演化、情感分析、事理（知識）圖譜、常識推理、語言資源構(gòu)建與應(yīng)用等研發(fā)工作。如有自然語言處理、知識圖譜、事理圖譜、社會計算、語言資源建設(shè)等問題或合作，可聯(lián)系我： 1、我的github項目介紹：https://liuhuanyong.github.io
2、我的csdn技術(shù)博客：https://blog.csdn.net/lhy2014
3、我的聯(lián)系方式: 劉煥勇，中國科學(xué)院軟件研究所，lhy_in_blcu@126.com.
4、我的共享知識庫項目：劉煥勇，數(shù)據(jù)地平線，http://www.openkg.cn/organization/datahorizon.
5、我的工業(yè)項目：劉煥勇，數(shù)據(jù)地平線，大規(guī)模實時事理學(xué)習(xí)系統(tǒng)：https://xueji.datahorizon.cn.
6、我的工業(yè)項目：劉煥勇，數(shù)據(jù)地平線，面向事件和語義的自然語言處理工具箱：https://nlp.datahorizon.cn

總結(jié)

以上是生活随笔為你收集整理的ChineseDiachronicCorpus项目，大规模中文历时语料库的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。