中文自然語言處理開放平臺

由中國科學(xué)院計算技術(shù)研究所·數(shù)字化室＆軟件室創(chuàng)立一個研究自然語言處理的一個平臺，里面包含有大量的訓(xùn)練測試語料。?
語料庫：???http://www.nlp.org.cn/docs/doclist.php?cat_id=9&type=15?
文本語料庫：???http://www.nlp.org.cn/docs/doclist.php?cat_id=16&type=15

sogou文本分類語料庫

文本分類語料庫來源于Sohu新聞網(wǎng)站保存的大量經(jīng)過編輯手工整理與分類的新聞?wù)Z料與對應(yīng)的分類信息。其分類體系包括幾十個分類節(jié)點(diǎn)，網(wǎng)頁規(guī)模約為十萬篇文檔。??
地址：???http://www.sogou.com/labs/dl/c.html

中文Web信息檢索論壇

中文Web信息檢索論壇(Chinese Web Information Retrieval Forum，簡稱CWIRF)是由北京大學(xué)網(wǎng)絡(luò)實(shí)驗(yàn)室從2004年6月起建立并維護(hù)的以大規(guī)模中文Web信息為測試集的信息檢索研究論壇。

CWT(Chinese Web Test collection, 中文Web測試集)：

ComPaper10th?
Computer Paper collection with more than 10 thousand papers?
CWT70th?
? ? ?Chinese Web Test collection with 70 thousand pages?
? ? ?CWT70th順序讀取程序?
CWT200g?
? ? ?Chinese Web Test collection with 200 GB web pages.?
? ? ?CWT20g_of_200g?
? ? ?CWT200g樣例下載?
? ? ?CWT200g順序讀取程序

CWT相關(guān)工具? ???

中文網(wǎng)頁分類訓(xùn)練集

CCT2006??
2006年3月中文網(wǎng)頁分類訓(xùn)練集CCT2006, 編號YQ-CCT-2006-03. 根據(jù)常見的新聞類別而設(shè)定的分類體系，從新聞網(wǎng)站上抓取得到對應(yīng) 類別的新聞網(wǎng)頁作為訓(xùn)練集頁面。它包括960個訓(xùn)練網(wǎng)頁和240個測試網(wǎng)頁， 分布在8個類別中。???下載?
CCT2002-v1.1??

2002年中文網(wǎng)頁分類訓(xùn)練集CCT2002-v1.1, 編號YQ-WEBBENCH-V1.1,???說明?。 是在CCT2002-v1.0 的基礎(chǔ)上對類別進(jìn)行了部分修正. 是2002年秋天北京大學(xué)網(wǎng)絡(luò)與分布式實(shí)驗(yàn)室天網(wǎng)小組通過動員不同專業(yè)的幾十個學(xué)生， 人工選取形成了一個全新的基于層次模型的大規(guī)模中文網(wǎng)頁樣本集。 它包括11678個訓(xùn)練網(wǎng)頁實(shí)例和3630個測試網(wǎng)頁實(shí)例，分布在11個大類別中。???下載

-----------------------

一、語料庫鏈接

下面提供一些網(wǎng)上能下載到的中文的好語料，供研究人員學(xué)習(xí)使用。
(1).中科院自動化所的中英文新聞?wù)Z料庫?http://www.datatang.com/data/13484
中文新聞分類語料庫從鳳凰、新浪、網(wǎng)易、騰訊等版面搜集。英語新聞分類語料庫為Reuters-21578的ModApte版本。

(2).搜狗的中文新聞?wù)Z料庫?http://www.sogou.com/labs/dl/c.html
包括搜狐的大量新聞?wù)Z料與對應(yīng)的分類信息。有不同大小的版本可以下載。

(3).李榮陸老師的中文語料庫?http://www.datatang.com/data/11968
壓縮后有240M大小

(4).譚松波老師的中文文本分類語料?http://www.datatang.com/data/11970
不僅包含大的分類，例如經(jīng)濟(jì)、運(yùn)動等等，每個大類下面還包含具體的小類，例如運(yùn)動包含籃球、足球等等。能夠作為層次分類的語料庫，非常實(shí)用。這個網(wǎng)址免積分(譚松波老師的主頁)：http://www.searchforum.org.cn/tansongbo/corpus1.php
?

(5).網(wǎng)易分類文本數(shù)據(jù)?http://www.datatang.com/data/11965
包含運(yùn)動、汽車等六大類的4000條文本數(shù)據(jù)。
?

(6).中文文本分類語料?http://www.datatang.com/data/11963
包含Arts、Literature等類別的語料文本。
?

(7).更全的搜狗文本分類語料?http://www.sogou.com/labs/dl/c.html
搜狗實(shí)驗(yàn)室發(fā)布的文本分類語料，有不同大小的數(shù)據(jù)版本供免費(fèi)下載
?

(8).2002年中文網(wǎng)頁分類訓(xùn)練集http://www.datatang.com/data/15021
2002年秋天北京大學(xué)網(wǎng)絡(luò)與分布式實(shí)驗(yàn)室天網(wǎng)小組通過動員不同專業(yè)的幾十個學(xué)生，人工選取形成了一個全新的基于層次模型的大規(guī)模中文網(wǎng)頁樣本集。它包括11678個訓(xùn)練網(wǎng)頁實(shí)例和3630個測試網(wǎng)頁實(shí)例，分布在11個大類別中。

————————————————————————————————————————————————

二、有效的分詞工具

將預(yù)料庫進(jìn)行分詞并去掉停用詞，可以使用的分詞工具有：
StandardAnalyzer（中英文）、ChineseAnalyzer（中文）、CJKAnalyzer（中英文）、IKAnalyzer（中英文，兼容韓文，日文）、paoding（中文）、MMAnalyzer（中英文）、MMSeg4j（中英文）、imdict（中英文）、NLTK（中英文）、Jieba（中英文），這幾種分詞工具的區(qū)別，可以參加：http://blog.csdn.net/wauwa/article/details/7865526。

“無意中發(fā)現(xiàn)了一個巨牛的人工智能教程，忍不住分享一下給大家。教程不僅是零基礎(chǔ)，通俗易懂，而且非常風(fēng)趣幽默，像看小說一樣！覺得太牛了，所以分享給大家。點(diǎn)這里可以跳轉(zhuǎn)到教程。”

?

總結(jié)

以上是生活随笔為你收集整理的中文语料库有哪些的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。