標(biāo)簽：中文文本預(yù)處理
作者：煉己者

歡迎大家訪問我的簡(jiǎn)書以及我的博客，大家如果感覺格式看著不舒服，也可以去看我的簡(jiǎn)書，里面也會(huì)有發(fā)布
本博客所有內(nèi)容以學(xué)習(xí)、研究和分享為主，如需轉(zhuǎn)載，請(qǐng)聯(lián)系本人，標(biāo)明作者和出處，并且是非商業(yè)用途，謝謝！

---

摘要

機(jī)器學(xué)習(xí)我的理解就是把各種原始的東西變成機(jī)器可以理解的東西，然后再用各種機(jī)器學(xué)習(xí)算法來做操作。機(jī)器可以理解的東西是什么呢？——向量 。所以不管是圖片還是文字，要用機(jī)器學(xué)習(xí)算法對(duì)它們進(jìn)行處理，就要把它們轉(zhuǎn)為向量。
網(wǎng)上大部分都是處理英文文本的資料，本文就以中文文本為例，將原始的文本經(jīng)過預(yù)處理得到文本向量

目錄

去除指定無用的符號(hào)
讓文本只保留漢字
對(duì)文本進(jìn)行jieba分詞
去除停用詞
將文本轉(zhuǎn)為tfidf向量并輸入到算法中

操作流程

1.去除指定無用的符號(hào)

我們拿到的文本有時(shí)候很有很多空格，或者你不想要的符號(hào)，那么你就可以用這個(gè)方法去掉所有你不想要的符號(hào)。在這里我以空格為例

content = ['  歡迎來到  煉己者的博客','煉己者     帶你入門NLP  ']
# 去掉文本中的空格
def process(our_data):
    m1 = map(lambda s: s.replace(' ', ''), our_data)
    return list(m1)
print(process(content))

傳入的參數(shù)our_data是個(gè)列表，此函數(shù)可以把文本中的所有空格全部去掉。看一下輸出的結(jié)果?？梢园l(fā)現(xiàn)，所有的空格都被刪掉了

['歡迎來到煉己者的博客', '煉己者帶你入門NLP']

2.讓文本只保留漢字

這個(gè)操作我最喜歡，他可以去掉所有的符號(hào)，包括數(shù)字、標(biāo)點(diǎn)、字母等等

content = ['如果這篇文章對(duì)你有所幫助，那就點(diǎn)個(gè)贊唄！！！','如果想聯(lián)系煉己者的話，那就打電話：110?。。?,'想學(xué)習(xí)NLP，那就來關(guān)注呀！^-^']
# 讓文本只保留漢字
def is_chinese(uchar):
    if uchar >= u'u4e00' and uchar <= u'u9fa5':
        return True
    else:
        return False

def format_str(content):
    content_str = ''
    for i in content:
        if is_chinese(i):
            content_str = content_str + ｉ
    return content_str

# 參函數(shù)傳入的是每一句話
chinese_list = []
for line in content:
    chinese_list.append(format_str(line))
print(chinese_list)

然后我們來看一下輸出的內(nèi)容，你會(huì)發(fā)現(xiàn)只剩下中文了。這個(gè)操作實(shí)在太騷了

['如果這篇文章對(duì)你有所幫助那就點(diǎn)個(gè)贊唄', '如果想聯(lián)系煉己者的話那就打電話', '想學(xué)習(xí)那就來關(guān)注呀']

3. 對(duì)文本進(jìn)行jieba分詞

首先你得下載jieba這個(gè)庫(kù)，直接pip install jieba即可。
我們就以上面處理好的那句話作為例子來操作

chinese_list = ['如果這篇文章對(duì)你有所幫助那就點(diǎn)個(gè)贊唄', '如果想聯(lián)系煉己者的話那就打電話', '想學(xué)習(xí)那就來關(guān)注呀']

# 對(duì)文本進(jìn)行jieba分詞
import jieba
def fenci(datas):
    cut_words = map(lambda s: list(jieba.cut(s)), datas)
    return list(cut_words)

print(fenci(chinese_list))

然后你就可以得到分詞的結(jié)果了

[['如果', '這', '篇文章', '對(duì)', '你', '有所', '幫助', '那', '就', '點(diǎn)個(gè)', '贊', '唄'],
 ['如果', '想', '聯(lián)系', '煉己', '者', '的話', '那', '就', '打電話'],
 ['想', '學(xué)習(xí)', '那', '就', '來', '關(guān)注', '呀']]

4.去除停用詞

首先你得上網(wǎng)下載一個(gè)停用詞表，也可以關(guān)注我的微信公眾號(hào)：
ZhangyhPico，回復(fù)停用詞表，就可以拿到了。然后把這份停用詞轉(zhuǎn)換為列表
為了方便大家理解，在這里我就假設(shè)一個(gè)停用詞表了,我們以上面分好詞的數(shù)據(jù)為例

# 分好詞的數(shù)據(jù)
fenci_list = [['如果', '這', '篇文章', '對(duì)', '你', '有所', '幫助', '那', '就', '點(diǎn)個(gè)', '贊', '唄'],
 ['如果', '想', '聯(lián)系', '煉己', '者', '的話', '那', '就', '打電話'],
 ['想', '學(xué)習(xí)', '那', '就', '來', '關(guān)注', '呀']]

# 停用詞表
stopwords = ['的','呀','這','那','就','的話','如果']

# 去掉文本中的停用詞
def drop_stopwords(contents, stopwords):
    contents_clean = []
    for line in contents:
        line_clean = []
        for word in line:
            if word in stopwords:
                continue
            line_clean.append(word)
        contents_clean.append(line_clean)
    return contents_clean

print(drop_stopwords(fenci_list,stopwords))

我們來一下結(jié)果，對(duì)比發(fā)現(xiàn)少了一些停用詞

[['篇文章', '對(duì)', '你', '有所', '幫助', '點(diǎn)個(gè)', '贊', '唄'],
 ['想', '聯(lián)系', '煉己', '者', '打電話'],
 ['想', '學(xué)習(xí)', '來', '關(guān)注']]

我覺得上面的操作也可應(yīng)用在去除一些你不想要的符號(hào)上面，你可以把沒有用的符號(hào)添加到停用詞表里，那么它也會(huì)被去掉

5.將文本轉(zhuǎn)為tfidf向量并輸入到算法中

最后這一步你可以參照這篇文章操作，使用不同的方法計(jì)算TF-IDF值

不過為了完整起見，我在這里給大家再演示一遍操作流程。咱們就以上面去掉停用詞的數(shù)據(jù)為例

word_list = [['篇文章', '對(duì)', '你', '有所', '幫助', '點(diǎn)個(gè)', '贊', '唄'],
 ['想', '聯(lián)系', '煉己', '者', '打電話'],
 ['想', '學(xué)習(xí)', '來', '關(guān)注']]

from gensim import corpora,models
dictionary = corpora.Dictionary(word_list)
new_corpus = [dictionary.doc2bow(text) for text in word_list]
tfidf = models.TfidfModel(new_corpus)

tfidf_vec = []
for i in range(len(words)):
    string = words[i]
    string_bow = dictionary.doc2bow(string.split())
    string_tfidf = tfidf[string_bow]
    tfidf_vec.append(string_tfidf)
print(tfidf_vec)

在這里我們就可以得到tfidf向量，這里調(diào)用的是gensim庫(kù)計(jì)算的tfidf向量，你也可以直接調(diào)用sklearn庫(kù)來計(jì)算tfidf向量，怎么操作看上面的那篇文章，里面都有介紹。我們來看一下得到的tfidf向量長(zhǎng)什么樣子

[[(0, 0.35355339059327373),
  (1, 0.35355339059327373),
  (2, 0.35355339059327373),
  (3, 0.35355339059327373),
  (4, 0.35355339059327373),
  (5, 0.35355339059327373),
  (6, 0.35355339059327373),
  (7, 0.35355339059327373)],
 [(8, 0.18147115159841573),
  (9, 0.49169813431045906),
  (10, 0.49169813431045906),
  (11, 0.49169813431045906),
  (12, 0.49169813431045906)],
 [(8, 0.2084041054460164),
  (13, 0.5646732768699807),
  (14, 0.5646732768699807),
  (15, 0.5646732768699807)]]

很明顯，句子的長(zhǎng)度不一樣，所以得到的tfidf向量的維度也不一樣。那么我們?cè)撛趺床僮髂?？——可以?strong>lsi向量來保證向量的維度一致

# num_topics參數(shù)可以用來指定維度
lsi_model = models.LsiModel(corpus = tfidf_vec,id2word = dictionary,num_topics=2)

lsi_vec = []
for i in range(len(words)):
    string = words[i]
    string_bow = dictionary.doc2bow(string.split())
    string_lsi = lsi_model[string_bow]
    lsi_vec.append(string_lsi)
print(lsi_vec)

看一下結(jié)果

[[(1, 2.8284271247461907)],
 [(0, 1.6357709481422218)],
 [(0, 1.4464385059387106)]]

sklearn庫(kù)的機(jī)器學(xué)習(xí)算法很齊全，你可以調(diào)用這些算法包來進(jìn)行操作。但是sklearn里的算法要求數(shù)據(jù)的格式必須是array格式，所以我們得想辦法把gensim計(jì)算的tfidf向量格式轉(zhuǎn)化為array格式。按照下面操作即可

from scipy.sparse import csr_matrix
data = []
rows = []
cols = []
line_count = 0
for line in lsi_vec:
    for elem in line:
        rows.append(line_count)
        cols.append(elem[0])
        data.append(elem[1])
    line_count += 1
lsi_sparse_matrix = csr_matrix((data,(rows,cols))) # 稀疏向量
lsi_matrix = lsi_sparse_matrix.toarray() # 密集向量
print(lsi_matrix)

結(jié)果長(zhǎng)這樣

array([[0.        , 2.82842712],
       [1.63577095, 0.        ],
       [1.44643851, 0.        ]])

我們的目的已經(jīng)達(dá)到?？隙ㄓ腥藭?huì)問，你為啥不直接調(diào)用sklearn里計(jì)算tfidf向量的方法，那多方便，多直接。何必這樣轉(zhuǎn)換來轉(zhuǎn)換去的。

這是有原因的，假設(shè)你的數(shù)據(jù)量很大，幾百萬條，那么用sklearn計(jì)算的tfidf向量維度會(huì)非常大，最后調(diào)用機(jī)器學(xué)習(xí)算法包的時(shí)候就會(huì)報(bào)錯(cuò)。如果你調(diào)用gensim來計(jì)算tfidf向量，然后再采用上述的方法，就可以對(duì)向量進(jìn)行降維了，而且你還可以指定維度。在lsi向量那一步進(jìn)行操作，num_topics參數(shù)可以用來指定維度

總結(jié)

以上便是整個(gè)中文文本的預(yù)處理了，這個(gè)流程可以應(yīng)付大多數(shù)的文本處理任務(wù)。你把文本轉(zhuǎn)換為向量之后，后面的操作就很容易了，調(diào)用sklearn算法包，或者自己寫一個(gè)機(jī)器學(xué)習(xí)的算法，這些都是有章法可循的。

希望可以幫助到大家，如果你覺得這篇文章對(duì)你有一定的幫助，那就點(diǎn)個(gè)贊支持一下吧！如果有什么問題的話也可以在文章下面評(píng)論，我們一起交流解決問題！

歡迎掃碼關(guān)注

總結(jié)

以上是生活随笔為你收集整理的中文文本预处理流程(带你分析每一步)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。