pyhanlp中的命名實(shí)體識(shí)別

對(duì)于分詞而言，命名實(shí)體識(shí)別是一項(xiàng)非常重要的功能，當(dāng)然發(fā)現(xiàn)新詞同樣重要（這部分內(nèi)容被我放在之后的“提取關(guān)鍵詞、短語(yǔ)提取與自動(dòng)摘要、新詞識(shí)別”與再之后的案例中了。

首先是一個(gè)簡(jiǎn)單的例子，展示一下命名實(shí)體識(shí)別的效果。之后是正式內(nèi)容：

簡(jiǎn)單的展示例子

from pyhanlp import * """ HanLP開(kāi)啟命名實(shí)體識(shí)別"""# 音譯人名示例 CRFnewSegment = HanLP.newSegment("crf") term_list = CRFnewSegment.seg("譯智社的田豐要說(shuō)的是這只是一個(gè)hanlp命名實(shí)體識(shí)別的例子") print(term_list)print("\n========== 命名實(shí)體開(kāi)啟與關(guān)閉對(duì)比試驗(yàn) ==========\n") sentences =["北川景子參演了林詣彬?qū)а莸摹端俣扰c激情3》","林志玲亮相網(wǎng)友:確定不是波多野結(jié)衣？","龜山千廣和近藤公園在龜山公園里喝酒賞花", ] # 通過(guò)HanLP 進(jìn)行全局設(shè)置,但是部分分詞器本身可能不支持某項(xiàng)功能 # 部分分詞器本身對(duì)某些命名實(shí)體識(shí)別效果較好 HanLP.Config.japaneseNameRecognize = FalseviterbiNewSegment = HanLP.newSegment("viterbi").enableJapaneseNameRecognize(True) CRFnewSegment_new = HanLP.newSegment("crf").enableJapaneseNameRecognize(True) # segSentence # CRFnewSegment_2.seg2sentence(sentences) for sentence in sentences:print("crf : ",CRFnewSegment.seg(sentence))print("crf_new : ",CRFnewSegment_new.seg(sentence))print("viterbi : ",viterbiNewSegment.seg(sentence)) [譯智社/n, 的/u, 田豐/nr, 要/v, 說(shuō)/v, 的/u, 是/v, 這/r, 只/d, 是/v, 一個(gè)/m, hanlp命名/vn, 實(shí)體/n, 識(shí)別/v, 的/u, 例子/n]========== 命名實(shí)體開(kāi)啟與關(guān)閉對(duì)比試驗(yàn) ==========crf : [北川/ns, 景子/n, 參演/v, 了/u, 林詣彬/nr, 導(dǎo)演/n, 的/u, 《/w, 速度/n, 與/c, 激情/n, 3/m, 》/w] crf_new : [北川/ns, 景子/n, 參演/v, 了/u, 林詣彬/nr, 導(dǎo)演/n, 的/u, 《/w, 速度/n, 與/c, 激情/n, 3/m, 》/w] viterbi : [北川景子/nrj, 參演/v, 了/ule, 林詣彬/nr, 導(dǎo)演/nnt, 的/ude1, 《/w, 速度/n, 與/cc, 激情/n, 3/m, 》/w] crf : [林志玲/nr, 亮相/v, 網(wǎng)友/n, :/w, 確定/v, 不/d, 是/v, 波多野/n, 結(jié)衣/n, ？/w] crf_new : [林志玲/nr, 亮相/v, 網(wǎng)友/n, :/w, 確定/v, 不/d, 是/v, 波多野/n, 結(jié)衣/n, ？/w] viterbi : [林志玲/nr, 亮相/vi, 網(wǎng)友/n, :/w, 確定/v, 不是/c, 波多野結(jié)衣/nrj, ？/w] crf : [龜/v, 山/n, 千/m, 廣/q, 和/c, 近藤/a, 公園/n, 在/p, 龜山公園/ns, 里/f, 喝/v, 酒/n, 賞/v, 花/n] crf_new : [龜/v, 山/n, 千/m, 廣/q, 和/c, 近藤/a, 公園/n, 在/p, 龜山公園/ns, 里/f, 喝/v, 酒/n, 賞/v, 花/n] viterbi : [龜山千廣/nrj, 和/cc, 近藤公園/nrj, 在/p, 龜山/nz, 公園/n, 里/f, 喝酒/vi, 賞花/nz]

正式內(nèi)容

中國(guó)人名識(shí)別

說(shuō)明

• 目前分詞器基本上都默認(rèn)開(kāi)啟了中國(guó)人名識(shí)別，比如HanLP.segment()接口中使用的分詞器等等，用戶不必手動(dòng)開(kāi)啟；上面的代碼只是為了強(qiáng)調(diào)。
• 有一定的誤命中率，比如誤命中關(guān)鍵年，則可以通過(guò)在data/dictionary/person/nr.txt加入一條關(guān)鍵年 A 1來(lái)排除關(guān)鍵年作為人名的可能性，也可以將關(guān)鍵年作為新詞登記到自定義詞典中。
• 如果你通過(guò)上述辦法解決了問(wèn)題，歡迎向我提交pull request，詞典也是寶貴的財(cái)富。
• 建議NLP用戶使用感知機(jī)或CRF詞法分析器，精度更高。

算法詳解

• 《實(shí)戰(zhàn)HMM-Viterbi角色標(biāo)注中國(guó)人名識(shí)別》

# 中文人名識(shí)別 def demo_chinese_name_recognition(sentences):segment = HanLP.newSegment().enableNameRecognize(True);for sentence in sentences:term_list = segment.seg(sentence)print(term_list)print([i.word for i in term_list])sentences = ["武大靖創(chuàng)世界紀(jì)錄奪冠，中國(guó)代表團(tuán)平昌首金","區(qū)長(zhǎng)莊木弟新年致辭","凱瑟琳和露西（廬瑞媛），跟她們的哥哥們有一些不同。","王國(guó)強(qiáng)、高峰、汪洋、張朝陽(yáng)光著頭、韓寒、小四","張浩和胡健康復(fù)員回家了","王總和小麗結(jié)婚了","編劇邵鈞林和稽道青說(shuō)","這里有關(guān)天培的有關(guān)事跡",] demo_chinese_name_recognition(sentences)print("\n========== 中文人名 基本默認(rèn)已開(kāi)啟 ==========\n") print(CRFnewSegment.seg(sentences[0])) [武大靖/nr, 創(chuàng)/v, 世界/n, 紀(jì)錄/n, 奪冠/vi, ，/w, 中國(guó)/ns, 代表團(tuán)/n, 平昌/ns, 首/q, 金/b] ['武大靖', '創(chuàng)', '世界', '紀(jì)錄', '奪冠', '，', '中國(guó)', '代表團(tuán)', '平昌', '首', '金'] [區(qū)長(zhǎng)/nnt, 莊木弟/nr, 新年/t, 致辭/vi] ['區(qū)長(zhǎng)', '莊木弟', '新年', '致辭'] [凱瑟琳/nr, 和/cc, 露西/nr, （/w, 廬瑞媛/nr, ）/w, ，/w, 跟/p, 她們/rr, 的/ude1, 哥哥/n, 們/k, 有/vyou, 一些/m, 不同/a, 。/w] ['凱瑟琳', '和', '露西', '（', '廬瑞媛', '）', '，', '跟', '她們', '的', '哥哥', '們', '有', '一些', '不同', '。'] [王國(guó)強(qiáng)/nr, 、/w, 高峰/n, 、/w, 汪洋/n, 、/w, 張朝陽(yáng)/nr, 光/n, 著/uzhe, 頭/n, 、/w, 韓寒/nr, 、/w, 小/a, 四/m] ['王國(guó)強(qiáng)', '、', '高峰', '、', '汪洋', '、', '張朝陽(yáng)', '光', '著', '頭', '、', '韓寒', '、', '小', '四'] [張浩/nr, 和/cc, 胡健康/nr, 復(fù)員/v, 回家/vi, 了/ule] ['張浩', '和', '胡健康', '復(fù)員', '回家', '了'] [王總/nr, 和/cc, 小麗/nr, 結(jié)婚/vi, 了/ule] ['王總', '和', '小麗', '結(jié)婚', '了'] [編劇/nnt, 邵鈞林/nr, 和/cc, 稽道青/nr, 說(shuō)/v] ['編劇', '邵鈞林', '和', '稽道青', '說(shuō)'] [這里/rzs, 有/vyou, 關(guān)天培/nr, 的/ude1, 有關(guān)/vn, 事跡/n] ['這里', '有', '關(guān)天培', '的', '有關(guān)', '事跡']========== 中文人名 基本默認(rèn)已開(kāi)啟 ==========[簽約/vn, 儀式/n, 前/f, ，/w, 秦光榮/nr, 、/w, 李紀(jì)恒/nr, 、/w, 仇和/nr, 等/u, 一同/d, 會(huì)見(jiàn)/v, 了/u, 參加/v, 簽約/v, 的/u, 企業(yè)家/n, 。/w]

音譯人名識(shí)別

說(shuō)明

• 目前分詞器基本上都默認(rèn)開(kāi)啟了音譯人名識(shí)別，用戶不必手動(dòng)開(kāi)啟；上面的代碼只是為了強(qiáng)調(diào)。

算法詳解

• 《層疊隱馬模型下的音譯人名和日本人名識(shí)別》

# 音譯人名識(shí)別 sentences = ["一桶冰水當(dāng)頭倒下，微軟的比爾蓋茨、Facebook的扎克伯格跟桑德博格、亞馬遜的貝索斯、蘋(píng)果的庫(kù)克全都不惜濕身入鏡，這些硅谷的科技人，飛蛾撲火似地犧牲演出，其實(shí)全為了慈善。","世界上最長(zhǎng)的姓名是簡(jiǎn)森·喬伊·亞歷山大·比基·卡利斯勒·達(dá)夫·埃利奧特·福克斯·伊維魯莫·馬爾尼·梅爾斯·帕特森·湯普森·華萊士·普雷斯頓。", ]segment = HanLP.newSegment().enableTranslatedNameRecognize(True) for sentence in sentences:term_list = segment.seg(sentence)print(term_list)print("\n========== 音譯人名 默認(rèn)已開(kāi)啟 ==========\n") print(CRFnewSegment.seg(sentences[0])) [一桶/nz, 冰水/n, 當(dāng)頭/vi, 倒下/v, ，/w, 微軟/ntc, 的/ude1, 比爾蓋茨/nrf, 、/w, Facebook/nx, 的/ude1, 扎克伯格/nr, 跟/p, 桑德博格/nrf, 、/w, 亞馬遜/nrf, 的/ude1, 貝索斯/nrf, 、/w, 蘋(píng)果/nf, 的/ude1, 庫(kù)克/nr, 全都/d, 不惜/v, 濕身/nz, 入鏡/nz, ，/w, 這些/rz, 硅谷/ns, 的/ude1, 科技/n, 人/n, ，/w, 飛蛾/n, 撲火/vn, 似/vg, 地/ude2, 犧牲/v, 演出/vn, ，/w, 其實(shí)/d, 全/a, 為了/p, 慈善/a, 。/w] [世界/n, 上/f, 最長(zhǎng)/d, 的/ude1, 姓名/n, 是/vshi, 簡(jiǎn)森/nr, ·/w, 喬伊/nr, ·/w, 亞歷山大/nr, ·/w, 比基/nr, ·/w, 卡利斯/nr, 勒/v, ·/w, 達(dá)夫·埃利奧特·福克斯·伊維魯莫·馬爾尼·梅爾斯·帕特森·湯普森·華萊士·普雷斯頓/nrf, 。/w]========== 音譯人名 默認(rèn)已開(kāi)啟 ==========[一桶/m, 冰水/n, 當(dāng)頭/d, 倒下/v, ，/w, 微軟/a, 的/u, 比爾蓋茨/n, 、/w, Facebook/l, 的/u, 扎克伯格/n, 跟/p, 桑德博格/n, 、/w, 亞馬遜/nr, 的/u, 貝索斯/nr, 、/w, 蘋(píng)果/n, 的/u, 庫(kù)克/nr, 全都/d, 不惜/v, 濕身/n, 入鏡/v, ，/w, 這些/r, 硅谷/n, 的/u, 科技/n, 人/n, ，/w, 飛蛾/v, 撲火似/v, 地/u, 犧牲/v, 演出/v, ，/w, 其實(shí)/d, 全/d, 為了/p, 慈善/a, 。/w]

日本人名識(shí)別

說(shuō)明

• 目前標(biāo)準(zhǔn)分詞器默認(rèn)關(guān)閉了日本人名識(shí)別，用戶需要手動(dòng)開(kāi)啟；這是因?yàn)槿毡救嗣某霈F(xiàn)頻率較低，但是又消耗性能。

算法詳解

• 《層疊隱馬模型下的音譯人名和日本人名識(shí)別》

# 日語(yǔ)人名識(shí)別 def demo_japanese_name_recognition(sentences):segment = HanLP.newSegment().enableJapaneseNameRecognize(True)for sentence in sentences:term_list = segment.seg(sentence)print(term_list)print([i.word for i in term_list])sentences =["北川景子參演了林詣彬?qū)а莸摹端俣扰c激情3》","林志玲亮相網(wǎng)友:確定不是波多野結(jié)衣？","龜山千廣和近藤公園在龜山公園里喝酒賞花",] demo_japanese_name_recognition(sentences) print("\n========== 日文人名 標(biāo)準(zhǔn)分詞器默認(rèn)未開(kāi)啟 ==========\n") print(CRFnewSegment.seg(sentences[0])) [北川景子/nrj, 參演/v, 了/ule, 林詣彬/nr, 導(dǎo)演/nnt, 的/ude1, 《/w, 速度/n, 與/cc, 激情/n, 3/m, 》/w] ['北川景子', '參演', '了', '林詣彬', '導(dǎo)演', '的', '《', '速度', '與', '激情', '3', '》'] [林志玲/nr, 亮相/vi, 網(wǎng)友/n, :/w, 確定/v, 不是/c, 波多野結(jié)衣/nrj, ？/w] ['林志玲', '亮相', '網(wǎng)友', ':', '確定', '不是', '波多野結(jié)衣', '？'] [龜山千廣/nrj, 和/cc, 近藤公園/nrj, 在/p, 龜山/nz, 公園/n, 里/f, 喝酒/vi, 賞花/nz] ['龜山千廣', '和', '近藤公園', '在', '龜山', '公園', '里', '喝酒', '賞花']========== 日文人名 標(biāo)準(zhǔn)分詞器默認(rèn)未開(kāi)啟 ==========[北川/ns, 景子/n, 參演/v, 了/u, 林詣彬/nr, 導(dǎo)演/n, 的/u, 《/w, 速度/n, 與/c, 激情/n, 3/m, 》/w]

地名識(shí)別

說(shuō)明

• 目前標(biāo)準(zhǔn)分詞器都默認(rèn)關(guān)閉了地名識(shí)別，用戶需要手動(dòng)開(kāi)啟；這是因?yàn)橄男阅?#xff0c;其實(shí)多數(shù)地名都收錄在核心詞典和用戶自定義詞典中。
• 在生產(chǎn)環(huán)境中，能靠詞典解決的問(wèn)題就靠詞典解決，這是最高效穩(wěn)定的方法。
• 建議對(duì)命名實(shí)體識(shí)別要求較高的用戶使用感知機(jī)詞法分析器。

算法詳解

• 《實(shí)戰(zhàn)HMM-Viterbi角色標(biāo)注地名識(shí)別》

# 演示數(shù)詞與數(shù)量詞識(shí)別 sentences = ["十九元套餐包括什么","九千九百九十九朵玫瑰", "壹佰塊都不給我","９０１２３４５６７８只螞蟻","牛奶三〇〇克*2","ChinaJoy“掃黃”細(xì)則露胸超2厘米罰款", ]StandardTokenizer = JClass("com.hankcs.hanlp.tokenizer.StandardTokenizer")StandardTokenizer.SEGMENT.enableNumberQuantifierRecognize(True) for sentence in sentences:print(StandardTokenizer.segment(sentence))print("\n========== 演示數(shù)詞與數(shù)量詞 默認(rèn)未開(kāi)啟 ==========\n") CRFnewSegment.enableNumberQuantifierRecognize(True) print(CRFnewSegment.seg(sentences[0])) [十九元/mq, 套餐/n, 包括/v, 什么/ry] [九千九百九十九朵/mq, 玫瑰/n] [壹佰塊/mq, 都/d, 不/d, 給/p, 我/rr] [９０１２３４５６７８只/mq, 螞蟻/n] [牛奶/nf, 三〇〇克/mq, */w, 2/m] [ChinaJoy/nx, “/w, 掃黃/vi, ”/w, 細(xì)則/n, 露/v, 胸/ng, 超/v, 2厘米/mq, 罰款/vi]========== 演示數(shù)詞與數(shù)量詞 默認(rèn)未開(kāi)啟 ==========[十九/m, 元/q, 套餐/n, 包括/v, 什么/r]

機(jī)構(gòu)名識(shí)別

說(shuō)明

• 目前分詞器默認(rèn)關(guān)閉了機(jī)構(gòu)名識(shí)別，用戶需要手動(dòng)開(kāi)啟；這是因?yàn)橄男阅?#xff0c;其實(shí)常用機(jī)構(gòu)名都收錄在核心詞典和用戶自定義詞典中。
• HanLP的目的不是演示動(dòng)態(tài)識(shí)別，在生產(chǎn)環(huán)境中，能靠詞典解決的問(wèn)題就靠詞典解決，這是最高效穩(wěn)定的方法。
• 建議對(duì)命名實(shí)體識(shí)別要求較高的用戶使用感知機(jī)詞法分析器。

算法詳解

• 《層疊HMM-Viterbi角色標(biāo)注模型下的機(jī)構(gòu)名識(shí)別》

# 機(jī)構(gòu)名識(shí)別 sentences = ["我在上海林原科技有限公司兼職工作，","我經(jīng)常在臺(tái)川喜宴餐廳吃飯，","偶爾去開(kāi)元地中海影城看電影。", ]Segment = JClass("com.hankcs.hanlp.seg.Segment") Term = JClass("com.hankcs.hanlp.seg.common.Term")segment = HanLP.newSegment().enableOrganizationRecognize(True) for sentence in sentences:term_list = segment.seg(sentence)print(term_list)print("\n========== 機(jī)構(gòu)名 標(biāo)準(zhǔn)分詞器已經(jīng)全部關(guān)閉 ==========\n") print(CRFnewSegment.seg(sentences[0]))segment = HanLP.newSegment('crf').enableOrganizationRecognize(True) [我/rr, 在/p, 上海/ns, 林原科技有限公司/nt, 兼職/vn, 工作/vn, ，/w] [我/rr, 經(jīng)常/d, 在/p, 臺(tái)川喜宴餐廳/nt, 吃飯/vi, ，/w] [偶爾/d, 去/vf, 開(kāi)元地中海影城/nt, 看/v, 電影/n, 。/w]========== 機(jī)構(gòu)名 標(biāo)準(zhǔn)分詞器已經(jīng)全部關(guān)閉 ==========[我/r, 在/p, 上海林原科技有限公司/nt, 兼職/vn, 工作/vn, ，/w]

地名識(shí)別

說(shuō)明

• 目前標(biāo)準(zhǔn)分詞器都默認(rèn)關(guān)閉了地名識(shí)別，用戶需要手動(dòng)開(kāi)啟；這是因?yàn)橄男阅?#xff0c;其實(shí)多數(shù)地名都收錄在核心詞典和用戶自定義詞典中。
• 在生產(chǎn)環(huán)境中，能靠詞典解決的問(wèn)題就靠詞典解決，這是最高效穩(wěn)定的方法。
• 建議對(duì)命名實(shí)體識(shí)別要求較高的用戶使用感知機(jī)詞法分析器。

算法詳解

• 《實(shí)戰(zhàn)HMM-Viterbi角色標(biāo)注地名識(shí)別》

# 地名識(shí)別 def demo_place_recognition(sentences):segment = HanLP.newSegment().enablePlaceRecognize(True)for sentence in sentences:term_list = segment.seg(sentence)print(term_list)print([i.word for i in term_list])sentences = ["藍(lán)翔給寧夏固原市彭陽(yáng)縣紅河鎮(zhèn)黑牛溝村捐贈(zèng)了挖掘機(jī)"] demo_place_recognition(sentences)print("\n========== 地名 默認(rèn)已開(kāi)啟 ==========\n") print(CRFnewSegment.seg(sentences[0])) [藍(lán)翔/nr, 給/p, 寧夏/ns, 固原市/ns, 彭陽(yáng)縣/ns, 紅河鎮(zhèn)/ns, 黑牛溝村/ns, 捐贈(zèng)/v, 了/ule, 挖掘機(jī)/n] ['藍(lán)翔', '給', '寧夏', '固原市', '彭陽(yáng)縣', '紅河鎮(zhèn)', '黑牛溝村', '捐贈(zèng)', '了', '挖掘機(jī)']========== 地名 默認(rèn)已開(kāi)啟 ==========[藍(lán)翔/v, 給/v, 寧夏/ns, 固原市/ns, 彭陽(yáng)縣/ns, 紅河鎮(zhèn)/ns, 黑牛溝村/ns, 捐贈(zèng)/v, 了/u, 挖掘機(jī)/n]

URL 識(shí)別

自動(dòng)識(shí)別URL,該部分是在demo中發(fā)現(xiàn)的，但是原作者并沒(méi)有在文檔中提到這個(gè)，該部分可以發(fā)現(xiàn)URL，測(cè)試發(fā)現(xiàn)其他分類(lèi)器應(yīng)該是默認(rèn)不開(kāi)啟這個(gè)的，而且config中并沒(méi)有開(kāi)啟該功能的選項(xiàng)，因此這應(yīng)該是一個(gè)額外的類(lèi)。我建議如果有需要的，你可以嘗試先利用URLTokenizer獲取URL，然后添加進(jìn)用戶詞典。或者直接使用其他工具或者自定義函數(shù)解決該問(wèn)題。

# URL 識(shí)別 text = '''HanLP的項(xiàng)目地址是https://github.com/hankcs/HanLP，發(fā)布地址是https://github.com/hankcs/HanLP/releases，我有時(shí)候會(huì)在www.hankcs.com上面發(fā)布一些消息，我的微博是http://weibo.com/hankcs/，會(huì)同步推送hankcs.com的新聞。聽(tīng)說(shuō).中國(guó)域名開(kāi)放申請(qǐng)了,但我并沒(méi)有申請(qǐng)hankcs.中國(guó),因?yàn)楦F……'''Nature = SafeJClass("com.hankcs.hanlp.corpus.tag.Nature") Term = SafeJClass("com.hankcs.hanlp.seg.common.Term") URLTokenizer = SafeJClass("com.hankcs.hanlp.tokenizer.URLTokenizer")term_list = URLTokenizer.segment(text) print(term_list) for term in term_list:if term.nature == Nature.xu:print(term.word) [HanLP/nx, 的/ude1, 項(xiàng)目/n, 地址/n, 是/vshi, https://github.com/hankcs/HanLP/xu, ，/w, /w, /w, 發(fā)布/v, 地址/n, 是/vshi, https://github.com/hankcs/HanLP/releases/xu, ，/w, /w, /w, 我/rr, 有時(shí)候/d, 會(huì)/v, 在/p, www.hankcs.com/xu, 上面/f, 發(fā)布/v, 一些/m, 消息/n, ，/w, /w, /w, 我/rr, 的/ude1, 微博/n, 是/vshi, http://weibo.com/hankcs//xu, ，/w, 會(huì)/v, 同步/vd, 推送/nz, hankcs.com/xu, 的/ude1, 新聞/n, 。/w, /w, /w, 聽(tīng)說(shuō)/v, ./w, 中國(guó)/ns, 域名/n, 開(kāi)放/v, 申請(qǐng)/v, 了/ule, ,/w, 但/c, 我/rr, 并/cc, 沒(méi)有/v, 申請(qǐng)/v, hankcs.中國(guó)/xu, ,/w, 因?yàn)?c, 窮/a, ……/w, /w, /w] https://github.com/hankcs/HanLP https://github.com/hankcs/HanLP/releases www.hankcs.com http://weibo.com/hankcs/ hankcs.com hankcs.中國(guó)

總結(jié)

以上是生活随笔為你收集整理的pyhanlp 命名实体识别的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。