當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

Elasticsearch7.15.2 ik中文分词器定制化分词器之扩展词库（远程）

發(fā)布時(shí)間：2024/9/27 编程问答 46 豆豆

生活随笔收集整理的這篇文章主要介紹了 Elasticsearch7.15.2 ik中文分词器定制化分词器之扩展词库（远程）小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

IK分詞提供的兩個(gè)分詞器，并不支持一些新的詞匯，有時(shí)候也不能滿足實(shí)際業(yè)務(wù)需要，這時(shí)候，我們可以定義自定義詞庫(kù)來(lái)完成目標(biāo)。

文章目錄

- - - - 一、靜態(tài)web搭建
      - 1. 安裝nginx
        2. 創(chuàng)建es目錄
        3. 創(chuàng)建分詞文件
        4. 存放靜態(tài)
        5. 驗(yàn)證
      - 二、配置遠(yuǎn)程分詞
      - 2.1. 切換用戶
        2.2. 配置分詞
        2.3. 遠(yuǎn)程分詞
        2.4. 重啟es
        2.5. 驗(yàn)證分詞
      - 三、熱更新詞庫(kù)
      - 3.1. 自定義分詞
        3.2. 分詞結(jié)果
        3.3. 添加分詞庫(kù)
        3.4. 日志監(jiān)控
        3.5. 分詞驗(yàn)證

一、靜態(tài)web搭建

1. 安裝nginx

nginx 1.9.9 Linux 環(huán)境安裝

2. 創(chuàng)建es目錄

在nginx新建一個(gè)文件夾es，將ik所需要使用的資源放在里面，用于存放新建的詞庫(kù)

cd /usr/local/nginx mkdir es

3. 創(chuàng)建分詞文件

在es目錄下，新建一個(gè)文件new_word_fenci.dic，將需要分詞的內(nèi)容放在該文件中

cd es vim new_word_fenci.dic

添加內(nèi)容：

凱悅

4. 存放靜態(tài)

將es移動(dòng)到html目錄下，因?yàn)閚ginx默認(rèn)訪問(wèn)的是html目錄

mv es ./html/

5. 驗(yàn)證

http://192.168.92.128/es/new_word_fenci.dic

如圖：

二、配置遠(yuǎn)程分詞

2.1. 切換用戶

su - es

2.2. 配置分詞

編輯IKAnalyzer

cd /app/elasticsearch-7.15.2/config/analysis-ik vim IKAnalyzer.cfg.xml

2.3. 遠(yuǎn)程分詞

原配置

調(diào)整后配置

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties><comment>IK Analyzer 擴(kuò)展配置</comment><entry key="ext_dict"></entry><entry key="ext_stopwords"></entry><entry key="remote_ext_dict">http://192.168.92.128:80/es/new_word_fenci.dic</entry> </properties>

2.4. 重啟es

說(shuō)明：kibana需要一直處于啟動(dòng)

2.5. 驗(yàn)證分詞

# 查閱凱悅分詞 GET /shop/_analyze {"analyzer": "ik_smart","text": "凱悅" }GET /shop/_analyze {"analyzer": "ik_max_word","text": "凱悅" }

三、熱更新詞庫(kù)

3.1. 自定義分詞

# 查閱凱悅分詞 GET /shop/_analyze {"analyzer": "ik_smart","text": "我是專家" }GET /shop/_analyze {"analyzer": "ik_max_word","text": "我是專家" }

3.2. 分詞結(jié)果

{"tokens" : [{"token" : "我","start_offset" : 0,"end_offset" : 1,"type" : "CN_CHAR","position" : 0},{"token" : "是","start_offset" : 1,"end_offset" : 2,"type" : "CN_CHAR","position" : 1},{"token" : "專家","start_offset" : 2,"end_offset" : 4,"type" : "CN_WORD","position" : 2}] }

3.3. 添加分詞庫(kù)

把我是專家添加分詞庫(kù)

cd /usr/local/nginx/html/es/ vim new_word_fenci.dic

添加我是專家到分詞庫(kù)：

我是專家

一個(gè)分詞為一行

3.4. 日志監(jiān)控

[2021-11-21T16:26:35,785][INFO ][o.w.a.d.Dictionary ] [es] start to reload ik dict. [2021-11-21T16:26:35,787][INFO ][o.w.a.d.Dictionary ] [es] try load config from /app/elasticsearch-7.15.2/config/analysis-ik/IKAnalyzer.cfg.xml [2021-11-21T16:26:35,938][INFO ][o.w.a.d.Dictionary ] [es] [Dict Loading] http://192.168.92.128:80/es/new_word_fenci.dic [2021-11-21T16:26:35,946][INFO ][o.w.a.d.Dictionary ] [es] 凱悅 [2021-11-21T16:26:35,947][INFO ][o.w.a.d.Dictionary ] [es] 我是專家 [2021-11-21T16:26:35,947][INFO ][o.w.a.d.Dictionary ] [es] reload ik dict finished.

3.5. 分詞驗(yàn)證