當(dāng)前位置：首頁 > 运维知识 > 数据库 >内容正文

数据库

基于Solr DIH实现MySQL表数据全量索引和增量索引

發(fā)布時間：2023/12/15 数据库 43 豆豆

生活随笔收集整理的這篇文章主要介紹了基于Solr DIH实现MySQL表数据全量索引和增量索引小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

實(shí)現(xiàn)MySQL表數(shù)據(jù)全量索引和增量索引，基于Solr DIH組件實(shí)現(xiàn)起來比較簡單，只需要重復(fù)使用Solr的DIH（Data Import Handler）組件，對data-config.xml進(jìn)行簡單的修改即可。Solr DIH組件的實(shí)現(xiàn)類為org.apache.solr.handler.dataimport.DataImportHandler，在Solr的solrconfig.xml中配置兩個handler，配置分別說明如下。

全量索引

solrconfig.xml配置如下：

<requestHandler name="/dataimport"

? ? ?class="org.apache.solr.handler.dataimport.DataImportHandler">

? ? ?<lst name="defaults">

? ? ? ? ? <str name="config">data-config.xml</str>

? ? ?</lst>

</requestHandler>

上面這個是針對全量索引的，主要是配置data-config.xml文件，示例如下所示：

? ? <dataSource name="jdbc" driver="com.mysql.jdbc.Driver"

? ? ? ? url="jdbc:mysql://172.0.8.249:5606/marketing_db_saved?zeroDateTimeBehavior=convertToNull"

? ? ? ? user="developer" password="sedept@shiyanjun.cn"/>

? ? <document name="mkt_data">

? ? ? ? <entity name="marketing_data" pk="id"

? ? ? ? ? ? ? ? query="select * from marketing_data limit ${dataimporter.request.length} offset ${dataimporter.request.offset}"

? ? ? ? ? ? ? ? transformer="RegexTransformer">

? ? ? ? ? ? <field column="id" name="id" />

? ? ? ? ? ? <field column="domain" name="domain" />

? ? ? ? ? ? <field column="alex_rank" name="alex_rank" />

? ? ? ? ? ? <field column="server_port" name="server_port" />

? ? ? ? ? ? <field column="cert_validity_notBefore" name="cert_validity_notBefore" />

? ? ? ? ? ? <field column="cert_validity_notAfter" />

? ? ? ? ? ? <field column="cert_validity_notAfter_yyyyMMdd" regex="(.*?)\s+.*" name="cert_validity_notAfter_yyyyMMdd" sourceColName="cert_validity_notAfter"/>

? ? ? ? ? ? <field column="cert_issuer_brand" name="cert_issuer_brand" />

? ? ? ? ? ? <field column="cert_validation" name="cert_validation" />

? ? ? ? ? ? <field column="cert_isMultiDomain" name="cert_isMultiDomain" />

? ? ? ? ? ? <field column="cert_issuer_brand_isXRelated" name="cert_issuer_brand_isXRelated" />

? ? ? ? ? ? <field column="cert_isWildcard" name="cert_isWildcard" />

? ? ? ? ? ? <field column="cert_notAfter" name="cert_notAfter" />

? ? ? ? ? ? <field column="special_ssl" name="special_ssl" />

? ? ? ? ? ? <field column="competitor_logo" name="competitor_logo" />

? ? ? ? ? ? <field column="segment" name="segment" />

? ? ? ? </entity>

? ? </document>

</dataConfig>

上面主要是通過內(nèi)置變量 “${dataimporter.request.length}”和 “${dataimporter.request.offset}”來設(shè)置一個批次索引的數(shù)據(jù)表記錄數(shù)，請求的URL示例如下：

http://172.0.8.212:8080/search-server/core0/dataimport?command=full-import&commit=true&clean=false&offset=1000000&length=100000

上面表示，對數(shù)據(jù)表中id范圍為[10000000, 1100000]的記錄進(jìn)行索引，因為數(shù)據(jù)表可能達(dá)到千萬記錄數(shù)，而且線上有業(yè)務(wù)在操作數(shù)據(jù)庫，所以要選擇分批進(jìn)行索引。

增量索引

solrconfig.xml配置如下：

? ?<requestHandler name="/deltaimport" class="org.apache.solr.handler.dataimport.DataImportHandler">

? ? ? ? <lst name="defaults">

? ? ? ? ? <str name="config">delta-data-config.xml</str>

? ? ? ? </lst>

? ?</requestHandler>

上面定義請求的接口為“deltaimport”，對應(yīng)的配置文件delta- data-config.xml內(nèi)容如下所示：

?<dataConfig>

? ? <dataSource name="jdbc" driver="com.mysql.jdbc.Driver"

? ? ? ? url="jdbc:mysql://172.0.8.249:5606/marketing_db_saved?zeroDateTimeBehavior=convertToNull"

? ? ? ? user="developer" password="sedept@shiyanjun.cn"/>

? ? <document name="mkt_data">

? ? ? ? <entity name="marketing_data" pk="id"

? ? ? ? ? ? ? ? query="select * from marketing_data"

? ? ? ? ? ? ? ? deltaImportQuery="select * from marketing_data where id='${dih.delta.id}'"

? ? ? ? ? ? ? ? deltaQuery="select id from marketing_data where updated_at > '${dih.last_index_time}'"