Xapian 是一個(gè)開源搜索引擎庫，使用 C++ 編寫，并提供綁定(bindings?)以允許從多種編程語言使用。它是一個(gè)高度適應(yīng)性的工具包，允許開發(fā)人員輕松地將高級(jí)索引和搜索功能添加到自己的應(yīng)用程序中。Xapian 支持多種加權(quán)模型和豐富的布爾查詢運(yùn)算符。最新穩(wěn)定版本是 1.4.24，發(fā)布于 2023 年 11 月 6 日。

Xapian是20年前就開源的搜索引擎，整體比較穩(wěn)定，功能層面較lucene有差距，但是足夠成熟可用。唯一的缺憾是GPL V2協(xié)議。

安裝

編譯安裝core

下載最新的tar包，解壓并編譯安裝：

tar xf xapian-core-1.4.24.tar.xz 
cd xapian-core-1.4.24/
./configure --prefix=/opt
make
make install

安裝多語言綁定

需要先下載xapian-bindings-1.4.24，然后解壓并編譯：

tar xf xapian-bindings-1.4.24.tar.xz 
cd xapian-bindings-1.4.24/
./configure XAPIAN_CONFIG=/data/xapian-core-1.4.24/xapian-config --with-java --with-python3
make
make install

• configure 時(shí)，需要指定XAPIAN_CONFIG的路徑，就是上面core里的路徑
• --with-java --with-python3 是只編譯java 和 python3的綁定

使用

c++ 使用

可以在core目錄，新建一個(gè)demo目錄，新增src/main.cpp

#include <iostream>
#include <string>
#include "xapian.h"

const std::string index_data_path = "./index_data";
const std::string doc_id1 = "doc1";
const std::string doc_title1 = "如何 構(gòu)建 搜索引擎 搜索 引擎";
const std::string doc_content1 = "how to build search engine";
const std::string doc_id2 = "doc2";
const std::string doc_title2 = "搜索 是 一個(gè) 基本 技能";
const std::string doc_content2 = "search is a basic skill";

const int DOC_ID_FIELD = 101;

void build_index()
{
	std::cout << "--- build_index" << std::endl;

	Xapian::WritableDatabase db(index_data_path, Xapian::DB_CREATE_OR_OPEN);

	Xapian::TermGenerator indexer;

	Xapian::Document doc1;
	doc1.add_value(DOC_ID_FIELD, doc_id1); // custom property
	doc1.set_data(doc_content1); // payload
	indexer.set_document(doc1);
	indexer.index_text(doc_title1); // could use space seperated text line like terms or article
	db.add_document(doc1);

	Xapian::Document doc2;
	doc2.add_value(DOC_ID_FIELD, doc_id2); // custom property
	doc2.set_data(doc_content2);
	indexer.set_document(doc2);
	indexer.index_text(doc_title2);
	db.add_document(doc2);

	db.commit();
}

void search_op_or()
{
	std::cout << "--- search_op_or" << std::endl;

	Xapian::Database db(index_data_path);

	Xapian::Enquire enquire(db);
	Xapian::QueryParser qp;

	// std::string query_str = "search engine";
	// Xapian::Query query = qp.parse_query(query_str);
	Xapian::Query term1("搜索");
	Xapian::Query term2("引擎");
	Xapian::Query query = Xapian::Query(Xapian::Query::OP_OR, term1, term2);

	std::cout << "query is: " << query.get_description() << std::endl;

	enquire.set_query(query);

	Xapian::MSet matches = enquire.get_mset(0, 10); // find top 10 results
	std::cout << matches.get_matches_estimated() << " results found" << std::endl;
	std::cout << "matches 1-" << matches.size() << std::endl;

	for (Xapian::MSetIterator it = matches.begin(); it != matches.end(); ++it)
	{
		Xapian::Document doc = it.get_document();
		std::string doc_id = doc.get_value(DOC_ID_FIELD);
		std::cout << "rank: " << it.get_rank() + 1 << ", weight: " << it.get_weight() << ", match_ratio: " << it.get_percent() << "%, match_no: " << *it << ", doc_id: " << doc_id << ", doc content: [" << doc.get_data() << "]\n" << std::endl;
	}
}

void search_op_and()
{
	std::cout << "--- search_op_and" << std::endl;

	Xapian::Database db(index_data_path);

	Xapian::Enquire enquire(db);
	Xapian::QueryParser qp;

	Xapian::Query term1("搜索");
	Xapian::Query term2("技能");
	Xapian::Query query = Xapian::Query(Xapian::Query::OP_AND, term1, term2);

	std::cout << "query is: " << query.get_description() << std::endl;

	enquire.set_query(query);

	Xapian::MSet matches = enquire.get_mset(0, 10); // find top 10 results, like split page
	std::cout << matches.get_matches_estimated() << " results found" << std::endl;
	std::cout << "matches 1-" << matches.size() << std::endl;

	for (Xapian::MSetIterator it = matches.begin(); it != matches.end(); ++it)
	{
		Xapian::Document doc = it.get_document();
		std::string doc_id = doc.get_value(DOC_ID_FIELD);
		std::cout << "rank: " << it.get_rank() + 1 << ", weight: " << it.get_weight() << ", match_ratio: " << it.get_percent() << "%, match_no: " << *it << ", doc_id: " << doc_id << ", doc content: [" << doc.get_data() << "]\n" << std::endl;
	}
}

int main(int argc, char** argv)
{
	std::cout << "hello xapian" << std::endl;

	build_index();
	search_op_or();
	search_op_and();

	return 0;
}

cmake 文件

cmake_minimum_required(VERSION 3.24)

project(xapian_demo)

set(CMAKE_CXX_STANDARD 11)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

include_directories(
    ../include
)

link_directories(
    ../.libs
)

file(GLOB SRC
    src/*.h
    src/*.cpp
)

add_executable(${PROJECT_NAME} ${SRC})

target_link_libraries(${PROJECT_NAME}
    xapian uuid
)

編譯、測(cè)試：

#cmake .
-- Configuring done
-- Generating done
-- Build files have been written to: /data/xapian-core-1.4.24/demo

#make
Consolidate compiler generated dependencies of target xapian_demo
[ 50%] Building CXX object CMakeFiles/xapian_demo.dir/src/main.cpp.o
[100%] Linking CXX executable xapian_demo
[100%] Built target xapian_demo

#./xapian_demo 
hello xapian
--- build_index
--- search_op_or
query is: Query((搜索 OR 引擎))
2 results found
matches 1-2
rank: 1, weight: 0.500775, match_ratio: 100%, match_no: 1, doc_id: doc1, doc content: [how to build search engine]

rank: 2, weight: 0.0953102, match_ratio: 19%, match_no: 2, doc_id: doc2, doc content: [search is a basic skill]

--- search_op_and
query is: Query((搜索 AND 技能))
1 results found
matches 1-1
rank: 1, weight: 0.500775, match_ratio: 100%, match_no: 2, doc_id: doc2, doc content: [search is a basic skill]

python 使用

上面c++的測(cè)試僅有幾條數(shù)據(jù)，python我們來上點(diǎn)壓力。
搜索數(shù)據(jù)源是包含上百萬數(shù)據(jù)的xml，文件里數(shù)據(jù)格式是給manticore使用的sphinxxml格式：

<sphinx:document id="3669513577616591688"><domain_rank><![CDATA[0]]></domain_rank><page_rank><![CDATA[0]]></page_rank><author_rank><![CDATA[0]]></author_rank><update_ts><![CDATA[1671120000000]]></update_ts><crawl_ts><![CDATA[1702765056760]]></crawl_ts><index_ts><![CDATA[1703141806692]]></index_ts><freq><![CDATA[0]]></freq><pv><![CDATA[0]]></pv><comment><![CDATA[0]]></comment><forward><![CDATA[0]]></forward><up><![CDATA[0]]></up><title_lac><![CDATA[南充市 首席 風(fēng)水 大師   羅 李華   百科 詞典]]></title_lac><title_jieba><![CDATA[南充市 首席 風(fēng)水 大師   羅李華   百科詞典]]></title_jieba><summary_lac><![CDATA[百科 詞典 ， 主要 收錄 知名 人物 、 企業(yè) 、 行業(yè) 相關(guān) 詞條 為主 ， 是 由 各 大網(wǎng)民 申請(qǐng) 供稿 ， 由 專職 人員 嚴(yán)格 審核 編輯 而成 ， 力求 做到 每一個(gè) 詞條 權(quán)威 、 真實(shí) 、 客觀 、 專業(yè) ， 旨在 打造 一個(gè) 值得 大家 信賴 的 權(quán)威 百科 平臺(tái) 。]]></summary_lac><summary_jieba><![CDATA[百科詞典 ， 主要 收錄 知名 人物 、 企業(yè) 、 行業(yè) 相關(guān) 詞條 為主 ， 是 由 各大 網(wǎng)民 申請(qǐng) 供稿 ， 由 專職人員 嚴(yán)格 審核 編輯 而成 ， 力求 做到 每 一個(gè) 詞條 權(quán)威 、 真實(shí) 、 客觀 、 專業(yè) ， 旨在 打造 一個(gè) 值得 大家 信賴 的 權(quán)威 百科 平臺(tái) 。]]></summary_jieba><url><![CDATA[https://www.baikecidian.cn/h-nd-9709.html]]></url><domain><![CDATA[www.baikecidian.cn]]></domain><keywords_lac><![CDATA[]]></keywords_lac><image_link><![CDATA[0]]></image_link><post_ts><![CDATA[1538215160000]]></post_ts></sphinx:document>

因此，我們先編寫一個(gè)讀取程序：

import xmltodict

def read_sphinx_xml(file_path):
    file = open(file_path, 'r', encoding='utf-8')

    xml_str = ''
    end_tag = '</sphinx:document>'
    for line in file:
        if end_tag in line:
            try:
                xml_str = xml_str + line
                xml_dict = xmltodict.parse(xml_str)
                yield xml_dict['sphinx:document']
            except Exception as e:
                print(xml_str)
                print(e)
            xml_str = ''
        else:
            xml_str = xml_str + line

然后，調(diào)用xapian的binding接口來構(gòu)建索引：

def list_files(path):
    return [item for item in os.listdir(path) if ".txt" in item]

DOC_ID_FIELD = 101
DOC_TITLE_FIELD = 102

### Start of example code.
def index(datapath, dbpath):
    # Create or open the database we're going to be writing to.
    db = xapian.WritableDatabase(dbpath, xapian.DB_CREATE_OR_OPEN)
    termgenerator = xapian.TermGenerator()
    count = 0
    for file in list_files("/data"):
        print(f'start load data from {file}')
        for fields in read_sphinx_xml(f"/data/{file}"):
            title = fields.get('title_jieba', '')
            summary = fields.get('summary_jieba', '')
            identifier = fields.get('@id', '')
            
            if summary is None:
                summary = ''
            if title is None:
                continue
            
            count = count + 1

            doc = xapian.Document()
            termgenerator.set_document(doc)

            #  title 放大5倍
            termgenerator.index_text(title * 5  + ' ' + summary)
            # 存入數(shù)據(jù)
            doc.add_value(DOC_ID_FIELD, identifier)
            doc.add_value(DOC_TITLE_FIELD, title)
            doc.set_data(identifier + ' ' + title)
  
            # indexer.
            idterm = u"Q" + identifier
            doc.add_boolean_term(idterm)
            db.replace_document(idterm, doc)
            if count % 10000 == 0:
                print(f'loaded {count}')

注意：

• xapian對(duì)字段支持的不夠好，需要用suffix實(shí)現(xiàn)，這里測(cè)試就將title放大5倍混合summary進(jìn)行建立索引
• doc.add_value 可以存儲(chǔ)字段值，后續(xù)可以doc.get_value讀取
• doc.set_data 可以用來存儲(chǔ)doc的完整信息，方便顯示，doc信息會(huì)存儲(chǔ)在獨(dú)立的doc文件中
• 這里add_boolean_term和replace_document，可以實(shí)現(xiàn)相同id的數(shù)據(jù)覆蓋

下面來看查詢

#!/usr/bin/env python

import json
import sys
import xapian
import support
import time

def search(dbpath, querystring, offset=0, pagesize=10):
    # offset - defines starting point within result set
    # pagesize - defines number of records to retrieve

    # Open the database we're going to search.
    db = xapian.Database(dbpath)

    # Set up a QueryParser with a stemmer and suitable prefixes
    queryparser = xapian.QueryParser()

    query = queryparser.parse_query(querystring)
    print(query)
    # Use an Enquire object on the database to run the query
    enquire = xapian.Enquire(db)
    enquire.set_query(query)
    start_time = time.time()
    # And print out something about each match
    matches = []
    for match in enquire.get_mset(offset, pagesize):
        print(f'rank: {match.rank}  weight: {match.weight} docid: {match.document.get_value(101).decode("utf-8")} title: {match.document.get_value(102).decode("utf-8")}')
        # print(match.document.get_data().decode('utf8'))
        matches.append(match.docid)
    print(f'cost time {1000 * (time.time() - start_time)}ms')
    # Finally, make sure we log the query and displayed results
    support.log_matches(querystring, offset, pagesize, matches)

if len(sys.argv) < 3:
    print("Usage: %s DBPATH QUERYTERM..." % sys.argv[0])
    sys.exit(1)

search(dbpath = sys.argv[1], querystring = " ".join(sys.argv[2:]))

解釋：

• xapian.QueryParser() 可以解析查詢query，可以使用+ -，默認(rèn)是or`查詢
• 依然通過xapian.Enquire對(duì)象查詢，通過get_mset獲取結(jié)果
• doc可以通過document.get_value讀取存儲(chǔ)的字段值，可以通過get_data讀取存儲(chǔ)的doc信息，要顯示需要先decode('utf8')

下面來測(cè)試查詢，在已構(gòu)建的330萬+索引數(shù)據(jù)上，搜索 21 世紀(jì) 十大 奇跡 都 有 哪些

默認(rèn)的or查詢，耗時(shí)46ms：

(base) [root@dev demo]#python3 py_search.py ./test_index_2/ '21 世紀(jì) 十大 奇跡 都 有 哪些'
Query((21@1 OR 世紀(jì)@2 OR 十大@3 OR 奇跡@4 OR 都@5 OR 有@6 OR 哪些@7))
rank: 0  weight: 36.96501079176272 docid: 270926605591973127 title: 21 世紀(jì) 的 十大 奇跡 ( 王金寶 )
rank: 1  weight: 26.66735387825444 docid: 1202595084889677840 title: 淮安 十大 裝修 公司 排行榜 都 有 哪些
rank: 2  weight: 26.637435058757113 docid: 4515279401098254828 title: 十大 輕奢 首飾 品牌 耳環(huán) ( 十大 輕奢 首飾 品牌 耳環(huán) 排名 )
rank: 3  weight: 25.896035383457647 docid: 2734857435606641662 title: 中國 十大 奇跡 都 是 什么
rank: 4  weight: 25.705459264178575 docid: 7786914994161493217 title: 每個(gè) 民族 都 有 傷痕 和 血淚 ( 二 ) , 再說 說 曾經(jīng) 創(chuàng)造 奇跡 的 蒙古 帝國 !
rank: 5  weight: 25.5095343276925 docid: 1500823194476917788 title: 真正 復(fù)古 的 奇跡 手游安卓 下載 2022   十大 真正 復(fù)古 的 奇跡 手游 推薦   ...
rank: 6  weight: 25.47914915723924 docid: 868651613852701914 title: 21 世紀(jì) 有 哪些 著名 的 科學(xué)家 有 哪些 ? 急 ?
rank: 7  weight: 25.41860730241055 docid: 7128947999947583631 title: 西安 臨潼區(qū) 必玩 十大 景區(qū) , 西安 臨潼區(qū) 有 哪些 景點(diǎn) 推薦 、 旅游 ...
rank: 8  weight: 25.16026635261191 docid: 6074515952166234396 title: 世界 建筑史 上 堪稱 逆天 的 十大 工程 , 個(gè)個(gè) 都 是 奇跡 !
rank: 9  weight: 24.89609264689645 docid: 5578567283356182005 title: 20 世紀(jì) 的 科技 發(fā)明 有 哪些   20 世紀(jì) 有 哪些 重大 科學(xué) 發(fā)現(xiàn) 和 科學(xué)   ...
cost time 46.19002342224121ms
'21 世紀(jì) 十大 奇跡 都 有 哪些'[0:10] = 461487 2291460 457410 1416736 3245773 1156355 3030607 2498966 2025338 254698

如何優(yōu)化查詢耗時(shí)呢，我們可以先預(yù)測(cè)，這里 十大 奇跡 是核心詞，我們可以要求必出，因此查詢串可以變?yōu)椋?21 世紀(jì) +十大 +奇跡 都 有 哪些

(base) [root@dev demo]#python3 py_search.py ./test_index_2/ '21 世紀(jì) +十大 +奇跡 都 有 哪些'
Query(((十大@3 AND 奇跡@4) AND_MAYBE (21@1 OR 世紀(jì)@2 OR (都@5 OR 有@6 OR 哪些@7))))
rank: 0  weight: 36.96293887882541 docid: 270926605591973127 title: 21 世紀(jì) 的 十大 奇跡 ( 王金寶 )
rank: 1  weight: 25.89233097995836 docid: 2734857435606641662 title: 中國 十大 奇跡 都 是 什么
rank: 2  weight: 25.505700206213298 docid: 1500823194476917788 title: 真正 復(fù)古 的 奇跡 手游安卓 下載 2022   十大 真正 復(fù)古 的 奇跡 手游 推薦   ...
rank: 3  weight: 25.41629259671702 docid: 7128947999947583631 title: 西安 臨潼區(qū) 必玩 十大 景區(qū) , 西安 臨潼區(qū) 有 哪些 景點(diǎn) 推薦 、 旅游 ...
rank: 4  weight: 25.156904086936752 docid: 6074515952166234396 title: 世界 建筑史 上 堪稱 逆天 的 十大 工程 , 個(gè)個(gè) 都 是 奇跡 !
rank: 5  weight: 24.62510506307912 docid: 193253728534326320 title: 十大 兇夢(mèng)有 哪些 ? 十大 兇夢(mèng) 列表 !   觀音 靈簽 算命網(wǎng)
rank: 6  weight: 23.192754028779266 docid: 7179285817750982899 title: 十大 電腦 恐怖 游戲 排行   好玩 的 恐怖 游戲 有 哪些
rank: 7  weight: 23.14557703440898 docid: 8499116988738957144 title: 十大 爆火 的 奇跡 類手游 排行榜   最火 的 奇跡 類手游 排名 前十   特 ...
rank: 8  weight: 22.274870321417836 docid: 1134007698166133600 title: 世界 十大 著名 建筑物   感受 人類 的 輝煌 奇跡   建筑   第一 排行榜
rank: 9  weight: 22.214192030795594 docid: 7678030174605825797 title: 世界 十大 奇跡 動(dòng)物 : 愛爾蘭 大鹿 死而復(fù)生   世界 十大 建筑 奇跡
cost time 2.651214599609375ms
'21 世紀(jì) +十大 +奇跡 都 有 哪些'[0:10] = 461487 1416736 1156355 2498966 2025338 173861 448901 723659 1029533 1830781

耗時(shí)3ms不到，且結(jié)果更優(yōu)質(zhì)。

總結(jié)

xapian的介紹到這里告一段落，后續(xù)文章會(huì)深入xapian的內(nèi)部細(xì)節(jié)。

總結(jié)

以上是生活随笔為你收集整理的xapian 搜索引擎介绍与使用入门的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。