扒一扒搜索引擎是如何工作的?
搜索引擎是信息檢索(IR)系統(tǒng)的通俗叫法。雖然研究和開發(fā)人員看待IR系統(tǒng)的眼光更寬一些,但用戶想到它們更多的是根據(jù)他們期望系統(tǒng)能做的功能 — 即搜索網(wǎng)絡(luò),或者企業(yè)內(nèi)部網(wǎng),或者一個數(shù)據(jù)庫。
事實上用戶會更喜歡一個發(fā)現(xiàn)引擎,而不僅僅是一個搜索引擎。
搜索引擎匹配查詢到它們創(chuàng)建的索引上。這個索引包含每個文檔的單詞,和能指向文兒當(dāng)?shù)刂返闹羔槨_@被叫做倒排索引文件【 inverted file】。一個搜索引擎或者IR系統(tǒng)包括四個基本的模塊:
一個文檔處理器
一個查詢處理器
一個搜索和匹配功能
一個排名能力
雖然用戶關(guān)注的點是“搜索”,但是搜索和匹配功能僅僅是這四個模塊里的其中之一。這四個模塊中的每一個都可能導(dǎo)致用戶在使用搜索引擎時獲得預(yù)期或意外的結(jié)果。
文檔處理器
文檔處理器準(zhǔn)備,處理和輸入用戶搜索的文檔,頁面或站點。文檔處理器執(zhí)行以下部分或全部步驟:
將文檔流規(guī)范化為預(yù)定義格式。
將文檔流分解為所需的可檢索單元。
隔離和元標(biāo)記每個子文檔塊。
標(biāo)識文檔中潛在的可索引元素。
刪除停用詞。
詞根化檢索詞。
提取索引條目。
計算權(quán)重。
創(chuàng)建并更新搜索引擎搜索的主要倒排索引文件,以便將查詢與文檔進行匹配。
第1-3步:預(yù)處理。 雖然是必不可少的步驟并且可能對影響搜索結(jié)果很重要,但前三個步驟只是簡單地標(biāo)準(zhǔn)化了各種來源或者處理各種網(wǎng)站時遇到的多種文件格式。這些步驟用于將所
總結(jié)
以上是生活随笔為你收集整理的扒一扒搜索引擎是如何工作的?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: tableau必知必会之用 Fixed
- 下一篇: 字节跳动 ClickHouse 在实时场