扒一扒搜索引擎是如何工作的?
生活随笔
收集整理的這篇文章主要介紹了
扒一扒搜索引擎是如何工作的?
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
搜索引擎是信息檢索(IR)系統的通俗叫法。雖然研究和開發人員看待IR系統的眼光更寬一些,但用戶想到它們更多的是根據他們期望系統能做的功能 — 即搜索網絡,或者企業內部網,或者一個數據庫。
事實上用戶會更喜歡一個發現引擎,而不僅僅是一個搜索引擎。
搜索引擎匹配查詢到它們創建的索引上。這個索引包含每個文檔的單詞,和能指向文兒當地址的指針。這被叫做倒排索引文件【 inverted file】。一個搜索引擎或者IR系統包括四個基本的模塊:
一個文檔處理器
一個查詢處理器
一個搜索和匹配功能
一個排名能力
雖然用戶關注的點是“搜索”,但是搜索和匹配功能僅僅是這四個模塊里的其中之一。這四個模塊中的每一個都可能導致用戶在使用搜索引擎時獲得預期或意外的結果。
文檔處理器
文檔處理器準備,處理和輸入用戶搜索的文檔,頁面或站點。文檔處理器執行以下部分或全部步驟:
將文檔流規范化為預定義格式。
將文檔流分解為所需的可檢索單元。
隔離和元標記每個子文檔塊。
標識文檔中潛在的可索引元素。
刪除停用詞。
詞根化檢索詞。
提取索引條目。
計算權重。
創建并更新搜索引擎搜索的主要倒排索引文件,以便將查詢與文檔進行匹配。
第1-3步:預處理。 雖然是必不可少的步驟并且可能對影響搜索結果很重要,但前三個步驟只是簡單地標準化了各種來源或者處理各種網站時遇到的多種文件格式。這些步驟用于將所
總結
以上是生活随笔為你收集整理的扒一扒搜索引擎是如何工作的?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: tableau必知必会之用 Fixed
- 下一篇: 字节跳动 ClickHouse 在实时场