???網(wǎng)絡(luò)蜘蛛?Web?spider?(或稱?Crawler)是一種能夠跟蹤網(wǎng)絡(luò)上超鏈接結(jié)構(gòu)，并不斷進(jìn)行網(wǎng)絡(luò)資源發(fā)現(xiàn)與采集的程序。作為搜索引擎的資源采集部分，Web??Spider的性能將直接影響到整個搜索引擎索引網(wǎng)頁的數(shù)量、質(zhì)量和更新周期。網(wǎng)絡(luò)蜘蛛Web?Spider，以何種方式、何種策略訪問因特網(wǎng)是搜索引擎研究的主要問題之一。網(wǎng)絡(luò)蜘蛛?Web??spider?的研究離不開對網(wǎng)絡(luò)蜘蛛搜索對象的分析。因特網(wǎng)信息資源作為?Web?Spider?的采集目標(biāo)具有以下的特點(diǎn)：??

(1)??大規(guī)模:根據(jù)中國網(wǎng)統(tǒng)計(2004.7)，因特網(wǎng)上現(xiàn)有?3?億多中文網(wǎng)頁。總數(shù)據(jù)量約?6TB,這還僅僅是文本資源，未包含圖片，音頻視頻等多媒體資源。?

(2)??分布性：上述海量信息散布于大約?50?萬站上，這些網(wǎng)站同時又分布在不同地域，不同網(wǎng)絡(luò)管理類型的網(wǎng)絡(luò)上。?

(3)??動態(tài)性：因特網(wǎng)上的信息時刻處于變化之中，舊的頁面不斷被更新(包括內(nèi)容改變、位置移動等)、刪除、新的頁面不斷出現(xiàn)。?

(4)??多領(lǐng)域：因特網(wǎng)信息資源的內(nèi)容豐富，覆蓋了科研、商業(yè)、政府等幾乎所有領(lǐng)域，包含新聞、報告、論文等多種類型。?

(5)??半結(jié)構(gòu)化或無結(jié)構(gòu)化：Web?頁面通常僅有有限的結(jié)構(gòu)，或者根本就沒有結(jié)構(gòu)，即使具有一些結(jié)構(gòu)，也是著重于格式，而非內(nèi)容。此外，頁面的內(nèi)容是人類所使用的自然語言，計算機(jī)很難處理其語義。這些都是網(wǎng)絡(luò)蜘蛛?Web??Spider?在進(jìn)行網(wǎng)絡(luò)資源采集時需要面對的問題，也是在?Web??Spider?設(shè)計時需要解決的問題。對于專業(yè)搜索引擎，其?Web??Spider?面臨的不僅僅是將這些資源采集回來的問題，更主要的是能夠?qū)哂猩鲜鎏攸c(diǎn)資源進(jìn)行分析，用有限的采集規(guī)模獲得盡可能多的專業(yè)相關(guān)的網(wǎng)絡(luò)資源，甚至還要能夠深度挖掘出通用搜索引擎找不到的資源。<本文整理自：http://www.lunwenroom.com/jisuanjilei/237_3.html?想要了解更多的朋友，可以參考下>

?

轉(zhuǎn)載于:https://blog.51cto.com/1812930/1351814

總結(jié)

以上是生活随笔為你收集整理的网络蜘蛛Spider 工作原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。