網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者 蠕蟲。

說到低爬蟲就是以中自動搜索引擎

　　最早的爬蟲來源于搜索引擎，而最早的爬蟲是善意的爬蟲，它可以搜索你的一切信息，并提供個其他用戶，也將其他用戶的信息提供個你使用，也應此產勝利一個協議叫“robots.text”,這是一個君子協議，并起到雙贏的作用。

　然而應為后來的大數據，而失卻了作用，也是由于媒體的大力宣傳，吸引了一批又一批的人去創建大數據公司，然而在這些人手里的數據可以用一個U盤就可以將它們裝下，像這樣的公司 他們怎么好意思稱他們的數據為為大數據了，

所以為了得更多的數據，他們就得去搜索更多的數據來充實他們的數據庫！而人手動去搜索數據就很浪費資源，因此在在這中情況下就產生　自動索引 ? 又名 （爬蟲）　

　　

?

轉載于:https://www.cnblogs.com/heiwa0824/p/7008618.html

總結

以上是生活随笔為你收集整理的网路爬虫 来源的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。