如何解決搜索爬蟲高頻次抓取導致服務器崩潰的問題

首先聲明一點，如果網站能夠承受爬蟲的高頻次訪問，那是一件好事，這樣有利于網站頁面收錄，提升網站來自搜索的訪問量。但一旦承受不了，我們可以進行如下的操作。

方法一

第一步，注冊并登錄百度站長平臺

第二步，提交網站并驗證歸屬，具體驗證網站歸屬方法可見幫助文檔

第三步，選擇左側“站點管理”

第四步，在已認證歸屬的站點列表中選擇需要查詢的站點

第五步，選擇左側“抓取壓力反饋”

第六步，得到站點抓取壓力曲線圖及壓力調整入口頁面

第七步，選取站點壓力反饋，調整滑塊至您想要壓力值，提交反饋

(注：當前數值，是網站當前在百度的有效抓取壓力上限值。壓力上限是指一天內baiduspider抓取的最多網頁數量。)

第八步，查看反饋記錄，百度會以最新的反饋信息為準，對網站的抓取壓力進行調整

方法二

優(yōu)化robots.txt

很多建站新手對robots.txt文件的重要作用不是很清楚，利用這篇文章普及一下WordPress站點robots.txt文件編寫知識。

Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol)，網站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

搜索引擎機器人訪問網站時，首先會尋找站點根目錄有沒有 robots.txt文件，如果有這個文件就根據文件的內容確定收錄范圍，如果沒有就按默認訪問以及收錄所有頁面。另外，當搜索蜘蛛發(fā)現不存在robots.txt文件時，會產生一個404錯誤日志在服務器上，從而增加服務器的負擔，因此為站點添加一個robots.txt文件還是很重要的。

知道Robots協(xié)議的作用后，下面具體說一下WordPress站點如何編寫robots.txt文件。

WordPress站點默認在瀏覽器中輸入：http://你的域名/robots.txt，會顯示如下內容：

User-agent:?*

Disallow:?/wp-admin/

Disallow:?/wp-includes/

這是由WordPress自動生成的，意思是告訴搜索引擎不要抓取后臺程序文件。

但這是遠遠不夠的，比較完整的WordPress站點robots.txt文件內容如下：

User-agent:?*

Disallow:?/wp-admin/

Disallow:?/wp-content/

Disallow:?/wp-includes/

Disallow:?/*/comment-page-*

Disallow:?/*?replytocom=*

Disallow:?/category/*/page/

Disallow:?/tag/*/page/

Disallow:?/*/trackback

Disallow:?/feed

Disallow:?/*/feed

Disallow:?/comments/feed

Disallow:?/?s=*

Disallow:?/*/?s=*\

Disallow:?/*?*

Disallow:?/attachment/

使用方法：新建一個名稱為robots.txt文本文件，將上面的內容放進去，然后上傳到網站根目錄即可。

下面分別解釋一下各項的作用：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺程序文件頁面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評論分頁等相關鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標簽的分頁。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無關。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內搜索結果

7、Disallow:?/*?*

禁止搜索抓取動態(tài)頁面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁面，比如毫無意義的圖片附件頁面。

上面只是些基本的寫法，當然還有很多，不過夠用了。

總結

以上是生活随笔為你收集整理的爬虫 网站服务器瘫痪,如何解决搜索爬虫高频次抓取导致服务器崩溃的问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。