日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

死链对网站的影响、产生过程、解决办法汇总

發布時間:2023/12/16 编程问答 55 豆豆
生活随笔 收集整理的這篇文章主要介紹了 死链对网站的影响、产生过程、解决办法汇总 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

大量死鏈對搜索引擎來講,有什么影響?

  1、幾乎很多站都避免不了存在死鏈接,但死鏈率過高,會影響搜索引擎對網站的評分。

  2、搜索引擎對每個網站每天抓取的頻次是限額的,若網站存在大量死鏈,會浪費掉抓取配額并影響正常頁面的抓取。

  3、過多死鏈對網站用戶來講也是體驗不好的表現。

  百度站長工具中有一個抓取異常,那么這個工具里面的異常數據是如何產生的呢?

  1、網站內部添加了錯誤的內部鏈接

  編輯失誤或者程序員大意讓頁面產生了不存在頁面的URL。

  2、原來正常頁面因為程序或頁面調整或改版無法打開

  因為程序的一個改動,導致了某些正常頁面無法打開。

  3、網站短暫無法訪問

  因為服務器、空間或程序問題導致網站無法訪問,抓取異常中會出現大量的500錯誤頁面。

  4、外部鏈接錯誤

  用戶或者站長在站外發布了錯誤URL,蜘蛛爬取后產生錯誤頁面;別的網站復制或采集了你們含有錯誤鏈接的頁面;有些垃圾網站自動生成的靜態搜索結果頁,如 www。8875。org/desc/3715714444.html 這個頁面中出現的很多鏈接在html前面有“...”。

  5、爬蟲提取了不完整的URL

  個別爬蟲在提取頁面URL的時候,只提取部分URL或者把正常的URL后面的文字或字符也提取進去了。

  6、網站改版或管理員刪除頁面

  網站改版過程中處理不當導致部分老頁面無法訪問,或者網站管理員刪除被黑、廣告、過時、被灌水頁面。

  出現了上述情況,我們該如何去解決

  1、修復錯誤頁面 抓取異常中的很多錯誤頁面是因為程序員大意或者我們程序問題導致的,本應該是正常頁面,因為失誤導致無法訪問,對于此類頁面,第一時間進行修復。

  2、提交死鏈接 但必定很多錯誤頁面是本不應該存在的,那么我們要想辦法獲取此類頁面URL,獲取方式主要有三種:

  (1) 百度站長工具--抓取異常--找不到的頁面--復制數據 [修正:此處死鏈不需我們提交了,百度站長工具自動提交死鏈];

  (2) 管理員在刪除頁面的時候手動或者程序自動保存被刪頁面URL;

  (3) 使用相關爬蟲軟件,爬取整站獲取死鏈,如Xenu 。

  然后將上述數據合并并刪除重復項(excel表格中能實現刪重,wps表格更容易操作),然后再復制所有URL通過HTTP狀態批量查詢工具查詢下[這個不錯pl.soshoulu.com/webspeed.aspx],剔除掉非404返回碼頁面。

  然后整理上面處理好的數據粘貼到網站根目錄中的一個文檔中,再把文檔地址提交到 百度站長工具--網頁抓取--死鏈提交--添加新數據--填寫死鏈文件地址。

  3、在robots中屏蔽抓取

  若大量的錯誤URL存在一定的規律,可以在robots文件中寫一個規則禁止蜘蛛程序抓取此類鏈接,但前提一定要照顧好正常頁面,避免屏蔽規則誤傷正常頁面,比如你的網站全部是靜態URL,那么如果錯誤鏈接中含有?的話,規則寫成Disallow:/*?*,如果錯誤鏈接中有/id...html 的話,規則寫成Disallow:/*...* 。

  robots文件添加完規則后,一定要去百度站長的 robots工具 進行校驗,將指定的錯誤頁面放進去,看看是否封禁成功,再把正常的頁面放進去看看是否被誤封。

總結

以上是生活随笔為你收集整理的死链对网站的影响、产生过程、解决办法汇总的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。