关于网站根目录下面robots.txt文件的作用
? ?談到robots.txt文件,首先我們必須了解什么是robots協議,Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
? ?當一個搜索機器人(可以理解)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。
robots.txt文件的寫法:
? ?User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符
? ?Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
? ?Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
? ?Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
? ?Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
? ?Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
? ?Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
? ?Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
? ?Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
? ?Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
? ?Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
? ?Allow: .gif$ 允許抓取網頁和gif格式圖片
? ?Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
其它屬性
? ?1. Robot-version: 用來指定robot協議的版本號
? ? ? ?例子: Robot-version: Version 2.0
? ?2.Crawl-delay:雅虎YST一個特定的擴展名,可以通過它對我們的抓取程序設定一個較低的抓取請求頻率。您可以加入Crawl-delay:xx指示,其中,“XX”是指在crawler程序兩次進入站點時,以秒為單位的最低延時。
? ?3. Visit-time:只有在visit-time指定的時間段里,robot才可以訪問指定的URL,否則不可訪問.
? ? ? ?例子: Visit-time: 0100-1300 #允許在凌晨1:00到13:00訪問
? ?4. Request-rate: 用來限制URL的讀取頻率
? ? ? ?例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之間,以每分鐘40次的頻率進行訪問
? ? ? ?Request-rate: 12/1m 0800 - 1300 在8:00到13:00之間,以每分鐘12次的頻率進行訪問
轉載于:https://blog.51cto.com/suiwnet/1406797
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的关于网站根目录下面robots.txt文件的作用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 微软Kubernetes服务AKS开发正
- 下一篇: 牛客小白月赛13-H(单调栈+树状数组)