? ?談到robots.txt文件，首先我們必須了解什么是robots協議，Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

? ?當一個搜索機器人（可以理解）訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，那么搜索機器人就沿著鏈接抓取。

robots.txt文件的寫法：

? ?User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
? ?Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
? ?Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
? ?Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
? ?Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
? ?Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
? ?Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
? ?Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
? ?Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄
? ?Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
? ?Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
? ?Allow: .gif$ 允許抓取網頁和gif格式圖片
? ?Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖

其它屬性
? ?1. Robot-version: 用來指定robot協議的版本號
? ? ? ?例子: Robot-version: Version 2.0
? ?2.Crawl-delay：雅虎YST一個特定的擴展名，可以通過它對我們的抓取程序設定一個較低的抓取請求頻率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程序兩次進入站點時，以秒為單位的最低延時。
? ?3. Visit-time:只有在visit-time指定的時間段里,robot才可以訪問指定的URL,否則不可訪問.
? ? ? ?例子: Visit-time: 0100-1300 #允許在凌晨1:00到13:00訪問
? ?4. Request-rate: 用來限制URL的讀取頻率
? ? ? ?例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之間,以每分鐘40次的頻率進行訪問
? ? ? ?Request-rate: 12/1m 0800 - 1300 在8:00到13:00之間,以每分鐘12次的頻率進行訪問

轉載于:https://blog.51cto.com/suiwnet/1406797

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的关于网站根目录下面robots.txt文件的作用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。