學爬蟲一定會涉及到robot.txt這個文件，訪問網站域名+ / + robot.txt ，即可訪問這個文件。

之前看過不少byteSpider瘋狂務實robot.txt爬癱一些小站。看看這個也好

robots.txt文件是每一個搜索引擎蜘蛛到你的網站之后要尋找和訪問的第一個文件，robots.txt是你對搜索引擎制定的一個如何索引你的網站的規則。通過該文件，搜索引擎就可以知道在你的網站中哪些文件是可以被索引的，哪些文件是被拒絕索引的，我們就可以很方便地控制搜索索引網站內容了。

robots.txt文件的作用：

? 1、屏蔽網站內的死鏈接

? 2、屏蔽搜索引擎蜘蛛抓取站點內重復內容和頁面

? 3、阻止搜索引擎索引網站隱私性的內容

因此建立robots.txt文件是很有必要的，網站中重復的內容、頁面或者404信息過多，搜索引擎蜘蛛就會認為該網站價值較低，從而降低對該網站的“印象分”，這就是我們經常聽到的“降低權重”，影響網站排名。

robots.txt文件需要注意的最大問題是：必須放置在一個站點的根目錄下，而且文件名必須全部小寫。

robots.txt文件的基本語法：

? 1、User-agent：即搜索引擎蜘蛛的名稱；

? 2、Disallow：即要攔截的部分。

? 3、常見的通配符：* /?

? 4、uri url的理解

URI 在于I(Identifier)是統一資源標示符，可以唯一標識一個資源。
URL在于Locater，一般來說（URL）統一資源定位符，可以提供找到該資源的路徑，比如http://www.zhihu.com/question/21950864，但URL又是URI，因為它可以標識一個資源，所以URL又是URI的子集。
舉個是個URI但不是URL的例子：urn:isbn:0-486-27557-4，這個是一本書的isbn，可以唯一標識這本書，更確切說這個是URN。
總的來說，locators are also identifiers, so every URL is also a URI, but there are URIs which are not URLs.

?

轉自知乎-作者：張曉杰-https://www.zhihu.com/question/21950864/answer/28847598

下面是一些基本的robots.txt文件示例。

# 允許所有的搜索引擎訪問網站的所有部分或者建立一個空白的文本文檔，命名為robots.txt。User-agent:*Disallow:或User-agent:*Allow:/# 禁止所有搜索引擎訪問網站的所有部分。User-agent:*Disallow:/# 禁止百度索引你的網站。User-agent:BaiduspiderDisallow:/# 禁止Google索引你的網站。User-agent:GooglebotDisallow:/# 禁止除百度以外的一切搜索引擎索引你的網站。User-agent:BaiduspiderDisallow:User-agent:*Disallow:/# 禁止除Google以外的一切搜索引擎索引你的網站。User-agent:GooglebotDisallow:User-agent:*Disallow:/# 禁止和允許搜索引擎訪問某個目錄，如：禁止訪問admin目錄；允許訪問images目錄。User-agent:*Disallow:/admin/Allow:/images/# 禁止和允許搜索引擎訪問某個后綴，如：禁止訪問admin目錄下所有php文件；允許訪問asp文件。User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$# 禁止索引網站中所有的動態頁面（這里限制的是有“？”的域名，如：index.php?id=8）。User-agent:*Disallow:/*?*

?

總結

以上是生活随笔為你收集整理的robot.txt是干嘛的？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。