WP博客wordpress,robots.txt写法
Robots.txt是放在博客根目錄給搜索引擎看的一個(gè)文件，告訴搜索引擎什么鏈接能收錄什么鏈接不能收錄以及什么搜索引擎能夠收錄，在SEO中有著舉足輕重的作用。
WordPress本身就有很多地方是非添加robots.txt不可的，比如：
用了偽靜態(tài)鏈接之后動(dòng)態(tài)鏈接依然能訪問博客。
用Wordpress架設(shè)的博客有很多不同鏈接但相同內(nèi)容的頁面。
Robots.txt的誤區(qū)
不添加Robots.txt
Robots.txt作為搜索引擎機(jī)器人來到網(wǎng)站查看的第一個(gè)文件是很有必要精心設(shè)置的，搜索引擎機(jī)器人訪問網(wǎng)站時(shí)，首先會(huì)查看站點(diǎn)根目錄有沒有Robots.txt文件，如果有這個(gè)文件就根據(jù)文件的內(nèi)容確定收錄范圍，如果沒有就默認(rèn)訪問以及收錄所有頁面。這是不是意味著，要想讓搜索引擎收錄全部鏈接就可以不設(shè)置這個(gè)文件了？其實(shí)不是的，搜索引擎機(jī)器人查看沒有Robots.txt文件的時(shí)候就產(chǎn)生一個(gè)404錯(cuò)誤日志在服務(wù)器上，增加服務(wù)器的負(fù)擔(dān)。
Robots.txt文件Allow所有頁面
這是平時(shí)比較容易犯到的錯(cuò)誤，以為要讓搜索引擎更多地收錄網(wǎng)站就設(shè)置Robots.txt為：
User-agent:?*
Disallow:
或者：
User-agent:?*
Allow:?/
這樣搜索引擎不單單收錄了你文章頁面，還收錄了管理界面，模板鏈接，CSS、JS鏈接，雖然說WordPress的管理界面誰都可以猜得到，不怕泄漏出去，但是這樣一來就浪費(fèi)服務(wù)器的資源，而且搜索引擎收錄了這些鏈接是不會(huì)增加網(wǎng)站收錄數(shù)的。
Robots.txt的寫法
Robots.txt文檔以User-agent:?開頭，標(biāo)識(shí)語句對(duì)應(yīng)的搜索引擎機(jī)器人，后面跟上Disallow:?和Allow：表示起作用的鏈接。?
User-agent:?baiduspider?表示對(duì)百度機(jī)器人起作用。
User-agent:?*?表示對(duì)所有搜索引擎機(jī)器人起作用。
Robots.txt文檔中至少要有一條User-agent:記錄而User-agent:?*?記錄只允許有一條。
Disallow:?/giisi?表示不允許搜索引擎訪問或者收錄/giisi.html、/giisi/index.html、/giisi.php等包含/giisi的鏈接，而Disallow:?/giisi/則允許訪問/giisi.html、/giisi.php等，但是禁止訪問/giisi/index.html。
Disallow:?/?表示禁止搜索引擎機(jī)器人訪問收錄所有頁面。訂酒店返現(xiàn)金
Disallow:??表示允許搜索引擎訪問收錄所有頁面。
Allow:?/giisi?表示允許搜索引擎訪問或者收錄/giisi.html、/giisi/index.html、/giisi.php等包含/giisi的鏈接，而Allow:/giisi/則表示允許搜索引擎機(jī)器人訪問/giisi/index.html等鏈接，但是對(duì)/giisi.html、/giisi.php未置可否。
“*”和“$”通配符
Disallow:?*/comments?表示不允許訪問和收錄所有wordpress評(píng)論留言頁面。比如：http://www.giisi.com/born/tianxieyumingzhuanchushenqingbiao.html#comment-3715?是禁止收錄的。
Disallow:?/category/*/page/?表示禁止訪問和收錄分類的相關(guān)分頁。比如集思博客中網(wǎng)頁設(shè)計(jì)分類有很多頁面：
http://www.giisi.com/category/design/page/2
記錄中用“*”通配符表示了分類的別稱“design”。
Disallow:?.jpg$?和Disallow:?.php$??分別表示禁止訪問收錄“,jpg”和“.php”后綴的文件
集思博客的Robots.txt
User-agent:?*
Disallow: /*?*??（屏蔽搜索引擎機(jī)器人收錄動(dòng)態(tài)網(wǎng)頁，因?yàn)??q=id也是能訪問文章的哦！）
Disallow:?/index.php? （因?yàn)槲业牟┛驮趙indows主機(jī)呆過，發(fā)現(xiàn)www.giisi.com/index.php/postname.html也能訪問現(xiàn)在的日志）
Disallow:?/wp-admin?（屏蔽搜索引擎機(jī)器人收錄管理界面）
Disallow:?/wp-content/plugins?（屏蔽搜索引擎機(jī)器人收錄插件文件）
Disallow:?/wp-content/themes?（屏蔽搜索引擎機(jī)器人收錄模板文件）
Disallow:?/wp-includes?（屏蔽搜索引擎機(jī)器人收錄JS文件）
Disallow:?/trackback?（屏蔽搜索引擎機(jī)器人收錄trackback等垃圾信息，關(guān)閉trackback的可以忽略）
Disallow:?/feed?（Feed中都是與日志相同的信息當(dāng)然要屏蔽）
Disallow:?/comments（下面三個(gè)上面有介紹了）
Disallow:?/category/*/page/
Disallow:?/tag/*/page/
Sitemap:?http://www.giisi.com/sitemap.xml?（這個(gè)用來告訴搜索引擎sitemap的路徑，我用了兩個(gè)）
Sitemap:?http://www.giisi.com/sitemap_baidu.xml
Robots.txt是放在博客根目錄給搜索引擎看的一個(gè)文件，告訴搜索引擎什么鏈接能收錄什么鏈接不能收錄以及什么搜索引擎能夠收錄，在SEO中有著舉足輕重的作用。
WordPress本身就有很多地方是非添加robots.txt不可的，比如：
用了偽靜態(tài)鏈接之后動(dòng)態(tài)鏈接依然能訪問博客。
用Wordpress架設(shè)的博客有很多不同鏈接但相同內(nèi)容的頁面。
Robots.txt的誤區(qū)
不添加Robots.txt
Robots.txt作為搜索引擎機(jī)器人來到網(wǎng)站查看的第一個(gè)文件是很有必要精心設(shè)置的，搜索引擎機(jī)器人訪問網(wǎng)站時(shí)，首先會(huì)查看站點(diǎn)根目錄有沒有Robots.txt文件，如果有這個(gè)文件就根據(jù)文件的內(nèi)容確定收錄范圍，如果沒有就默認(rèn)訪問以及收錄所有頁面。這是不是意味著，要想讓搜索引擎收錄全部鏈接就可以不設(shè)置這個(gè)文件了？其實(shí)不是的，搜索引擎機(jī)器人查看沒有Robots.txt文件的時(shí)候就產(chǎn)生一個(gè)404錯(cuò)誤日志在服務(wù)器上，增加服務(wù)器的負(fù)擔(dān)。
Robots.txt文件Allow所有頁面
這是平時(shí)比較容易犯到的錯(cuò)誤，以為要讓搜索引擎更多地收錄網(wǎng)站就設(shè)置Robots.txt為：
User-agent:?*
Disallow:
或者：
User-agent:?*
Allow:?/
這樣搜索引擎不單單收錄了你文章頁面，還收錄了管理界面，模板鏈接，CSS、JS鏈接，雖然說WordPress的管理界面誰都可以猜得到，不怕泄漏出去，但是這樣一來就浪費(fèi)服務(wù)器的資源，而且搜索引擎收錄了這些鏈接是不會(huì)增加網(wǎng)站收錄數(shù)的。
Robots.txt的寫法
Robots.txt文檔以User-agent:?開頭，標(biāo)識(shí)語句對(duì)應(yīng)的搜索引擎機(jī)器人，后面跟上Disallow:?和Allow：表示起作用的鏈接。?
User-agent:?baiduspider?表示對(duì)百度機(jī)器人起作用。
User-agent:?*?表示對(duì)所有搜索引擎機(jī)器人起作用。
Robots.txt文檔中至少要有一條User-agent:記錄而User-agent:?*?記錄只允許有一條。
Disallow:?/giisi?表示不允許搜索引擎訪問或者收錄/giisi.html、/giisi/index.html、/giisi.php等包含/giisi的鏈接，而Disallow:?/giisi/則允許訪問/giisi.html、/giisi.php等，但是禁止訪問/giisi/index.html。
Disallow:?/?表示禁止搜索引擎機(jī)器人訪問收錄所有頁面。
Disallow:??表示允許搜索引擎訪問收錄所有頁面。
Allow:?/giisi?表示允許搜索引擎訪問或者收錄/giisi.html、/giisi/index.html、/giisi.php等包含/giisi的鏈接，而Allow:/giisi/則表示允許搜索引擎機(jī)器人訪問/giisi/index.html等鏈接，但是對(duì)/giisi.html、/giisi.php未置可否。
“*”和“$”通配符
Disallow:?*/comments?表示不允許訪問和收錄所有wordpress評(píng)論留言頁面。比如：http://www.giisi.com/born/tianxieyumingzhuanchushenqingbiao.html#comment-3715?是禁止收錄的。
Disallow:?/category/*/page/?表示禁止訪問和收錄分類的相關(guān)分頁。比如集思博客中網(wǎng)頁設(shè)計(jì)分類有很多頁面：
http://www.giisi.com/category/design/page/2
記錄中用“*”通配符表示了分類的別稱“design”。
Disallow:?.jpg$?和Disallow:?.php$??分別表示禁止訪問收錄“,jpg”和“.php”后綴的文件
集思博客的Robots.txt
User-agent:?*
Disallow: /*?*??（屏蔽搜索引擎機(jī)器人收錄動(dòng)態(tài)網(wǎng)頁，因?yàn)??q=id也是能訪問文章的哦！）
Disallow:?/index.php? （因?yàn)槲业牟┛驮趙indows主機(jī)呆過，發(fā)現(xiàn)www.giisi.com/index.php/postname.html也能訪問現(xiàn)在的日志）
Disallow:?/wp-admin?（屏蔽搜索引擎機(jī)器人收錄管理界面）
Disallow:?/wp-content/plugins?（屏蔽搜索引擎機(jī)器人收錄插件文件）
Disallow:?/wp-content/themes?（屏蔽搜索引擎機(jī)器人收錄模板文件）
Disallow:?/wp-includes?（屏蔽搜索引擎機(jī)器人收錄JS文件）
Disallow:?/trackback?（屏蔽搜索引擎機(jī)器人收錄trackback等垃圾信息，關(guān)閉trackback的可以忽略）
Disallow:?/feed?（Feed中都是與日志相同的信息當(dāng)然要屏蔽）
Disallow:?/comments（下面三個(gè)上面有介紹了）
Disallow:?/category/*/page/
Disallow:?/tag/*/page/
Sitemap:?http://www.giisi.com/sitemap.xml?（這個(gè)用來告訴搜索引擎sitemap的路徑，我用了兩個(gè)）
Sitemap:?http://www.giisi.com/sitemap_baidu.xml
總結(jié)
以上是生活随笔為你收集整理的WP博客wordpress,robots.txt写法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 用友U8配置动态密码认证
- 下一篇： comboBox.DataSource绑