一个一直用的wp站点的robots.txt的写法

作者:stoat 发布时间:2013-01-15 分类:技术

一个一直用的wp站点的robots.txt的写法,今天看到个老外的博客说他把tag标签都屏蔽了,不知道是好还是坏。


User-agent: *
Disallow: /wp-*
Disallow: /cgi-bin/
Disallow: /index.php
Disallow: */comment-page-*
Disallow: /*?replytocom=*
Disallow: */trackback/
Disallow: */feed/
Disallow: /page/
Disallow: /*.css$
Disallow: /*.js$

Sitemap: http://www.bubingmovie.com/sitemap.xml.gz
baidusitemap:http://www.bubingmovie.com/sitemap.html

原文地址:一个一直用的wp站点的robots.txt的写法 by 雪鼬博客

标签:WEB开发 网站开发

评论已关闭