Wordpress添加robots.txt文件

Robots.txt文件作用：

1、屏蔽网站内的死链接。

2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

3、阻止搜索引擎索引网站隐私性的内容。

1）创建robots.txt

2）robots.txt输入以下参数

 User-agent: *
 Disallow: /wp-admin/
 Disallow: /wp-content/
 Disallow: /wp-includes/
 Disallow: //comment-page-
 Disallow: /?replytocom=
 Disallow: /category//page/ Disallow: /tag//page/
 Disallow: //trackback Disallow: /feed Disallow: //feed
 Disallow: /comments/feed
 Disallow: /?s=*
 Disallow: //?s=
 Disallow: /?
 Disallow: /attachment/

3）上传 robots.txt 到wordpress根目录

4）查询robots.txt是否生效

输入网址/robots.txt

3）参数说明：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、Disallow: /*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。

6、Disallow: /?s=*和Disallow: /*/?s=*

禁止搜索引擎抓取站内搜索结果

7、Disallow: /*?*

禁止搜索抓取动态页面

8、Disallow: /attachment/