wordpress网站的robots文件怎么写

robots协议是搜索引擎蜘蛛访问网站的时候要查看的第一个文件,它告诉蜘蛛该网站哪个页面可以爬取,哪个页面不必抓取。当你的网站写有robots协议,蜘蛛就会按照协议里的内容来确定抓取的范围,如果没有,则你网站的所有页面都会被蜘蛛抓取,收录就会显得乱七八糟,那么robots文件该怎么写呢?

wordpress网站的robots文件怎么写

wordpress通常都有默认的robots文件,但是非常的简单,是不能够满足网站SEO优化的,所有SEOer通常都是自己写 robots文件。以下列举一些比较常用的写法:

User-agent: *   指定所有的搜索引擎蜘蛛,如果只想让百度蜘蛛抓取,则把 *换成 Baiduspider

Disallow: /wp-admin          禁止收录登录页面

Disallow: /wp-includes/     这2项是WordPress自动生成的,不要删除

Disallow: /wp-content/plugins    禁止收录插件目录

Disallow: /wp-content/themes    禁止收录模板目录

Disallow: /wp-login        禁止收录注册表页面

Disallow: /feed

Disallow: /articles/*/feed       这2项是禁止收录内容重复的feed源

Disallow: /page/      禁止收录翻页的页面

Disallow: /*?replytocom=     禁止收录评论内容

Disallow: /trackback       禁止收录trackback,如果关闭了此功能可以删掉

Disallow: /wp-content/uploads     看个人喜好,如果希望网站的图片被收录,则可以去掉这条

Disallow: /tag/     禁止收录tag标签页

Disallow: /date/

Disallow: /author        这2项禁止收录文档归类页面

Disallow: /category/     用于禁止收录文章目录,因为此页面都是无意义的文章列表

Sitemap: http://www.machaojin.com/sitemap_baidu.xml       引导搜索引擎找到网站地图

就简单列举这些吧, robots协议是根据个人的要求自己写的,并不是每个网站都一样。一般来说个人配置都是一个协议允许所有爬虫(即第一项的 User-agent: * 星号代表所有爬虫),接着就开始部署不希望抓取的目录,最后再指明自己的网站地图, 写好后保存为 robots.txt文件,上传到网站根目录即可。

上传好后,可以到站长平台检测一下是否配置成功

wordpress网站的robots文件怎么写

下面是马超金博客的robots文件,比较简单,感觉博客内容不多,所以那些标签,图片,栏目页面都没有禁止抓取。

wordpress网站的robots文件怎么写

未经允许不得转载:马超金博客 » wordpress网站的robots文件怎么写

赞 (0)

评论 30

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. 怎样网额,好像真没注意过,随他去鸟回复
  2. 龙笑天这个文件还是非常重要的!设置不好结果会非常难堪的!回复
  3. 博客导航我这个就是直接用知更鸟那个robots模板文件,其他就懒得折腾了回复
  4. 第9页百度尿性,无视Robots~回复
  5. 飞飞岛游戏网本来想禁止些,感觉也没有啥内容,就没有这个功能了回复
  6. Owen回访回复
  7. 洋得意自媒体博客比较实用额 感谢分享回复
  8. Licoy写的很全面回复
  9. 明月登楼呵呵,不错,值得收藏的!回复
  10. 纯洁这个可以的回复
  11. 小白蜀黍网赚研究室收藏了,虽然用的是zblogphp,不过多学习总是没错的回复
  12. 靠谱学生兼职网其实我想说,我是找一个高权重的站作参考写的。。。 回复
    • 马超金博客开始我不懂,写完这篇文章后,才找到怎么查看别人的robots文件 然后复制它的来改改就好了回复
  13. 不套路butaolu.com这个文章很好,正需要呢,谢谢回复
  14. 酒不醉人人自醉谢谢分享,学习了回复
  15. 陶金de杂货铺学习了回复