做网赚
我们一直很认真

wordpress网站的robots文件怎么写

robots协议是搜索引擎蜘蛛访问网站的时候要查看的第一个文件,它告诉蜘蛛该网站哪个页面可以爬取,哪个页面不必抓取。当你的网站写有robots协议,蜘蛛就会按照协议里的内容来确定抓取的范围,如果没有,则你网站的所有页面都会被蜘蛛抓取,收录就会显得乱七八糟,那么robots文件该怎么写呢?

wordpress网站的robots文件怎么写

wordpress通常都有默认的robots文件,但是非常的简单,是不能够满足网站SEO优化的,所有SEOer通常都是自己写 robots文件。以下列举一些比较常用的写法:

User-agent: *   指定所有的搜索引擎蜘蛛,如果只想让百度蜘蛛抓取,则把 *换成 Baiduspider

Disallow: /wp-admin          禁止收录登录页面

Disallow: /wp-includes/     这2项是WordPress自动生成的,不要删除

Disallow: /wp-content/plugins    禁止收录插件目录

Disallow: /wp-content/themes    禁止收录模板目录

Disallow: /wp-login        禁止收录注册表页面

Disallow: /feed

Disallow: /articles/*/feed       这2项是禁止收录内容重复的feed源

Disallow: /page/      禁止收录翻页的页面

Disallow: /*?replytocom=     禁止收录评论内容

Disallow: /trackback       禁止收录trackback,如果关闭了此功能可以删掉

Disallow: /wp-content/uploads     看个人喜好,如果希望网站的图片被收录,则可以去掉这条

Disallow: /tag/     禁止收录tag标签页

Disallow: /date/

Disallow: /author        这2项禁止收录文档归类页面

Disallow: /category/     用于禁止收录文章目录,因为此页面都是无意义的文章列表

Sitemap: http://www.machaojin.com/sitemap_baidu.xml       引导搜索引擎找到网站地图

就简单列举这些吧, robots协议是根据个人的要求自己写的,并不是每个网站都一样。一般来说个人配置都是一个协议允许所有爬虫(即第一项的 User-agent: * 星号代表所有爬虫),接着就开始部署不希望抓取的目录,最后再指明自己的网站地图, 写好后保存为 robots.txt文件,上传到网站根目录即可。

上传好后,可以到站长平台检测一下是否配置成功

wordpress网站的robots文件怎么写

下面是马超金博客的robots文件,比较简单,感觉博客内容不多,所以那些标签,图片,栏目页面都没有禁止抓取。

wordpress网站的robots文件怎么写

赞(0) 打赏
未经允许不得转载:马超金博客 » wordpress网站的robots文件怎么写
分享到: 更多 (0)
高佣联盟

评论 30

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #15

    额,好像真没注意过,随他去鸟

    怎样网3年前 (2017-01-06)回复
  2. #14

    这个文件还是非常重要的!设置不好结果会非常难堪的!

    龙笑天3年前 (2017-01-06)回复
  3. #13

    我这个就是直接用知更鸟那个robots模板文件,其他就懒得折腾了

    博客导航3年前 (2017-01-06)回复
  4. #12

    百度尿性,无视Robots~

    第9页3年前 (2017-01-04)回复
  5. #11

    本来想禁止些,感觉也没有啥内容,就没有这个功能了

    飞飞岛游戏网3年前 (2017-01-04)回复
  6. #10

    回访

    Owen3年前 (2017-01-04)回复
  7. #9

    比较实用额 感谢分享

    洋得意自媒体博客3年前 (2017-01-04)回复
  8. #8

    写的很全面

    Licoy3年前 (2017-01-04)回复
  9. #7

    呵呵,不错,值得收藏的!

    明月登楼3年前 (2017-01-03)回复
  10. #6

    这个可以的

    纯洁3年前 (2017-01-03)回复
  11. #5

    收藏了,虽然用的是zblogphp,不过多学习总是没错的

  12. #4

    其实我想说,我是找一个高权重的站作参考写的。。。

    靠谱学生兼职网3年前 (2017-01-03)回复
    • 开始我不懂,写完这篇文章后,才找到怎么查看别人的robots文件 然后复制它的来改改就好了

      马超金博客3年前 (2017-01-03)回复
  13. #3

    这个文章很好,正需要呢,谢谢

    不套路butaolu.com3年前 (2017-01-03)回复
  14. #2

    谢谢分享,学习了

    酒不醉人人自醉3年前 (2017-01-03)回复
  15. #1

    学习了

    陶金de杂货铺3年前 (2017-01-03)回复

扫一扫!您的支持,我的动力!

支付宝扫一扫打赏

微信扫一扫打赏