wordpress网站的robots文件怎么写

    网站建设 马超金 411次浏览 已收录 30个评论

    robots协议是搜索引擎蜘蛛访问网站的时候要查看的第一个文件,它告诉蜘蛛该网站哪个页面可以爬取,哪个页面不必抓取。当你的网站写有robots协议,蜘蛛就会按照协议里的内容来确定抓取的范围,如果没有,则你网站的所有页面都会被蜘蛛抓取,收录就会显得乱七八糟,那么robots文件该怎么写呢?

    wordpress网站的robots文件怎么写

    wordpress通常都有默认的robots文件,但是非常的简单,是不能够满足网站SEO优化的,所有SEOer通常都是自己写 robots文件。以下列举一些比较常用的写法:

    User-agent: *   指定所有的搜索引擎蜘蛛,如果只想让百度蜘蛛抓取,则把 *换成 Baiduspider

    Disallow: /wp-admin          禁止收录登录页面

    Disallow: /wp-includes/     这2项是WordPress自动生成的,不要删除

    Disallow: /wp-content/plugins    禁止收录插件目录

    Disallow: /wp-content/themes    禁止收录模板目录

    Disallow: /wp-login        禁止收录注册表页面

    Disallow: /feed

    Disallow: /articles/*/feed       这2项是禁止收录内容重复的feed源

    Disallow: /page/      禁止收录翻页的页面

    Disallow: /*?replytocom=     禁止收录评论内容

    Disallow: /trackback       禁止收录trackback,如果关闭了此功能可以删掉

    Disallow: /wp-content/uploads     看个人喜好,如果希望网站的图片被收录,则可以去掉这条

    Disallow: /tag/     禁止收录tag标签页

    Disallow: /date/

    Disallow: /author        这2项禁止收录文档归类页面

    Disallow: /category/     用于禁止收录文章目录,因为此页面都是无意义的文章列表

    Sitemap: http://www.machaojin.com/sitemap_baidu.xml       引导搜索引擎找到网站地图

    就简单列举这些吧, robots协议是根据个人的要求自己写的,并不是每个网站都一样。一般来说个人配置都是一个协议允许所有爬虫(即第一项的 User-agent: * 星号代表所有爬虫),接着就开始部署不希望抓取的目录,最后再指明自己的网站地图, 写好后保存为 robots.txt文件,上传到网站根目录即可。

    上传好后,可以到站长平台检测一下是否配置成功

    wordpress网站的robots文件怎么写

    下面是马超金博客的robots文件,比较简单,感觉博客内容不多,所以那些标签,图片,栏目页面都没有禁止抓取。

    wordpress网站的robots文件怎么写


    马超金博客 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明本文链接:wordpress网站的robots文件怎么写
    喜欢 (3)
    []
    分享 (0)
    发表我的评论
    取消评论
    表情 贴图 加粗 删除线 居中 斜体 签到

    Hi,您需要填写昵称和邮箱!

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址
    (30)个小伙伴在吐槽
    1. 额,好像真没注意过,随他去鸟
      怎样网2017-01-06 23:13 回复
    2. 这个文件还是非常重要的!设置不好结果会非常难堪的!
      龙笑天2017-01-06 22:31 回复
    3. 我这个就是直接用知更鸟那个robots模板文件,其他就懒得折腾了
      博客导航2017-01-06 14:32 回复
    4. 百度尿性,无视Robots~
      第9页2017-01-04 22:15 回复
    5. 本来想禁止些,感觉也没有啥内容,就没有这个功能了
      飞飞岛游戏网2017-01-04 17:50 回复
    6. 回访
      Owen2017-01-04 17:02 回复
    7. 比较实用额 感谢分享
    8. 写的很全面
      Licoy2017-01-04 11:11 回复
    9. 呵呵,不错,值得收藏的!
      明月登楼2017-01-03 22:57 回复
    10. 这个可以的
      纯洁2017-01-03 22:55 回复
    11. 收藏了,虽然用的是zblogphp,不过多学习总是没错的
    12. 其实我想说,我是找一个高权重的站作参考写的。。。
      • 马超金
        开始我不懂,写完这篇文章后,才找到怎么查看别人的robots文件 然后复制它的来改改就好了
        马超金博客2017-01-03 21:39 回复
    13. 这个文章很好,正需要呢,谢谢
    14. 谢谢分享,学习了
    15. 学习了
      陶金de杂货铺2017-01-03 17:02 回复