欢迎访问马超金博客!

wordpress网站的robots文件怎么写

网站建设 马超金 253℃ 0评论

robots协议是搜索引擎蜘蛛访问网站的时候要查看的第一个文件,它告诉蜘蛛该网站哪个页面可以爬取,哪个页面不必抓取。当你的网站写有robots协议,蜘蛛就会按照协议里的内容来确定抓取的范围,如果没有,则你网站的所有页面都会被蜘蛛抓取,收录就会显得乱七八糟,那么robots文件该怎么写呢?

wordpress网站的robots文件怎么写

wordpress通常都有默认的robots文件,但是非常的简单,是不能够满足网站SEO优化的,所有SEOer通常都是自己写 robots文件。以下列举一些比较常用的写法:

User-agent: *   指定所有的搜索引擎蜘蛛,如果只想让百度蜘蛛抓取,则把 *换成 Baiduspider

Disallow: /wp-admin          禁止收录登录页面

Disallow: /wp-includes/     这2项是WordPress自动生成的,不要删除

Disallow: /wp-content/plugins    禁止收录插件目录

Disallow: /wp-content/themes    禁止收录模板目录

Disallow: /wp-login        禁止收录注册表页面

Disallow: /feed

Disallow: /articles/*/feed       这2项是禁止收录内容重复的feed源

Disallow: /page/      禁止收录翻页的页面

Disallow: /*?replytocom=     禁止收录评论内容

Disallow: /trackback       禁止收录trackback,如果关闭了此功能可以删掉

Disallow: /wp-content/uploads     看个人喜好,如果希望网站的图片被收录,则可以去掉这条

Disallow: /tag/     禁止收录tag标签页

Disallow: /date/

Disallow: /author        这2项禁止收录文档归类页面

Disallow: /category/     用于禁止收录文章目录,因为此页面都是无意义的文章列表

Sitemap: http://www.machaojin.com/sitemap_baidu.xml       引导搜索引擎找到网站地图

就简单列举这些吧, robots协议是根据个人的要求自己写的,并不是每个网站都一样。一般来说个人配置都是一个协议允许所有爬虫(即第一项的 User-agent: * 星号代表所有爬虫),接着就开始部署不希望抓取的目录,最后再指明自己的网站地图, 写好后保存为 robots.txt文件,上传到网站根目录即可。

上传好后,可以到站长平台检测一下是否配置成功

wordpress网站的robots文件怎么写

下面是马超金博客的robots文件,比较简单,感觉博客内容不多,所以那些标签,图片,栏目页面都没有禁止抓取。

wordpress网站的robots文件怎么写

转载请注明:马超金博客 » wordpress网站的robots文件怎么写

喜欢 (2)or分享 (0)