robots.txt文件对于一个网站的重要性是SEOer必须知道的,robots协议是规范搜索引擎抓取的一种单方面协议,从某种意义来说搜索引擎可以不遵循这个协议,但是从目前来看,robots协议的有效性还是很大的。今天针对wordpress程序搭建的网站来说明一下利于seo优化的robots.txt的最佳写法。
下面详细的解释一下每一条robots协议的意思:
【User-agent: *】开始配置 所有引擎
【Disallow: /wp-admin/】用于告诉搜索引擎不要抓取后台程序文件页面。
【Disallow: /wp-includes/】用于告诉搜索引擎不要抓取后台程序文件页面。
【Disallow: /wp-content/plugins】用于告诉搜索引擎不要抓取后台程序插件文件页面。
【Disallow: /wp-content/themes】用于告诉搜索引擎不要抓取后台程序模版文件页面。
【Disallow: /*?*】禁止搜索引擎抓取动态链接
【Disallow: /*/comment-page-*】禁止搜索引擎抓取评论分页等相关链接。
【Disallow: /*?replytocom=*】禁止搜索引擎抓取评论分页等相关链接。
【Disallow: /category/*/page/】禁止搜索引擎抓取收录分类和标签的分页。
【Disallow: /tag/*/page/】禁止搜索引擎抓取收录分类和标签的分页。
【Disallow: /*/trackback】禁止搜索引擎抓取收录trackback等垃圾信息
【Disallow: /feed】禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。
【Disallow: /*/feed】禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。
【Disallow: /comments/feed】禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。
【Disallow: /?s=*】禁止搜索引擎抓取站内搜索结果
【Disallow: /*/?s=*\】禁止搜索引擎抓取站内搜索结果
【Disallow: /attachment/】禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
当然,完美的robots.txt的写法格式当中还要有Sitemap(网站地图)的地址,这份协议或许并不适合所有的wordpress程序的网站,seo高手朋友都会根据自己的习惯进行robots细节上面的修改,对于seo基础还不是很扎实的朋友来说,可以参考一下这份robots.txt文件的写法。