WordPress SEO教程:Robots.txt完整写法

2019年4月18日21:05:31 发表评论 68 views

Robots.txt具体解释如下:

1、Disallow: /wp-admin/、Disallow: /inc/和Disallow: /other/
用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: page/和Disallow: /tag trackback
禁止搜索引擎抓取收录trackback等垃圾信息

3、Disallow: /feed、Disallow: ?s=*\
禁止搜索引擎抓取站内搜索结果

4、Disallow: /attachment/
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

完整的WordPress站点robots.txt文件内容如下:

User-agent: *
Disallow: /wp-admin/
Disallow: /inc/
Disallow: /other/
Disallow: page/
Disallow: /tag trackback
Disallow: /feed
Disallow: ?s=*\
Disallow: /attachment/
Sitemap: http://www.thefox.cn/sitemap.xml

具体使用的时候,请把Sitemap换成贵站的sitemap完整地址!

 

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: