robots禁止抓取内页

浏览 发布时间 2011/03/29

之前在robots.txt写法谈到过一些robost应用,但是都比较大众化,所以今天就跟大家分享两个robost禁止抓取内页的进阶知识,下面看正文吧。

通配符*禁止抓取所有含指定参数内页

如果我们有三个页面,分别是:

example.com/?a=1和example/?a=12还有example/?a=123

使用通配符*撰写:Disallow: ?a=*1

那么所有链接网址中包含1的参数都将被拒绝抓取,也就是上面三个举例都将被搜索引擎拒绝索引。

通配符$禁止抓取所有含指定参数内页

还是用上面的例子,使用通配符$撰写:Disallow: ?a=1$

那么只会有一个页面被屏蔽。

弄清楚通配符*与$,将会让你的robots.txt功效事半功倍的。

文章作者:北京网站优化@红光(QQ:86541358)
文章地址:http://www.010wangzhanyouhua.com/robots-inside/
尊重别人的劳动成果,你的劳动成果也一定会被尊重。
文章来源:除注明来自转载,其余全部为原创文章。
旨在和大家分享网站优化经验、普及网站优化知识。
如果你喜欢本站的文章,转载时请保留文章出处,谢谢。 var _bdhmProtocol = (("https:" == document.location.protocol) ? " https://" : " http://"); document.write(unescape("%3Cscript src='" + _bdhmProtocol + "hm.baidu.com/h.js%3F228e1f36afdcb394a9b26b873488ff28' type='text/javascript'%3E%3C/script%3E"));