- 注册时间
- 2014-11-24
- 最后登录
- 2015-7-3
- 阅读权限
- 90
- 积分
- 6913
- 精华
- 0
- 帖子
- 742
TA的每日心情 | 怒 2015-7-3 17:11 |
---|
签到天数: 139 天 连续签到: 1 天 [LV.7]常住居民III
|
我们知道搜索引擎的产品线很长,多个产品之间总不可能完全完美地配合,因此在robots.txt的限制收录那里就产生了一个可以被利用的漏洞。
原理分析(以搜狗为例)
我们可以看到搜狗的robots.txt文件内容为:
不截图了,自己看吧: baibanbing120.com
很显然,搜狗针对各个搜索引擎,对搜索结果页面进行了屏蔽处理。其中“/sogou?”、“/web?”等路径均是结果页面的路径,那么,会不会有这样一种情况?搜狗存在其他的搜索结果页面路径,但是在robots.txt中却没有申明屏蔽?为了验证这一猜想,我们到百度中搜索搜狗。
可以看到其中“/sie?”、“/sgo?”均为搜狗自己搜索结果页面的路径,但是在robots.txt文件中却没有被申明屏蔽!即是说这样路径的页面时允许被搜索引擎(百度)收录,如果这样的搜索结果的页面全部都是你自己的网站呢?那么就实现了让搜索引擎给自己网站做外链的效果!
那么问题来了?如何让搜索引擎收录搜索结果页面的同时,还全部都是自己的站点呢?很自然地就会想到利用站内搜索!此处直接说明结果:搜狗的站内搜索参数为insite,那么组装成这样一个网址:
这个网址时可被收录的、这个页面的所有搜索结果下的站点均是指定网站的,将类似的网址在互联网上进行传播,蜘蛛爬行到之后最终会入库建立索引,最后达到了我们的目的:让搜索引擎给自己的网站链接。
写在最后 zgzybdf.com
这种方法的时效性不高,很多人都使用之后就会被修复。之所以要将原理清楚地描述出来,是为了描述黑帽方法的发现过程。黑帽并不是简单地做什么站群、群发外链什么的,更多的是利用搜索引擎本身的漏洞来进行优化。
|
|