雅酷SEO论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 2009|回复: 4
打印 上一主题 下一主题

这味为谷歌准备的药对百度未必不是毒药

[复制链接]

288

主题

0

好友

2万

积分

超级版主

Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    2017-2-25 19:44
  • 签到天数: 440 天

    连续签到: 1 天

    [LV.9]以坛为家II

    跳转到指定楼层
    楼主
    发表于 2013-10-17 08:41:35 |只看该作者 |倒序浏览
    Robots 协议是由荷兰籍网络工程师MartijnKoster于 1994 年首次提出,但先后被国际电信联盟( ITU )、 W3C等组织拒绝采纳,原因是欧美电信专家担心由于 Robots 协议包含排斥性条款,搜索巨鳄可能会利用 Robots 协议的条款,迫使某些热门网站与其签署排他性协议,从而将后起竞争者挡在门外维护垄断。了解搜索的人或许都听说个Robots协议,至少在1年前的3B大战期间这是一个热门话题,百度用Robots协议要给360画个圈。
    Robots协议原本是给谷歌下的药,内容网站为规范搜索引擎内容收录和抓取,推出了这个协议Robots 协议的初衷,是为了让网站能够正常运行的同时,又可以引导搜索引擎的漫游器(又称网络蜘蛛)抓取到有用的内容,告知此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被抓取的。谷歌也曾经在欧洲试图用Robots协议打击竞争对手微软的Bing,但没有获得法院支持。Martijn Koster自己也曾说过,Robots协议就是一种行业约定俗成,没有任何法律效力。
    百度也曾经被Robots协议困扰,淘宝和新浪微博都曾经使用Robots协议来限制百度搜索抓取其内容,但百度暗地里也没有停止对上述网站内容的抓取。这个原本是网站规范搜索引擎的协议如今被百度这个搜索引擎很好地加以利用,因为随着百度知道、百度百科和百度帖吧等积累的内容越来越多,百度也开始强调自己的中文内容服务商的定位,有数据显示,百度已经成为拥有中文内容量最大的网站,百度要用Robots协议来保护“自己”内容,不过百度对于Robots协议的使用很创新却有些过激。
    从2012年开始百度为其Robots协议设置了白名单,包括谷歌、Bing、搜搜、搜狗和即刻都搜索引擎都在白名单之列,唯独缺少了360,这份白名单限制360的目的不言自明。当初谷歌想用Robots协议打压Bing未果,百度却光明正大的直接用它作为工具打压360,当初国际电信联盟( ITU )、 W3C的担忧如今果真成为了现实,不过这味为谷歌准备的药对百度未必不是毒药。中国特色最好的体现是中国式“竞争”,互联网企业的竞争无规则、无底限,也没有格局,竞争手段无所不用其极,最终都演变成了你死我活的战争。




    分享到: QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    分享淘帖0 分享分享0 收藏收藏0 支持支持1 反对反对0
    回复

    使用道具 举报

    288

    主题

    0

    好友

    2万

    积分

    超级版主

    Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    2017-2-25 19:44
  • 签到天数: 440 天

    连续签到: 1 天

    [LV.9]以坛为家II

    沙发
    发表于 2013-10-23 10:13:52 |只看该作者
    谷歌也曾经在欧洲试图用Robots协议打击竞争对手微软的Bing
    回复

    使用道具 举报

    288

    主题

    0

    好友

    2万

    积分

    超级版主

    Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    2017-2-25 19:44
  • 签到天数: 440 天

    连续签到: 1 天

    [LV.9]以坛为家II

    板凳
    发表于 2013-11-17 17:35:49 |只看该作者
    Robots协议原本是给谷歌下的药
    回复

    使用道具 举报

    288

    主题

    0

    好友

    2万

    积分

    超级版主

    Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    2017-2-25 19:44
  • 签到天数: 440 天

    连续签到: 1 天

    [LV.9]以坛为家II

    地板
    发表于 2013-12-5 09:34:16 |只看该作者
    百度用Robots协议要给360画个圈
    回复

    使用道具 举报

    200

    主题

    0

    好友

    1万

    积分

    超级版主

    Rank: 8Rank: 8

  • TA的每日心情
    擦汗
    2019-6-28 11:16
  • 签到天数: 227 天

    连续签到: 1 天

    [LV.7]常住居民III

    5#
    发表于 2016-11-18 13:25:10 |只看该作者
    有时候长处也是短板
    该会员没有填写今日想说内容.
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    百度SEO教程|谷歌SEO学术|百度SEO谷歌|网站SEO优化|雅酷SEO论坛  

    GMT+8, 2024-11-24 11:56

    Powered by Discuz! X2.5

    © 2001-2012 Comsenz Inc.

    回顶部