雅酷SEO论坛

标题: 这味为谷歌准备的药对百度未必不是毒药 [打印本页]

作者: 天堂ii管理 时间: 2013-10-17 08:41
标题: 这味为谷歌准备的药对百度未必不是毒药
Robots 协议是由荷兰籍网络工程师MartijnKoster于 1994 年首次提出，但先后被国际电信联盟（ ITU ）、 W3C等组织拒绝采纳，原因是欧美电信专家担心由于 Robots 协议包含排斥性条款，搜索巨鳄可能会利用 Robots 协议的条款，迫使某些热门网站与其签署排他性协议，从而将后起竞争者挡在门外维护垄断。了解搜索的人或许都听说个Robots协议，至少在1年前的3B大战期间这是一个热门话题，百度用Robots协议要给360画个圈。
Robots协议原本是给谷歌下的药，内容网站为规范搜索引擎内容收录和抓取，推出了这个协议Robots 协议的初衷，是为了让网站能够正常运行的同时，又可以引导搜索引擎的漫游器（又称网络蜘蛛）抓取到有用的内容，告知此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被抓取的。谷歌也曾经在欧洲试图用Robots协议打击竞争对手微软的Bing，但没有获得法院支持。Martijn Koster自己也曾说过，Robots协议就是一种行业约定俗成，没有任何法律效力。
百度也曾经被Robots协议困扰，淘宝和新浪微博都曾经使用Robots协议来限制百度搜索抓取其内容，但百度暗地里也没有停止对上述网站内容的抓取。这个原本是网站规范搜索引擎的协议如今被百度这个搜索引擎很好地加以利用，因为随着百度知道、百度百科和百度帖吧等积累的内容越来越多，百度也开始强调自己的中文内容服务商的定位，有数据显示，百度已经成为拥有中文内容量最大的网站，百度要用Robots协议来保护“自己”内容，不过百度对于Robots协议的使用很创新却有些过激。
从2012年开始百度为其Robots协议设置了白名单，包括谷歌、Bing、搜搜、搜狗和即刻都搜索引擎都在白名单之列，唯独缺少了360，这份白名单限制360的目的不言自明。当初谷歌想用Robots协议打压Bing未果，百度却光明正大的直接用它作为工具打压360，当初国际电信联盟（ ITU ）、 W3C的担忧如今果真成为了现实，不过这味为谷歌准备的药对百度未必不是毒药。中国特色最好的体现是中国式“竞争”，互联网企业的竞争无规则、无底限，也没有格局，竞争手段无所不用其极，最终都演变成了你死我活的战争。

作者: 天堂ii管理 时间: 2013-10-23 10:13
谷歌也曾经在欧洲试图用Robots协议打击竞争对手微软的Bing

作者: 天堂ii管理 时间: 2013-11-17 17:35
Robots协议原本是给谷歌下的药

作者: 天堂ii管理 时间: 2013-12-5 09:34
百度用Robots协议要给360画个圈

作者: 大連偉哥 时间: 2016-11-18 13:25
有时候长处也是短板

欢迎光临雅酷SEO论坛 (http://www.yaiku.com/)