雅酷SEO论坛

标题: 什么是搜索引擎蜘蛛？ [打印本页]

作者: sjwb1225 时间: 2015-1-6 16:57
标题: 什么是搜索引擎蜘蛛？
　　搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。

　　搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
　　国内各大搜索引擎蜘蛛名称： fsb010.com
　　百度：百度spider
　　谷歌：googlebot
　　搜狗：sogou spider
　　搜搜：Sosospider
　　360搜索：360Spider
　　有道：YodaoBot
　　雅虎：Yahoo Slurp
　　必应：msnbot
　　Msn:msnbot pifubaiban.net
　　以上是常见的搜索引擎蜘蛛(爬虫)，如果你的网站不想让让某些蜘蛛抓取，那么可以通过robots.txt来限制爬虫的抓取。

作者: 淘淘宝 时间: 2015-1-6 19:26
http://samsung88.ys168.com
http://joyoungtp.ys168.com
http://septwolves88.ys168.com
http://9919tv.ys168.com
http://xtep8.ys168.com
http://meadjohnson.ys168.com
http://toread9.ys168.com
http://kans.ys168.com
http://yuniifang.ys168.com
http://rdfof.ys168.com

欢迎光临雅酷SEO论坛 (http://www.yaiku.com/)