雅酷SEO论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 1016|回复: 1
打印 上一主题 下一主题

什么是搜索引擎蜘蛛?

[复制链接]

635

主题

0

好友

6913

积分

论坛元老

Rank: 8Rank: 8

  • TA的每日心情

    2015-7-3 17:11
  • 签到天数: 139 天

    连续签到: 1 天

    [LV.7]常住居民III

    跳转到指定楼层
    楼主
    发表于 2015-1-6 16:57:13 |只看该作者 |倒序浏览
      搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。


      搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
      国内各大搜索引擎蜘蛛名称:       fsb010.com
      百度:百度spider
      谷歌:googlebot
      搜狗:sogou spider
      搜搜:Sosospider
      360搜索:360Spider
      有道:YodaoBot
      雅虎:Yahoo Slurp
      必应:msnbot
      Msn:msnbot            pifubaiban.net
      以上是常见的搜索引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。

    分享到: QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0
    回复

    使用道具 举报

    17

    主题

    0

    好友

    1712

    积分

    金牌会员

    Rank: 6Rank: 6

  • TA的每日心情
    开心
    2015-1-6 19:25
  • 签到天数: 46 天

    连续签到: 1 天

    [LV.5]常住居民I

    沙发
    发表于 2015-1-6 19:26:34 |只看该作者
    http://samsung88.ys168.com
    http://joyoungtp.ys168.com
    http://septwolves88.ys168.com
    http://9919tv.ys168.com
    http://xtep8.ys168.com
    http://meadjohnson.ys168.com
    http://toread9.ys168.com
    http://kans.ys168.com
    http://yuniifang.ys168.com
    http://rdfof.ys168.com
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    百度SEO教程|谷歌SEO学术|百度SEO谷歌|网站SEO优化|雅酷SEO论坛  

    GMT+8, 2024-11-25 10:45

    Powered by Discuz! X2.5

    © 2001-2012 Comsenz Inc.

    回顶部