[转载] 网站结构优化中robots文件起到的作用

老司机

在站长对一些企业网站优化过程中,不想让某些页面被百度收录和抓取，比如一些隐私内容,注册登录信息等非相关页面等，在有些人认为可以使用javascript，nofollo等标签的调用可以保证搜索引擎对该页面不收录，其实不然，使用这种方法并不能保证一定不收录，只能说成可能不收录，要想保证这些页面有一定不被百度收录，那就需要用到robots文件，下面开始介绍robots文件的用法：一、robots文件所在位置其位置位于网站根目录下面一个命名为robots的txt文件，它可以指引搜索引擎对网内容抓起进行引导，哪些页面不需要抓取和屏蔽掉的。例外该文件建议一次性修改好后，不要频繁修改，否则会导致搜索引擎降低什么减肥药效果最好