笔记之三-robots

a280606790

一、robots
robots主要作用是屏蔽一些不愿意让蜘蛛爬取的内容
如：联系我们，关于我们，动态，声明、死链接需要robots屏蔽
robots放于跟目录，蜘蛛先爬取robots。
可以通过查看日志来了解百度是否来过，如何查看百度蜘蛛是否来过我的网站。
好处：
1、使网站变得更加纯洁。减少权重的分散！
2、清除站内垃圾
二、语法：
1）User-agent：User-agent:Baiduspider  定义百度
User-agent:googlebot  定义Google
User-agent:* 定义所有的
2）Disallow:  禁止爬去的语法
User-agent:Baiduspider
Disallow:/
User-agent:googlebot
Disallow:/
User-agent:* 禁止爬去所有的文件夹
Disallow:/
User-agent:Baiduspider
Disallow:/admin/ 禁止爬去admin文件夹
User-agent:*
Disallow:/ab/adc.html禁止爬去ab文件夹下面的adc.html所有文件
3）Allow：
当你想搜索引擎只爬取admin这个文件夹下的a.html 和b.html两个文件时 我们可以这样写
     User-agent:*     定义所有的文件
     Disallow:/admin/ 禁止爬取admin这个文件夹
     Allow:/admin/a.html允许爬去
     Allow:/admin/b.htmL