robots协议基本语法， * 表示所有 /表示根目录
User-agent: *
Disallow: /

任何网络需要遵守 robots 协议，对于类似人类访问网站，不够成对服务器资源影响的爬虫可以不遵循robots 协议，但是获取的数据不能用于商业

标签: none

添加新评论