限制爬虫抓取频率，Robots.txt中Crawl-delay指令

限制爬虫抓取频率

1，利用官方站长工具降低，如：

bing官方文档：https://www.bing.com/webmasters/help/crawl-control-55a30303

bing平台：（效果不明显）

百度平台：

Google限制抓取速率链接：https://www.google.com/webmasters/tools/settings

2，Robots.txt 文件中 Crawl-delay指令

User-agent: 爬虫名

Crawl-delay: 1

Crawl-delay值可以设置1、5、10，分别对应慢、非常慢、极慢。不过 Googlebot 不支持此功能，

目前正在测试这种办法对bingbot是否有效；