当前位置:首页
> PetalBot等垃圾爬虫的抓取
网站如何禁止DotBot、AhrefsBot、SemrushBot、PetalBot等垃圾爬虫的抓取
最近在维护客户网站是发现网站大量流量,看一下网站响应日志,有不明的访问来源,看下记录是useragent为"Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/ro...