当前位置:首页
> 网站如何禁止DotBot
网站如何禁止DotBot、AhrefsBot、SemrushBot、PetalBot等垃圾爬虫的抓取
最近在维护客户网站是发现网站大量流量,看一下网站响应日志,有不明的访问来源,看下记录是useragent为"Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/ro...