当前位置:首页 > PetalBot等垃圾爬虫的抓取

网站如何禁止DotBot、AhrefsBot、SemrushBot、PetalBot等垃圾爬虫的抓取

爱一流网3年前 (2021-09-21)291
网站如何禁止DotBot、AhrefsBot、SemrushBot、PetalBot等垃圾爬虫的抓取
最近在维护客户网站是发现网站大量流量,看一下网站响应日志,有不明的访问来源,看下记录是useragent为"Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/ro...