您的位置:首页 >资讯列表 > 正文
发布时间:2020-06-23 15:54
爬取网站被封IP地址咋办

  暴力爬取网站被封IP地址,毕竟这些网站又不是你家的,凭什么给你随便爬取信息啊!这么粗鲁,直接的爬取,这给对方带去了麻烦,服务器压力大,不封你封谁呢,是吧。


u=1975496333,348456004&fm=15&gp=0.jpg


  限制IP也是很多网站反爬虫的初衷,有些人随便写一个循环,就开始暴力爬取,确实会给网站服务器带来很大的负担,而这种频繁的访问,显然也不会是真实用户行为,索性果断把你封掉。


  这种情况,你可以遵守规则,把你爬取的速度变慢,每次爬取停个几秒就行了。如果爬取的数据量不大,其实也浪费不了多少时间,反正你也可以利用这段时间做做其他事情,或者好好思考一下人生。


  当然,你也可以通过不断换IP的形式来绕过这种限制,网上很多免费的IP资源,你可以自己搭一个IP池,爬到一定的量就切换IP。


  或者是找个IP代理来解决这个问题的,找个规模大些的,这样IP量也就多了,可以切换不同的IP地址,以实现模仿用户的目的,这样可以欺骗对方网站,让对方以为是真实的用户访问。


  综上,对于暴力爬取网站被封IP地址这个问题,最好的解决方法是找IP代理来处理,推荐飞猪http代理,相当好用。


上一篇 换ip就找飞猪http代理 下一篇 如何获取http代理