目前很多网站都会设置相对应的防爬虫机制，这是因为有一部分人在实际的爬虫主权过程中会进行恶意采集或者恶意攻击，通常情况下，防爬虫程序是通过IP来识别哪一些是机器人用户，因此可以使用可用的http代理解决。

　　实际上爬虫遇到的问题，一般情况下，爬虫开发人员为了能够正常的采集数据，速度上相对会慢一些，或者还有一部分爬虫开发者会在网上搜索一些免费http代理。

　　但是这种免费的http代理，相对来讲，稳定性和速度都不是很理想，因此怎么样在不侵犯对方利益的前提下正常的采集数据就成为了问题所在。但是解决方法还是有的：

　　1.使用http代理提高访问速度

　　http代理可以起到增加缓冲达到提高访问速度的目的，以通常代理服务器都会设置一个很大的缓冲区，这样当网站的信息经过时，就会保存下来相应的信息，下次再浏览同样的网站或者是同样的信息，就可以通过上次的信息直接调用，这样一来就很大程度上的提高了访问速度。其次，可以隐藏自己的真实ip，来防止自己受到恶意攻击。飞猪爬虫代理有不同的HTTP代理服务器接口，可以解决抓取速度以及ip的问题。

　　2.使用http代理突破IP限制

　　在一个IP资源使用频率过高的时候，要想继续进行采集工作，就需要大量稳定的IP资源，网上免费的http代理资源有很多，但是第一你得话时间去找，第二就算你找的到大批的但是不见得你能用的了。所以在这里给大家推荐一款http代理--飞猪爬虫代理，飞猪爬虫代理有很多可用稳定的ip资源，可以满足大量的需求，这里可以给大家一个小技巧，在一个ip没有被禁止访问之前，及时换下一个ip，然后可以循环使用，节省一点资源。

　　以上介绍了网络爬虫使用http代理的作用，当然，也有人会推荐使用拨号网络或者是断网拨号的方法，但是这种方法ip重复的概率很大，个人还是建议采用http代理。