现在网络上面有着很多不同类型的爬虫，有的是企业自己的数据研究，有的是搜索引擎的爬虫数据抓取，网络爬虫是整个互联网体系中的重要一环。

　　随着互联网的快速发展，对代理IP的要求也越来越高，很多业务都需要爬虫代理IP，于是很多代理IP服务商纷纷打出了爬虫IP的口号，吸引用户来购买。

　　爬虫在抓取数据的时候，被目标网站禁止是很常见的，这是因为网站都有反爬虫策略，反爬虫就是根据IP识别的。访问网站的IP地址是会被记录的，如果频繁访问就会被认为是爬虫，会进行限制或者禁止IP。

　　爬虫工作者在使用http代理IP爬取数据得时候，要保证IP得稳定性。这样才不至于因为IP的断档而耽误数据搜集的进行。

　　而且大家在爬虫的时候，不要违反网络对于爬虫的规范限制，不能够逾越爬虫的界限，这样才能够更好的推动网络发展与应用。