数据分析对于企业工作来说是很有意义的，因为从数据上可以分析出很多的问题，以及可以动态观测市场以及公司的发展变化。

　　要知道，Python crawler不仅带来了高额的利润，也带来了许多挑战。除了拥有稳定、快速的代理IP资源外，还需要具备正确分析URL的能力，具备良好的开发手段和精神，能够快速抓取、分析和选择最有价值的页面，能够智能地适应不同网站不断变化的防爬机制。

　　通常我们会使用以下两个方式来完成爬虫：

　　1.降低对目标网站爬取数据的速度，减小爬取数据对于目标网站造成的压力，但会减少单位时间类的抓取量。

　　2.使用服务器代理IP，使用服务器代理IP之后可以让代理ip伪装成真实ip去获取数据。

　　其中ip切换器对于网络爬虫是非常关键的，因为只有在ip访问次数达到限制之前把ip更换，才可以继续进行爬虫抓取。