突破反爬虫机制的一个非常重要的工具就是代理ip，爬虫使用代理IP可以突破IP限制，扫除爬取的障碍。

　　因此，拥有庞大稳定的ip代理，在爬虫工作中将起到重要的作用,但是从成本的角度来说，一般稳定的ip池都很贵，有没有不花钱的方法？

　　可以爬取一些代理网站提供的免费ip，检测有效性后存储到数据库中，同时搭建一个http服务器，提供一个api接口，供大家的爬虫程序调用。搭建http代理，需要使用到python的这些知识：

　　api包:主要是实现http服务器，提供api接口(通过get请求,返回json数据)。

　　test包：测试一些用例，不参与整个项目的运行。

　　data文件夹:主要是数据库文件的存储位置和qqwry.dat(可以查询ip的地理位置)。

　　spider包：主要是爬虫的核心功能，爬取代理网站上的代理ip。

　　util包：提供一些工具类。IPAddress.py查询ip的地理位置。

　　config.py：主要是配置信息(包括配置ip地址的解析方式和数据库的配置)。

　　db包：主要是封装了一些数据库的操作。

　　validator包:用来测试ip地址是否可用。

　　抓取免费IP，虽然说是免费的，但其中70%都是不好使的，即使免费IP量大，网站多，最终能收集到可用的IP数量也不多，效果不稳定。想要效果好，建议使用飞猪爬虫代理，高匿名，高质量，海量IP资源提供。