爬虫有时会遇到禁止的ip情况，这时你可以找到一个代理网站，抓取ip，进行动态轮询是没有问题的，或者你可以用别人做一个很好的第三方ip代理平台，比如爬虫，爬虫是一个第三方平台，它使用代理ip地址池来做分布式下载，除了可以使用scrapy，普通java，php，python等都可以通过卷曲调用。如何设置查看爬虫使用指南。

　　如果不用第三方平台做代理ip，一定要手动抓取ip，你可以google搜索代理ip，可以找大量网站，找几个稳定的代理网站，你可以写爬虫脚本继续爬取，如果使用量不大，也可以手动贴爬，如果土豪一点，其实可以买一点，1元左右就可以买几千，还是挺值得的...

　　此时，如果您使用python，您需要维护您自己的IP池，控制对每个IP的访问次数，随机更改IP等等，但是如果您想要创建一个服务，您可以使用SQUID绑定多个IP地址并充当一个前向代理。SQUID是Linux系统中使用的一种优秀的代理服务器软件，代理IP的代理列表根据SQUID的缓存_对等机制以某种格式显示。将其写入配置文件中。

　　这相当于将所有管理和调度问题留给SQUID，所有您必须做的就是使用爬虫访问SQUID的服务端口。

　　现在可以总结所有步骤：

　　1.使用Crawler脚本定期抓取免费的IP，每天或购买一定数量的IP，以写入MongoDB或其他数据库。此表用作原始表。

　　需要一步一步地测试IP是否有效，方法是使用curl访问网站以查看返回值，创建一个新表，在循环读取原始表时插入该表，验证后将其从原始表中删除，并使用响应时间计算IP的质量和使用它的最大次数。

　　3.将有效的IP写入SQUID配置文件并重新加载配置文件。

　　4.让Crawler程序指定用于爬行的SQUID服务IP和端口。