很多人都说使用高匿名代理是可以实现防封的，这点是能实现的，另外在使用代理的时候，一定要注意透明代理，这种在爬取的时候，基本上很容易被检测出来，另外业务成功率是非常的低，和没爬取的效果一样，但是我们也可以通过设置ip代理池来解决ip防封问题。

准备工具：

1、启动ip代理池 先把这个项目跑起来 https://github.com/jhao104/proxy_pool

2、启动代理效劳器

默许监听8080

java -jar proxyServer.jar

自定义监听端口

java -jar proxyServer.jar 9090

3、设置代理

设置好代理后你就发现每次恳求的ip都不一样。

实施步骤：
1、假如有更好的代理网站，或者是你买了代理ip。能够在根目录的/fetcher/proxyFetcher.py里面本人写个办法去爬，该办法需求以生成器(yield)方式返回host:ip，然后在根目录 的setting.py文件里面，把本人写的办法名添加进去。
2、redis默许装好是没密码的，需求修正setting.py,改为DB_CONN='redis://@127.0.0.1:6379/0'普通全部默许即可。

3、修正超时，把setting.py中的VERIFY_TIMEOUT改小点(2)。默许10秒，不然这种ip根本用不成。

4、已发布版的代理效劳器，用的是proxy_pool默许端口。而且代理池需求和代理效劳器跑在一同。

进行以上操作，能一定程度上解决我们的ip防封问题了，感兴趣的小伙伴不妨尝试下哦~