针对网站的反爬虫机制，我们必须在爬虫之前做好相关的研究工作，这样才能让爬虫程序顺利地抓取我们所需的数据。怎样突破反爬虫机制，代理IP告诉你如何实现。主体IP应对爬行器的策略。

1、cookie

反：cookie是把双刃剑，有它不行，没有它更不行。如果你发现自己有爬虫现象，网站会通过cookie来监控你的浏览过程，比如快速填写表格，或者在短时间内访问大量网页，这些情况都会立即终止你的浏览。

有了合理的cookie处理能力，又能解决很多cookie收集问题，建议在抓取网站的过程中，检查一下那些cookie的网页生成，然后想想哪些需要cookie来处理。

2、Headers

反攻击：许多网页将对Headers的用户代理进行监控，也有一部分将对Referer进行监控。

破坏：直接在爬虫中添加Headers，将浏览器的User-Agent导入爬虫的Headers；或将Referer值更改为目标站点的域名。

3、网页信息加密。

防盗：有时候我们在网上看到一个不错的网页效果或图片，想要查看网页源码，却发现网页不但右键给锁，而且有时还直接禁止查看源代码。即便可以查看源代码，也只能看到一堆混乱的代码。这几页正是用加密的方法把源代码隐藏起来。

如果大家想测试使用下，可以尝试品易海外HTTP代理ip，免费测试包含各种类ip资源，无限调用IP量，希望对大家有所帮助！