最新资讯发布日期:2021-03-12
在这篇文章之前,很多人应该看过很多代理ip池的文章,发现是漏洞,不能使用。比较多的1.建议购买x代理ip,2.抓住xx免费代理ip,自己写检查,写api,为爬虫提供使用。
第一种方法,不得不说,真的有几个好的代理ip。
第二种方法,github上的这个项目海去了。大部分,你建成后,发现爬虫爬不动,免费代理ip不能使用的好伐!稍微好一点的haipproxy,我也用过,但是没有解决根本的问题!大多数ip故障太快了!而且,各种各样的错误,爬上10页,一个成功就会燃烧高香。
那么,为什么免费代理ip不好用呢?许多人问,那些代理ip商真的有那么多ip吗?
事实并非如此。免费代理ip大多,扫描ip段、端口、特征代码。发现可以使用的是代理ip。
代理ip不易使用,比如:
1.扫描的代理ip是临时的
2.访问量过大,服务器挂断
3.原本不是代理ip
4.有验证
5.原本是http的代理,访问https当然不行
6.代理异常,连接中断,带宽满,返回错误。
获得的免费代理ip,过滤后剩下的ip访问成功率基本上是90%+。
第一,事实上,最简单的方法是根据服务器开放的端口来判断。如果服务器有80、3389、3306、22等端口,则说明服务器仍在运行其他服务,挂断的可能性很小。如果它是政府和学校的服务器,它会更稳定。当然也有可能打开另一个端口。
第二,服务器的访问速度判断需要访问多个不同的网站,以获得平均值。这种访问速度相对稳定。
第三,代理ip的生存时间越长越稳定。当然,这是你抓住后计算的。
第四,代理类型的再检查,通过访问不同的http和https站点,判断代理是http还是https,进行划分,http代理,在访问http站点时使用,https代理为https访问提供服务
大家可以根据上面提示,进行自我搭建,希望本章内容可以帮助到大家!
专属客服竭诚为您服务