沙滩星空的博客沙滩星空的博客

爬虫IP代理池简介

要是仅仅短期使用的话其实用不着这么麻烦,在访问的http request里添加x-forward-for标签,client随机生成,宣称自己是一台透明代理服务器,代理其他人的访问就能绕过许多限制了,一般服务商不会限制透明代理。

项目Docker支持数据库作者链接地址
proxy_poolRedis,SSDB https://github.com/jhao104/proxy_pool
ProxyPoolRedis崔庆才https://github.com/Python3WebSpider/ProxyPool
haipproxyRedis https://github.com/SpiderClub/haipproxy
IPProxyToolmysql https://github.com/awolfly9/IPProxyTool

https://www.zhihu.com/question/47464143
https://github.com/jhao104/proxy_pool
https://github.com/Python3WebSpider/ProxyPool
https://github.com/SpiderClub/haipproxy
https://github.com/awolfly9/IPProxyTool
未经允许不得转载:沙滩星空的博客 » 爬虫IP代理池简介

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址