danielzhui / ipproxy_pool

provide ip proxy service

                  ___====-_  _-====___
            _--^^^#####//      \\#####^^^--_
         _-^##########// (    ) \\##########^-_
        -############//  |\^^/|  \\############-
      _/############//   (@::@)   \\############\_
     /#############((     \\//     ))#############\
    -###############\\    (oo)    //###############-
   -#################\\  / VV \  //#################-
  -###################\\/      \//###################-
 _#/|##########/\######(   /\   )######/\##########|\#_
 |/ |#/\#/\#/\/  \#/\##\  |  |  /##/\#/  \/\#/\#/\#| \|
 `  |/  V  V  `   V  \#\| |  | |/#/  V   '  V  V  \|  '
    `   `  `      `   / | |  | | \   '      '  '   '
                     (  | |  | |  )
                    __\ | |  | | /__
                   (vvv(VVV)(VVV)vvv)

Statistics

ipproxy_pool's Issues

【需求】完成复制 IP & Port JS 动效

完成复制 IP & Port JS 动效

【需求】存、取数据数据去重

1. 在下次插入数据之前可能之前某一天已经插入过相同的数据
2. 在取数据时取出两份一样的数据【不同天爬取相同的数据】

【需求】服务部署

• 服务部署 对外提供服务

【需求】release 1.0.0 规划

• 采采用多进程 + 线程 + 协程方式去爬取代理【项目中耗时都是在网络 IO 上，使用协程可以加快爬取速度】
• 每天定时爬取
• 构建 web 端页面，将爬取结果提供对外开放

【需求】数据清洗

爬取的数据存在重复数据

【需求】爬取的代理需要重新获取 protocol

由于爬取的 proxy 中 protocol 不准确，需要重新获取并验证

【需求】添加定时任务 & 对外 API

• 添加定时任务 & 对外 API