这是一个部署在云函数(Serverless)环境的爬虫代理,使用前需要先安装 Serverless-devs,并且对这个框架有一定的理解。
- 修改
s.yaml可以自由增减函数部署的分区和部署的公有云。 - 运行
s deploy -y进行部署。
部署成功后在控制台会显示函数调用地址
抓取数据的时候向函数的外网调用地址发起请求,把真实需要访问的地址放到请求头的 Proxytourl 字段里,请求参数保持原接口的约定。
一个云函数版本的爬虫代理
这是一个部署在云函数(Serverless)环境的爬虫代理,使用前需要先安装 Serverless-devs,并且对这个框架有一定的理解。
s.yaml 可以自由增减函数部署的分区和部署的公有云。s deploy -y 进行部署。部署成功后在控制台会显示函数调用地址
抓取数据的时候向函数的外网调用地址发起请求,把真实需要访问的地址放到请求头的 Proxytourl 字段里,请求参数保持原接口的约定。