lxn5321 / jianshucrawl-scrapy-redis Goto Github PK

# js
简书网站分布式爬虫系统

运行环境：win10+redis+mysql+python3.6





使用scrapy-redis

使用本地redis服务

在启动第二个slave客户端的时候，有时候会抓不到数据，但是，重新启动一下就可以了。

至于这个是为啥，暂时还没找到原因。。

猜测是因为：我是在同一台win10机器上运行的，同一个IP。进行多并发。

简书网数据量挺大，进行分布式时，master机器内存要求比较高。

不然，可能导致内存不够用而报错异常。