thehappymouse / ccmouse

学习ccmouse老师的课程，自己敲的代码，分布式并发爬虫的噢

幕课网 ccmouse 分布式爬虫

整体构构图

crawler

单机版爬虫到单机并发版爬虫，爬虫的核心都在此文件夹内

存储使用的是 elasticsearch docker run -d -p 9200:9200 elasticsearch

运行： go run crawler/main.go

crawler_distributed

在单机爬虫基本之上，扩展的并发版爬虫版本。 使用json-rpc实现多个节点调用 主要扩展内容：存储服务（一个），Work服务（网页抓取）多个，引擎（一个） 运行步骤：

1. 存储

go run crawler_distributed/persist/server/saver_main.go （占用1234端口）

2，Worker

go run crawler_distributed/worker/server/worker_main.go --port=9003

3, 引擎

go run crawler_distributed/distributed.go --hosts="192.168.1.8:9002,192.168.1.8:9004,:9002,:9003"

ccmouse's Issues

leak memory ??

// 100毫秒执行一次请求
var rateLimiter = time.Tick(50 * time.Millisecond)

不关闭ticker，测试的时候发现会导致内存不断增长。

很棒的噢！打电话噢~~

Hi,打扰了，有学过ccmouse老师的Go开发工程师课吗？