基于goquery的轻量级爬虫, 图片下载器支持分布式, 可以自定义下载并发量。
- mzitu 爬取mzitu.com/taiwan (图片下载依赖redis作为url队列)
- mzituzp 爬取mzitu.com/share (图片下载依赖redis作为url队列)
- aiss-darwin 根据接口下载爱丝图片(依赖redis作为url队列)
- jav 获取番号列表及根据番号获取种子文件 (无依赖)
######下载 go get -u -v github.com/songtianyi/laosj ######安装redis 略 ######golang.org/x依赖安装
mkdir $GOPATH/src/golang.org/x
cd $GOPATH/src/golang.org/x
git clone https://github.com/golang/net.git
######编译并运行样例 go build mzituzp.go ./mzituzp