xfstudio / laosj

golang light-weight image crawler

laosj(老司机)

基于goquery的轻量级爬虫, 图片下载器支持分布式, 可以自定义下载并发量。

Releases

• mzitu 爬取mzitu.com/taiwan (图片下载依赖redis作为url队列)
• mzituzp 爬取mzitu.com/share (图片下载依赖redis作为url队列)
• aiss-darwin 根据接口下载爱丝图片(依赖redis作为url队列)
• jav 获取番号列表及根据番号获取种子文件 (无依赖)
• douban-group 抓取并下载豆瓣小组图片(依赖redis作为url队列)

代码上手

下载

go get -u -v github.com/songtianyi/laosj

安装redis

略

golang.org/x依赖安装

mkdir $GOPATH/src/golang.org/x
cd $GOPATH/src/golang.org/x
git clone https://github.com/golang/net.git

编译并运行样例

go build mzituzp.go
./mzituzp

截图

微信交流群