coghost / crawlers

crawlers in one

title
python 爬虫

crawlers

crawlers in one python 3.6

Thanks to

• [chenjiandongx](# https://github.com/chenjiandongx/awesome-spider)
• 爬虫攻防
• fuck-login

DONE

• 静态图片下载
  • 44style
  • mmjpg
  • ...
• google crx 插件爬取
  • chromecj
  • cnplugins
• luoo 网音乐
• one 读书
• sdifen周
• 伯乐python资源
• 电影查询 - [x] 电影天堂
  • [x]66ys
• 东奥会计题库
• 代理

docker machines

mongo

docker run --name luoo_mg \
  -v <YOU_BASE_DIR>/Luoo/db/data:/data/db \
  -p <YOU_PORT>:27017 \
  -d mongo:latest --smallfiles  

redis

切记: 在启动前需要先建立好 data 目录, 和 redis.conf 文件

• docker

  docker run \
    --name=crawl_redis \
    -tid \
    -p <YOU_PORT>:6379 \
    -v <YOU_BASE_DIR>/Luoo/redis/data:/data \
    -v <YOU_BASE_DIR>/Luoo/redis/redis.conf:/usr/local/etc/redis/redis.conf \
    redis redis-server /usr/local/etc/redis/redis.conf

• redis.conf

  port 6379
  timeout 300
  loglevel verbose
  save 900 1
  save 300 10
  save 60 10000
  rdbcompression yes
  appendonly yes
  appendfsync everysec
  requirepass 123456