title |
---|
python 爬虫 |
crawlers in one
python 3.6
- [chenjiandongx](# https://github.com/chenjiandongx/awesome-spider)
- 爬虫攻防
- fuck-login
- 静态图片下载
- google crx 插件爬取
- luoo 网音乐
- one 读书
- sdifen周
- 伯乐python资源
- 电影查询
- [x] 电影天堂
- [x]66ys
- 东奥会计题库
- 代理
docker run --name luoo_mg \
-v <YOU_BASE_DIR>/Luoo/db/data:/data/db \
-p <YOU_PORT>:27017 \
-d mongo:latest --smallfiles
切记: 在启动前需要先建立好 data 目录, 和 redis.conf 文件
-
docker
docker run \ --name=crawl_redis \ -tid \ -p <YOU_PORT>:6379 \ -v <YOU_BASE_DIR>/Luoo/redis/data:/data \ -v <YOU_BASE_DIR>/Luoo/redis/redis.conf:/usr/local/etc/redis/redis.conf \ redis redis-server /usr/local/etc/redis/redis.conf
-
redis.conf
port 6379 timeout 300 loglevel verbose save 900 1 save 300 10 save 60 10000 rdbcompression yes appendonly yes appendfsync everysec requirepass 123456