本项目旨在追踪 毒-运动x潮流x装备各个商品价格变化
- python requirements
pipenv install - docker envirements
docker-compose up -d- wildcat/scylla(默认未开启) Scylla 是一款高质量的免费代理 IP 池工具
- docker.io/influxdb:latest 开源时序数据库
- grafana/grafana 时序数据展示平台
docker-compose up -d启动程序- 访问:
http://localhost:3000/配置influxDB,如图: - 从template.json导入DashBoard
- 利用抓包工具获取 毒App内:购买-分类-品牌/系列-任意子项(Nike,Converse) 访问的URL,替换
DuTracker/utils/urls.py中的信息
- 导入需要追踪的商品ID
- 导入指定商品ID
python dt.py addproduct 1 2 3 - 导入指定品牌、系列所有附属商品
- 更新
DuTracker/utils/urls.py信息 python dt.py crawl
- 更新
- 导入指定商品ID
- 追踪商品价格趋势
python dt.py start -v- 自动更新指定品牌、系列包含商品
python dt.py start -v -b 176 -s 53 - 追踪销量高于 xx 的商品
python dt.py start --min xx - 通过scylla代理
python dt.py start -v --proxy http://127.0.0.1:8081
- Grafana配置
- 添加InfluxDB 数据源
- 从template.json导入DashBoard
利用Fildder 获取 毒App内:购买-分类-品牌/系列-任意子项(Nike,Converse) 访问的URL,替换DuTracker/utils/urls.py中的信息
查看容器log得到以下信息
# docker logs dutracker_ui_1
GF_PATHS_DATA='/var/lib/grafana' is not writable.
You may have issues with file permissions, more information here: http://docs.grafana.org/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later
mkdir: cannot create directory '/var/lib/grafana/plugins': Permission deniedSolution:
chmod -R 777 volumes/grafana
docker start dutracker_ui_1
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent