数据组临时表自动清理系统。前端使用Vue.js来实现,基于https://github.com/lin-xin/vue-manage-system。后端准备使用json-server。然后真正的定时清理使用Oozie调度Pyspark来实现。然后再实现一个钉钉的机器人,实现删除之前提醒。
前端部分的功能列表如下:
- 用户登录
- 权限控制
- 用户管理
- 用户列表
- 用户添加
- 用户修改
- 用户擅长
- 临时表管理
- 临时表列表
- 临时表添加
- 临时表编辑
- 临时表删除
定时清理部分的功能列表如下:
- 读取后端Json文件
- 查询当前所有的临时表列表
- 通过正则筛选出应该被删除的临时表列表
- 正式删除
- 通过正则筛选出被保留的临时表并推送给钉钉机器人
- 配置Oozie
最后再出一份部署文档和重启集群时启动系统的脚本