wucysh / datax-web

DataX集成可视化操作，支持页面配置JSON脚本，手动触发执行，实时查看运行日志。目前正在集成定时任务，支持分布式，支持运行记录浏览，kill运行进程。

preparation

• Language: Java 8
• Environment: MacOS, 16G RAM
• Database: Mysql5.7
• Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax源码阅读笔记/datax-python3下)

todo list

• springboot重构项目
• 集成swagger，方便调试
• 集成mybatis plus和Mysql数据库存放应用数据
• 网页端修改并持久化job配置的json到数据库
• 网页端实时查看抽取日志，类似Jenkins的日志控制台输出功能
• 实时查看抽取日志BUG功能修复
• job运行记录展示，页面操作停止datax作业（开发中）
• 实现datax分布式作业（开发中）
• 实现datax集成定时任务（开发中）
• 网页端各种读写插件模板生成，可以在页面组装使用
• 实现部分写插件支持自动建表功能git lo

前端项目

github地址

how to run

1. 下载datax打包之后的文件或者github拉取datax代码打包，配置环境变量

 DATAX_HOME=G:\learndemo\springboot-datax\datax\bin

2. 执行datax-web/db下面的sql文件并修改application.yml数据库配置信息

3. application.yml配置数据抽取日志文件保存路径

etlLogDir: D:\temp\logs\datax-web\

4. idea启动 datax-admin

5. 启动成功后打开页面

http://localhost:8080/index.html#/datax/job

6. 点击作业配置，创建作业

7. 完成创建作业之后，点击同步任务，选择任务，点击启动

7. 可以点击查看日志，实时获取日志信息

QQ交流群 776939467