Comments (5)
FuYouJ
commented on June 12, 2024
好像datax现在是不支持一个配置里面跑多个任务吧
from datax.
leafCheng1226
commented on June 12, 2024
好像datax现在是不支持一个配置里面跑多个任务吧
我是在java项目里面调用的，其实一个配置也是只有一个数据在同步。只不过可能出现多个同步在同一个时间运行了。
from datax.
ironZr
commented on June 12, 2024
不要线程调用 我去年用的时候也犯了同样的错误 直接启进程跑
from datax.
leafCheng1226
commented on June 12, 2024
不要线程调用 我去年用的时候也犯了同样的错误 直接启进程跑
嗯，我们解决了。没有使用进程的办法，是改了一下源码原来的逻辑是会把最新的job id的log贴到其他全部的正在运行的job的log上面去了，改成根据job id去merge log即可。
from datax.
C-ZhengL
commented on June 12, 2024
不要线程调用 我去年用的时候也犯了同样的错误 直接启进程跑
嗯，我们解决了。没有使用进程的办法，是改了一下源码原来的逻辑是会把最新的job id的log贴到其他全部的正在运行的job的log上面去了，改成根据job id去merge log即可。
怎么解决的呀？我这边同时启动多个任务，或者循环启动多个任务，数据库插件是一个，但是会报脏数据，如果每个任务执行完停了应用程序然后执行下一个任务就正常。
from datax.
Related Issues (20)
- java调用Engine.entry,多线程下日志输出结果被覆盖，如何处理？ HOT 1
- hive 同步 hbase 报错
- 请问一下，什么时候支持读取 ApacheDoris的数据 HOT 1
- hbase11reder怎么兼容2.x版本
- Some cryptographic questions
- datax_v202309并没有实现 HdfsReader/HdfsWriter支持parquet读写能力 HOT 4
- 请问dataX支持抽取Hive的orc事务表吗？
- datax连接mongo7.0.9版本时出错
- datax执行器注册不上去 HOT 1
- Java程序调用datax启动多个同步任务报错，每个任务单独执行没问题 HOT 1
- mysql to hbase 任务正常启动，数据写入无异常，但是结束之后，hbase一条记录也没有
- 请问啥时候支持GoldenDB呀？
- 配置信息错误，您提供的配置文件[datax/plugin/writer/sybasewriter/plugin.json]不存在 HOT 1
- datax采集sqlserver数据报错
- postgres 迁移到mysql，索引无法迁移？是都不支持索引迁移吗？
- sybasewriter编译后缺失plugin.json，任务运行失败 HOT 1
- mysql导入es nested数据 中文乱码 HOT 1
- DataX 不支持数据库写入这种字段类型. 字段名:[config_id], 字段类型:[1111], 字段Java类型:[uuid]. 请修改表中该字段的类型或者不同步该字段.
- Startup datax -p with ( and & special symbols could not be started successfully HOT 1
- 使用datax读取mongo 数据源时，mongo 部署使用主从模式，读取时写的从节点，实际会偶发到主节点读取？
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from datax.