birdlark / larkmidtable Goto Github PK

View Code? Open in Web Editor NEW

1.7K 64.0 555.0 83.69 MB

LarkMidTable 是一站式开源的数据中台，实现中台的基础建设，数据治理，数据开发，监控告警，数据服务，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。

Home Page: http://www.larkmidtable.com

License: Apache License 2.0

Java 49.01% Shell 0.83% HTML 1.69% CSS 0.74% JavaScript 8.92% Vue 36.81% SCSS 1.78% Batchfile 0.03% Python 0.20%

flink flinkx seatunnel datax flink-sql flink-cdc

larkmidtable's Introduction

LarkMidTable

中文| English

LarkMidTable 中文名称云雀，云代表大数据，雀代表平凡和自由。

LarkMidTable 是一站式开源的数据中台，实现元数据管理，数据仓库开发，数据质量管理，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。

产品愿景

1.满足许多的小企业，提供一站式的解决方案。

2.做出世界级别，能够媲美BAT大厂的产品。

3.创造价值，产生价值，让世界变得更加美好。

产品架构图

产品技术选型

组件	用途
clickhouse/doris	离线数仓
kafka	实时数仓
datax,flinkx	数据集成
flink,flinkcdc,seatunnel	数据开发
promicuse	数据监控
druid	数据服务
datart	数据可视化
cdh	大数据平台
dolphin	任务调度

产品效果图

系统演示地址：www.larkmidtable.com

温馨提示：目前系统暂时只开源数据集成模块，数据集成模块我们毫无保留全部开源，其他部分如果需要购买，我们将以市场最低价进行售卖。

只有这样开源才可能做的更好，走的更远，请各位大佬多多体谅，其他模块，辛苦挣钱就不要再白嫖了，花一点点钱购买，求各位大佬，给弟弟一条活路，希望有识之士，以及伙伴，我们能够一起合作。如果找我没有及时回复，那我就忙去了，如果不忙，我会第一时间回复大家的。

目前演示环境只供测试和商业赞助的客户使用，服务器流量有限谢谢合作，赞助后加微信 LarkMidTable2021 ，可以领取大数据学习资料以及演示地址的用户名和密码

商业赞助

目前创业的初期，开源项目需要资金维护，比如买服务器，以及开源团队的运维，社区的运营，如果你觉得项目不错，可以进行赞助

项目金额： 1589.67元

目前赞助的人员：

人员	金额	人员	金额	人员	金额
LarkMidTable	10元	LarkMidTable的女朋友	200元	王健	66元
头发永远茂密	10元	moyu1109	10元	愚石	20元
朱江	10元	相故如初	10元	Googol	20元
张金峰	100元	N*s	10元	N*L	10元
hbsywy2004	10元	黄卫峰	10元	张磊	10元
*狸	15元	石良君	10元	来自你的国	10元
光阳	200元	初见	20元	陆江辉	66元
大头鲨	10元	ybZeng	16.66元	超级生	88元
飞	20元	农民	66元	夏熬	10元
ken	10元	胖虎	10元	何世杰	10元
junior	50元	s*y	50元	*辉	20元
^-^	30元	婉瑜	50元	城府	10元
祝付昆	66元	郭晓明	10元	曾云林	10元
疯狂的挖掘机	66元	纸	10元	雅轩	10元
侧耳聆听	10元	哈哈	20元	恒古指针	20元
微众银行	0.01元

疯狂的挖掘机提供域名 www.larkmidtable.cn 和服务器3台，一台官网，一台数据库，一台放演示的产品

快速开始

安装手册安装手册

操作手册操作手册

开发人员和任务分配开发人员和任务分配

应用领域

智慧校园、智慧交通、智慧金融、智慧农业、智慧医疗、智慧政务等多个大数据领域

技术交流

一个人走的很快，一群人走的更远。

关注微信公众号【LarkMidTable】，并回复【LarkMidTable】，获取微信后，加我拉你到微信群，并为你提供全程免费服务，你也可以与其他伙伴交流大数据技术，如果觉得项目不错，可以star关注，LarkMidTable团队将十分感谢您的关注！

larkmidtable's People

Contributors

Stargazers

Watchers

Forkers

level1accelerator jiyulongxu tianxiancode beihuagit clverhack joe2hpimn adonis2014 zhbdesign rowen110 jinguangyang lansane tgh-621 shiranlyf codeingl yohlee fausaitalk yang-reck long1208 lordk911 sunny121li zhaxiaodong9860 xufuzhou1201 bigdata0803 kuyusea two-wood-three-soil yh7109 mrzhangxuliang julienze xingyundeyangzhen robincoin thinker1017 huangxiaofeng10047 tedcnts hzhili nffxdy old-camel bones4 dingpingwang wengithub1 martin4chen cheersmate1024 lyfsgithud xiaojiahuo majiajue dudefu fafa-code cnicode dongyfengfff zhanglanlan831 superguhua helakelas panxiangwei minge-b dreamflychen fangxuan hejun135 georgehon tsingfu wang1231 apengda lhotsemon jialeesir xhhx55 zhaoysg chiefsh xiejiajun collabh gongdj zhangjianhrm xaibeing lzyang1012 hjsw1 hhhcommon cjjxfli wangygwang wwbbcjeyc lugela jiangfenghami zhaoyb gududelvxingzhe wolfboys jeocana bestjex chengwuyouxin taleair hzymarine xw4jb sleepy0521 lxh3631 ithjz trycatchbug taofengshred zxf1864 softiger ppayaoxing bingclouds xiaohelong ambition119 chenjie-sau ht010203

larkmidtable's Issues

Does it support connecting to trino?

[root@xxxx flinkx-1.8_release]# sh start.sh
flinkx starting ...
start.sh: line 3: -job: command not found
nohup: appending output to ‘nohup.out’
start.sh: line 5: -flinkconf: command not found
start.sh: line 7: -pluginRoot: command not found

sh ./bin/flinkx

-job './job/stream.json'

-flinkconf './flinkconf/'

-pluginRoot './plugins/'

QQ交流群满了

您好，QQ交流群满了无法加入了

任务启动问题

实例在执行之后没有任何日志输出，感觉是没有启动，后端日志是一直JobScheduleHelper执行

数据集成任务提交没有过程日志

做数据迁移 hana 到clickhouse 用flinkX执行器
数据集成--实例管理--执行一次显示成功
点击日志查看，没有对应日志生成

文件系统也确实没有文件生成

目的端也没有数据生成

后台日志如下：

数据集成-->查看任务日志

构建好任务后，没有执行的日志

docs/InstallFlinkx.md 这个文档404了,连接是不是更新了??

https://github.com/wxgzgl/LarkMidTable/tree/main/docs/InstallFlinkx.md

docs/InstallFlinkx.md 这个文档404了,连接是不是更新了??

请问是没有元数据管理功能吗？

qq群进不去

日志管理没数据

任务执行后到日志管理中查询不到

mvn package error

[ERROR]
[ERROR] The project com.guoliang.cn:flinkx-admin:[unknown-version] (LarkMidTable/flinkx-admin/pom.xml) has 1 error
[ERROR] Non-resolvable parent POM for com.guoliang.cn:flinkx-admin:[unknown-version]: Failure to find com.guoliang.cn:flinkx-web:pom:2.1.2 in https://maven.aliyun.com/nexus/content/groups/public was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed or updates are forced and 'parent.relativePath' points at wrong local POM @ line 5, column 13 ->

微信好友申请已发，想获取测试账号

如题

【feat】请适配flinkx新版本chunjun作为底层引擎

https://github.com/DTStack/chunjun
flinkx已经更名了

前端的编译异常，怎么解决？

Error: Command failed.
Exit code: 128
Command: git
Arguments: ls-remote --tags --heads git://github.com/adobe-webplatform/eve.git
Directory: C:\git\LarkMidTable\larkmidtable-ui
Output:
fatal: unable to connect to github.com:
github.com[0: 199.59.148.9]: errno=Unknown error
at ProcessTermError.ExtendableBuiltin (C:\mysoft\nvm\v16.20.0\node_modules\yarn\lib\cli.js:721:66)
at ProcessTermError.MessageError (C:\mysoft\nvm\v16.20.0\node_modules\yarn\lib\cli.js:750:123)
at new ProcessTermError (C:\mysoft\nvm\v16.20.0\node_modules\yarn\lib\cli.js:790:113)
at ChildProcess. (C:\mysoft\nvm\v16.20.0\node_modules\yarn\lib\cli.js:25787:17)
at ChildProcess.emit (node:events:513:28)
at maybeClose (node:internal/child_process:1100:16)
at Process.ChildProcess._handle.onexit (node:internal/child_process:304:5)

【feat】datax还支持吗？需要怎么配置呢？

这里自己也配置了，没有datax引擎可以创建，是还不支持吗？

微信好友申请已发，想获取测试账号

如题

[WARNING] The POM for com.larkmt.cn:larkmt-rpc:jar:2.1.2 is missing, no dependency information available

[WARNING] The POM for com.larkmt.cn:larkmt-rpc:jar:2.1.2 is missing, no dependency information available
在哪可以下载到这个依赖呢？这部分不开源么

QQ群满了，微信公众号也不回复了现在

可以解决一下吗，也方便大家交流交流

启动后exector有问题，没有页面

11:39:57.973 exe [web, executor ExecutorRegistryThread] INFO c.l.c.t.ExecutorRegistryThread - >>>>>>>>>>> web registry fail, registryParam:RegistryParam{registryGroup='EXECUTOR', registryKey='executor', regist
ryValue='192.168.80.172:9999', cpuUsage='1.3', memoryUsage='71.65', loadAverage='0.7'}, registryResult:ReturnT [code=500, msg=xxl-rpc remoting fail, StatusCode(405) invalid. for url : http://192.168.80.172:8080/api/registry, content=null]

这个和datax-web有啥关系没？怎么感觉界面啥的都见过

这个开源的没啥意义啊看了下启动之后还是和datax一样的其他的只能点啥东西都没有

安装不成功，apache maven 不存在ojdbc6

在larkmidtable-web
下执行mvn clean install ，提示

[INFO] --------------------------------[ jar ]---------------------------------
Downloading from central: https://repo.maven.apache.org/maven2/com/oracle/ojdbc6/11.2.0.3/ojdbc6-11.2.0.3.pom
[WARNING] The POM for com.oracle:ojdbc6:jar:11.2.0.3 is missing, no dependency information available
Downloading from central: https://repo.maven.apache.org/maven2/com/microsoft/sqlserver/sqljdbc4/4.0/sqljdbc4-4.0.pom
[WARNING] The POM for com.microsoft.sqlserver:sqljdbc4:jar:4.0 is missing, no dependency information available
Downloading from central: https://repo.maven.apache.org/maven2/com/oracle/ojdbc6/11.2.0.3/ojdbc6-11.2.0.3.jar
Downloading from central: https://repo.maven.apache.org/maven2/com/microsoft/sqlserver/sqljdbc4/4.0/sqljdbc4-4.0.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary for web 2.1.2:
[INFO]
[INFO] web ................................................ SUCCESS [ 0.501 s]
[INFO] rpc ................................................ SUCCESS [ 4.710 s]
[INFO] core ............................................... SUCCESS [ 1.590 s]
[INFO] admin .............................................. FAILURE [ 7.965 s]
[INFO] assembly ........................................... SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 15.284 s
[INFO] Finished at: 2022-02-08T13:26:55+08:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project admin: Could not resolve dependencies for project com.larkmidtable.cn:admin:jar:2.1.2: The following artifacts could not be resolved: com.oracle:ojdbc6:jar:11.2.0.3, com.microsoft.sqlserver:sqljdbc4:jar:4.0: Could not find artifact com.oracle:ojdbc6:jar:11.2.0.3 in central (https://repo.maven.apache.org/maven2) -> [Help 1]

发现
https://repo.maven.apache.org/maven2/com/oracle/
下不存在ojdbc6

flinkx-1.10_release压缩包，可以添加群获得 ,我群都进不去,咋拿的到呀?

支持flinkx 1.10的版本吗

无法打包,群也不能进

没有血缘管理和质量管理吗

flinkx的Database Type支持RestApi，请问flinkx-web支持吗

Roadmap

1.2022-02-23 至 2022-04-01
数据服务模块
1.可视化API构建实现 mysql、oracle、sqlserver、postgres、db2、h2、derby、sqlite、sybase 数据库的查询
2.API接口列表，修改，删除，查询
3.权限管理列表，修改，删除，查询，建立和API接口的关系
4.测试这一块的功能和服务，保证生产可用

2022-04-01 至 2022-06-01
数据开发模块
1.JAR任务开发
2.SQL任务开发
3.开发任务中的停止和执行
功能:
具体支持spark的流式任务和flink流式任务的JAR包的上传，并能运行
具体支持spark的sql和flink的sql的任务的发布和运行，支持flink cdc 的源和目标

2022-06-01 至 2022-09-01
数据集成模块
1.集成目前最火的seatunnel和datax和flinkx市面上比较流行的开源集成框架，生成前端的任务作业
2.集成dolphinScheduler的任务调度模块

2022-09-01 至 2022-12-01
数据治理模块
1.数据目录模块
2.元数据和数据血缘具体的需要再思考如何去做

2022-12-01 至 2023-02-01
重构前端React框架
重构后端SpringCloud框架

加了微信公众号，想请问一下这个项目已经不维护了嘛

步骤：构建->选择模板->下一步 ,到下一步,, 提示要我整请选择执行器??

seatunnel的支持

大概什么时候拓展支持seatunnel

大佬啥时候支持到flinkx 1.12.2

大佬啥时候支持到flinkx 1.12.2。旧版本 sql server cdc

缺少com.wugui:datax-core2.1.2

大佬缺少com.wugui:datax-core2.1.2 啊

【bug】执行日志没有

参数变量集中化

docker 无状态部署. 需要有个配置集中的库/文件/其他
我了解的实现方法是
环境变量指定置变量库连接信息
其他所有的配置变量都存在库中
大致表结构，根据实际场景选择组合主键及上下级关系
组合主键包括 ,
集群编码 , 主/备/容灾/测试/灰度/或其他硬件隔离集群
服务编码, 应用节点/负载均衡/XX服务/XX组件/kafka/zk
组：业务软路由平行拆分分组
机器编码：主机唯一编码
版本号：滚动升级修改配置
参数名
参数值
参数说明
..

数据结构存储位置视情况而定,主要目的是做到配置全局唯一,

可能提供flinkx-1.8_release压缩包，群没进去

有没有oracle版本的，现在同一用的mysql版本的系统库

有群可以加一下吗

发一下群号或者截图呗

为什么不用flink on yarn？

为什么不用yarn？用xxl-job分布式调度感觉还是不合适。

lark-ui不开源了？

Oracle数据源测试连接报错

private void getDataSource(JobDatasource jobDatasource) throws SQLException {
String userName = AESUtil.decrypt(jobDatasource.getJdbcUsername());
String password = AESUtil.decrypt(jobDatasource.getJdbcPassword());
String jdbcUrl = jobDatasource.getJdbcUrl();
//修正数据源类型获取错误 Modified By:张振磊 Date:2021.05.27
//String DBtype = jobDatasource.getDatasourceName();
String DBtype = jobDatasource.getDatasource();
......
}