The alldata from zhu-mingye

AllData 大数据生态解决方案数据平台

中文 | English

开源大数据平台原型图

全站式AllData产品路线图

Architecture

Integration

Data Quality

Livy访问查看JOB

Flink1.13.6整合引入最新Flink1.16 OGG-JSON解析

S3 Hudi成功写入

Dlink批流一体平台 PERJOB启动FlinkSQL

Demo EXAMPLES

1、数据平台

AllData is one of the few open source big data platform projects on Github. It will develop into a successful solution to solve a series of problems in big data e-commerce scenarios.

It will also become a general big data base for other developers to use and Contribution, my original intention is to create a product that is useful to society.

Component	Description	Important Composition
bdp-ai	AI FOR ALL DATA PLATFORM artificial intelligence engine	人工智能引擎
bdp-business	BUSINESS FOR ALL DATA PLATFORM	商业项目
bdp-compute	BUSINESS FOR ALL DATA PLATFORM CALCULATION ENGINE	计算引擎
bdp-devops	DEVOPS FOR ALL DATA PLATFORM O&M Engine	运维引擎
bdp-assembly	whole package build	整包构建
bdp-docs	Document	文档
bdp-govern	DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine	数据治理引擎
bdp-integrate	DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine	数据集成引擎
bdp-ods	DATA ODS FOR ALL DATA PLATFORM data acquisition engine	数据采集引擎
bdp-olap	OLAP FOR ALL DATA PLATFORM OLAP query engine	OLAP查询引擎
bdp-optimize	OPTIMIZE FOR ALL DATA PLATFORM performance optimization engine	性能优化引擎
bdp-storage	DATABASES FOR ALL DATA PLATFORM distributed storage engine	分布式存储引擎

2、商城展示

3、数据来源

	商城前台：
		mall-shopping-app: 商城App
		mall-shopping-app-service: 商城App服务
		mall-shopping-wc: 商城小程序
		mall-shopping-mobile: 商城前台
		mall-shopping-pc: 商城pc端
		pcAdminService: 商城pc端服务
		mobileService: 商城前台服务（小程序和前台接入此接口）
	商城后台：
		mall-admin-web: 商城后台
		pcAdminService: 商城后台服务

4、数据收集

log-collect-server:
服务端日志收集系统
log-collect-client:
支持各app集成的客户端SDK，负责收集app客户端数据；
data-import-export:
基于DataX实现数据集成(导入导出)
data-spider:
爬虫平台支持可配置的爬取公网数据的任务开发；

5、数据存储

分布式文件系统：hdfs
分布式数据库：hbase、mongodb、elasticsearch
分布式内存存储系统：redis

6、数据计算

compute-mr（离线计算）: Hive、MR
compute-realtime（流计算）: storm、flink
multi-dimension-analysis（多维度分析）: kylin, spark

7、数据开发

task-schedular: 任务调度
task-ops: 任务运维

8、数据产品

data-face: 数据可视化
data-insight: 用户画像分析

9、数据应用

system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统，实现日志搜索平台
system-apm: skywalking监控平台
system-deploy: k8s，scala，playframework，docker打包平台。
job-schedule: 任务提交平台