The alldata from liuhao19857102

AllData 一站式大数据平台

中文 | English

Stargazers over time

开源大数据平台原型图

全站式AllData产品路线图

Architecture

Integration

Data Quality

Livy访问查看JOB

Flink1.13.6整合引入最新Flink1.16 OGG-JSON解析

S3 Hudi成功写入

Demo EXAMPLES

1、数据平台

AllData is one of the few open source big data platform projects on Github. It will develop into a successful solution to solve a series of problems in big data e-commerce scenarios.

It will also become a general big data base for other developers to use and Contribution, my original intention is to create a product that is useful to society.

Component	Description	Important Composition
dataAI	AI FOR ALL DATA PLATFORM artificial intelligence engine	人工智能引擎
oneShop	BUSINESS FOR ALL DATA PLATFORM	商业项目
dataApps	BUSINESS FOR ALL DATA PLATFORM CALCULATION ENGINE	计算引擎
dataDevops	DEVOPS FOR ALL DATA PLATFORM O&M Engine	运维引擎
assembly	whole package build	整包构建
docs	Document	文档
dataGovern	DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine	数据治理引擎
dataSync	DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine	数据集成引擎
dataOds	DATA ODS FOR ALL DATA PLATFORM data acquisition engine	数据采集引擎
dataOlap	OLAP FOR ALL DATA PLATFORM OLAP query engine	OLAP查询引擎
oneLake	DATABASES FOR ALL DATA PLATFORM distributed storage engine	分布式存储引擎
oneData	MICROSERVICE FOR ALL DATA PLATFORM distributed storage engine	微服务

2、商城展示

3、数据来源

	商城前台：
		mall-shopping-app: 商城App
		mall-shopping-app-service: 商城App服务
		mall-shopping-wc: 商城小程序
		mall-shopping-mobile: 商城前台
		mall-shopping-pc: 商城pc端
		pcAdminService: 商城pc端服务
		mobileService: 商城前台服务（小程序和前台接入此接口）
	商城后台：
		mall-admin-web: 商城后台
		pcAdminService: 商城后台服务

4、数据收集

log-collect-server:
服务端日志收集系统
log-collect-client:
支持各app集成的客户端SDK，负责收集app客户端数据；
data-import-export:
基于DataX实现数据集成(导入导出)
data-spider:
爬虫平台支持可配置的爬取公网数据的任务开发；

5、数据存储

分布式文件系统：hdfs
分布式数据库：hbase、mongodb、elasticsearch
分布式内存存储系统：redis

6、数据计算

compute-mr（离线计算）: Hive、MR
compute-realtime（流计算）: storm、flink
multi-dimension-analysis（多维度分析）: kylin, spark

7、数据开发

task-schedular: 任务调度
task-ops: 任务运维

8、数据产品

data-face: 数据可视化
data-insight: 用户画像分析

9、数据应用

system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统，实现日志搜索平台
system-apm: skywalking监控平台
system-deploy: k8s，scala，playframework，docker打包平台。
job-schedule: 任务提交平台