songxiaosheng / scalable Goto Github PK
View Code? Open in Web Editor NEWhelp segment data into slices
help segment data into slices
这是一个高性能,可扩展,海量数据处理的数据流处理系统。
灵活的数据流扩展可以按需定制,用来实现企业级数据分片,转换,计算,核对等场景。
传统的监控系统无法深入业务细节,实现系统内部数据准确性的数据核对监控告警。
可扩展的数据处理插件主要包含如下几种:
数据源插件的工作主要是用来收集数据的,数据流转是这样的,内部主动拉取数据或者通过RPC接口、MQ等被动接收外部发送过来的数据,收集到的数据经过简单的处理之后就可以发送到数据处理端,数据可以发送至一个或者多个,这个取决于配置的策略。
数据处理插件的工作主要是被动的接收来自数据源插件发送过来的数据,接收到的数据将会在内部进行处理,具体数据的处理逻辑由当前实际的插件功能决定,可以进行数据转换,数据核对等场景。处理过的数据可以继续发送到其他的数据处理插件中,也可以发送到数据汇总插件中,后面的数据处理插件可以继续做同样的逻辑也可以直接结束。
数据汇总插件的工作主要用于结束数据流转,当然这个插件是可选的,如果不需要明确使用当前插件来标识数据结束流转的可以直接在数据处理插件中将数据流转结束掉。
避免形成环的DAG检测器
数据来源于第三方系统到数据源之后需要经过处理插件的处理,数据可以经过多个或者一个数据处理插件数据的规范是很重要的保证任何一个处理插件都可以根据数据格式来识别数据。
大规模的数据流转计算需要无状态、可均衡调度资源的
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.