witnesslq Goto Github PK

spark_app

spark任务实时分析app端日志写入redis

spark_db_connector

Use Scala API to read/write data from different databases,HBase,MySQL,etc.

spark_db_driver

spark读写常见db demo

spark_framework

J2EE工程框架

spark_lab_tools

automatic spark workload submitter

spark_mix_log

用spark技术实时处理mix的各类型的日志文件，从kafka读入数据，把最终处理结果最新到DB。

spark_movie_recsys

在Spark环境下，利用Flask框架，采用Mongodb设计的一个在线电影推荐系统的演示demo

spark_oozie_example

Sample Oozie Workflow to test the Spark Job. In Workflow, we use the Shell action to call a Shell script. The Shell script will be invoking the Spark Pi example Job.

spark_personas

Spark中实现用户画像系统价值度、忠诚度、流失预警、活跃度等模型

spark_recomend

使用Spark的MLlib、Hbase作为模型、Hive作数据清洗的核心推荐引擎,在Spark on Yarn测试通过

spark_recommend

hbase + spark 实现常用推荐算法（主要用于精准广告投放和推荐系统）

spark_redis

spark-redis

spark_sf

sparkSql spark kafka hbase

sparkstreaming-2

sparkstreaming集成kafka时的偏移量保存到Hbase\ZK\ES\mysql

sparkstreaming-datatransform-cwx

SparkStreaming-DataTransform-cwx是一个对用sparkStreaming对用户和商品数据数据进行转化和存储到hbase的例子。

sparkstreaming-kafka-comsumer

SparkStreaming Kafka Comsumer

sparkstreaming-use-opencv

Spark Streaming与OpenCV传感器数据实时获取

sparkstreaming.sessionization

NRT Sessionization with Spark Streaming landing on HDFS and putting live stats in HBase

sparkstreaming_zkjz

Spark SQL,Spark Streaming,Spark mllib on ZKJZ

sparkstreaminghbase

kafka缓存数据，SparkStreaming接收处理导入Hbase

sparkstreaminghbaseexample

Spark Streaming HBase Example

sparkstreaminghtmlparser

Using Spark Streaming, visit multiple websites; for each site, extract text within one HTML tag based on ID.

sparkstreamingmovierecommendations

sparkstreamingwithkafka

sparkstreamingyarnlogs

Yarn log aggregation does not work for streaming apps unless the apps exists successfullly or killed

sparktest

大数据用户行为检测分析

sparktest-1

针对spark 吞吐量和延迟 做的BenchMark集群测试

sparktoparquet

当有持续不断的结构化或非结构化大数据集以流（streaming）的方式进入分布式计算平台，能够保存在大规模分布式存储上，并且能够提供准实时SQL查询，这个系统多少人求之不得。

sparktraining

Examples for Spark Training in chinahadoop.cn

spider

利用spring boot + webmagic 开发的爬虫系统