hancy2013 / kafka_storm_redis

storm 从kafka中读取数据， 经过简单处理， 存到redis

1: 主要介绍， 怎么使用实时redis代码 kafka， zookeeper， storm等一些基本介绍。

2: 项目流程图参见: helper/pull_from_kafka.png

3: git clone 下来之后 需要设置文件src/jvm/storm/product/realtime/LocalProps.java 中几个参数
a)redis ip
b)kafka ips
c)zookeeper ips

4:kafka生产者代码 参见 helper/producer.py 需要实现安装:
a)安装 zookpeer 参考 http://justfansty.i.sohu.com/blog/view/217928676.htm
b) 安装 samsa https://github.com/disqus/samsa

5: 相关命令 a) 安装本地的 jedis 驱动包： 目的是修改了jedis驱动包源码， 使得能够使用sentinel
mvn install:install-file -Dfile=../jedis-2.0.0.ddbeta.jar -DgroupId=redis.clients -DartifactId=jedis -Dversion=2.0.0 -Dpackaging=jar

b)将java文件 打成jar包
mvn -f m2-pom.xml package

c)启动storm 代码
storm jar target/storm-product-0.1-jar-with-dependencies.jar realtime.MainTopology storm_product

其他 参见: helper/helper_info.docx