nexclouding/Nexcloud-Smack
README
NexCloud SMACK Stack Sample
- 데이터 소 스 : 트위터
- 브로커 : Kafka ( Kafka topic : tweet_spark )
- 데이터 저장소 : cassandra
- 실시간 스트리밍 변환 : Spark
- 프로세실행 : Akka {Actor, AkkaHttpStreaming}
Twitter -> Akka HTTP with Streaming -> Kafka ( Raw Data 수집 )
- Twitter에서 제공한 API로 Event Listner등록
- Event발생시 마다 Akka Http Streaming API를 사용하여 Kafka 저장
- DC/OS Service Json
Kafka -> Akka with Actor -> Cassandra ( Raw Data 저장 )
- Akka Actor를 이용하여 프로세스 실행
- 1초마다 Loop를 돌아 Kafka 데이터 체크
- Insert json into Cassandra
- DC/OS Service Json
Kafka -> Spark with Streamig -> Cassandra ( 가공 Realtime Data )
- DCOS spark 명령으로 프로세스 실행
- Spark Streaming으로 데이터 유실없는 실시간 가공데이터 저장( Cassandra )
- 실행 Spark Shell
Cassandra( raw data ) -> Spark sql(RDD) -> Cassandra ( 가공 Batch Data )
- Akka Actor로 프로세스 실행
- Spark Sql(RDD)를 이용한 raw data가공
- 가공데이터 batch table에 저장
- 실행 Spark Shell
