SpaceEmpire/node_elasticsearch

项目简介

Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。
官方网站：https://www.elastic.co/cn/products/elasticsearch
官方下载地址：https://www.elastic.co/cn/downloads/elasticsearch
权威指南（中文）https://es.xiaoleilu.com/index.html

全量同步是指全部将数据同步到es，通常是刚建立es，第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。
方法一：elasticsearch-jdbc 本项目中已经尝试过，但是最新版本的（elasticsearch-jdbc-2.3.4.0）仅支持 elasticsearch-2.3.4.zip ，在高版本就不支持了，本项目放弃使用了。
方法二：本项目采用的方式。Logstash-input-jdbc 官方推荐，logstash-input-jdbc 能较好的实现mysql的insert、update的操作的增量、全量数据同步更新到ES。但delete操作的实时同步没有很好的解决方案。
参考博客：
elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解 http://blog.csdn.net/laoyang360/article/details/51694519
使用Logstash-input-jdbc同步数据库中的数
http://blog.csdn.net/yeyuma/article/details/50240595
http://www.cnblogs.com/phpshen/p/6098333.html

1、wget https://artifacts.elastic.co/downloads/logstash/logstash-5.2.1.tar.gz

2、tar -zxvf logstash-5.2.1.tar.gz

bin/logstash -e 'input { stdin { } } output { stdout {}}'

bin/logstash-plugin install logstash-input-jdbc

Validating logstash-input-jdbc
Installing logstash-input-jdbc
Installation successful

nohup ./bin/logstash -f mysql-connection/jdbc.conf >/dev/null 2>&1 &

/data/soft/logstash-5.2.1/mysql-connection

curl -XDELETE 'http://127.0.0.1:9200/product'

curl 'localhost:9200/_cat/indices?v'