chuyio / elk

:cactus: Log analysis system

搭建（ElasticSearch-2.x Logstash-2.x Kibana-4.5.x zookeeper3.4.6）Kafka为消息中心的ELK日志平台

前言 Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。

• Logstash：负责日志的收集，处理和储存
• Elasticsearch：负责日志检索和分析
• Kibana：负责日志的可视化

介绍

ELK是业界标准的日志采集，存储索引，展示分析系统解决方案

logstash提供了灵活多样的插件支持不同的输入/输出

主流使用redis / kafka作为日志/消息的中间环节

如果已有kafka的环境了，使用kafka比使用redis更佳

以下是一个最简化的配置做个笔记，弹性官网提供了非常丰富的文档

不要用搜索引擎去搜索，没多少结果的，请直接看官网文档

ELK(Elasticsearch + Logstash + Kibana)

阅读我博客原文 - 搭建（ElasticSearch-2.x Logstash-2.x Kibana-4.5.x zookeeper3.4.6）Kafka为消息中心的ELK日志平台

组件预览

• JDK - http://www.oracle.com/technetwork/java/javase/downloads/index.html
• Elasticsearch - https://www.elastic.co/downloads/elasticsearch
• Logstash - https://www.elastic.co/downloads/logstash
• Kibana - https://www.elastic.co/downloads/kibana
• redis - http://redis.io/download

个人blog：blog.yancy.cc

• elk的安装和使用配置，集群的搭建，tomcat，Java日志收集，都有写。
• elk走kafka存储消费，定期清理日志。
• zabbix monitor es 脚本。

有什么问题可以联系我或者加我QQ：1165958741

Mail: [email protected]