ygqbasic / k8s-log

容器日志搜集套件。

容器日志搜集套件

依赖服务

kafka

组件介绍

日志搜集流程：

log-agent -> kafka -> log-dumper -> log-archiver & log-cleaner

其中，kafka支持多端消费，目前仅处理转储操作。

log-agent

日志搜集客户端，与业务容器运行到同一个Pod中(使用kubernetes时)；或者与业务容器运行到同一个容器中；业务容器与搜集客户端需要共享日志文件存放目录路径；搜集到的内容发送到kafka中进行缓冲处理。

log-dumper

日志搜集转储端，用于消费kafka中的日志，并转储到指定的磁盘下，按照搜集的路径进行存放。

log-archiver

转储文件归档端，用于定期将原始日志文件进行压缩归档。

log-cleaner

归档文件清理端，用于定期将归档的日志进行清理。