日志
在 Kubernetes 集群上部署 Elasticsearch 栈
· ☕ 3 分钟
如果采用 Logstash 集中接收 Filebeat 的日志输入,容易造成单点瓶颈;如果采用 Kafka 接收 Filebeat 的日志输入,日志的时效性又得不到保障。这里直接将 Filebeat 采集的日志直接输出到 Elasticsearch。 1. 准备工作 节点规划 这里没有区分 master、data、client 节点,而是

Logstash 配置基础
· ☕ 4 分钟
1. Logstash 的基本原理 Logstash 是一个用于数据传输和处理的组件。 通过插件的组合,Logstash 可以满足各种日志采集的场景: logstash->elasticsearch filebeat->logstash->elasticsearch filebeat->kafka->logstash->elasticsearch filebeat->redis->logstash->elasticsearch 2. Logstash 的基本配置 下面是一个 Logstash 的配置格式: 1 2 3 4 5 6 7 8 9 10 11 12 # 数据源,例如 Kafka、MySQL input { } # 过滤器,用于处理数

ELK 日志搜索实践
· ☕ 3 分钟
本文主要简单介绍了 ELK 的技术栈,并给出了 Docker compose 的编排配置。阅读本文,可在本地通过 Docker 将 ELK 跑起来。后续会将 ELK 在服务器上进行部署,相关的配置再补充。 1. ELK 技术栈介绍 ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticse