日志
Loggie 部署与配置
· ☕ 1 分钟
1. 下载 Chart 包 1 git clone https://github.com/loggie-io/installation 2. 安装 loggie 1 cd installation/helm-chart 1 helm install loggie ./ -nloggie --create-namespace 3. 全局配置修改 1 kubectl -n loggie edit cm loggie-config-loggie 将 parseStdout 改为 true,移除标准输出前面的时间戳。 1 2 3 4 5 6 config: loggie: discovery: enabled: true kubernetes: parseStdout: true 4. 业务快速配置 配置环境变量 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 export NAMESPACE="" export ES_INDEX="" export ES_PORT="" export ES_HOSTS="" export ES_USERNAME="" export ES_PASSWORD="" export POD_LABEL_KEY="" export POD_LABEL_VALUE="" ES_HOSTS_YAML=""

kubectl logs 无法查看 Pod 日志报错 NotFound
· ☕ 1 分钟
1. 现象 能查看 Pod 的信息 1 2 3 4 kubectl -n my-testns get pod my-testpod NAME READY STATUS RESTARTS AGE my-testpod 1/1 Running 0 2d13h 不能查看 Pod 的日志 1 2 3 kubectl -n my-testns logs my-testpod -f Error from server (NotFound): the server could not find the requested resource ( pods/log my-testpod) 在 Pod 所在主机上可以通过 docker logs 查看容器日志。 测试 Kubelet 的健康状态 OK 1 curl -k https://x.x.x.x:10250/healthz 这里要使用主机的 IP 地址,kubectl logs 命名会直接

在 Kubernetes 集群上部署 Elasticsearch 栈
· ☕ 3 分钟
如果采用 Logstash 集中接收 Filebeat 的日志输入,容易造成单点瓶颈;如果采用 Kafka 接收 Filebeat 的日志输入,日志的时效性又得不到保障。这里直接将 Filebeat 采集的日志直接输出到 Elasticsearch。 1. 准备工作 节点规划 这里没有区分 master、data、client 节点,而是

Logstash 配置基础
· ☕ 4 分钟
1. Logstash 的基本原理 Logstash 是一个用于数据传输和处理的组件。 通过插件的组合,Logstash 可以满足各种日志采集的场景: logstash->elasticsearch filebeat->logstash->elasticsearch filebeat->kafka->logstash->elasticsearch filebeat->redis->logstash->elasticsearch 2. Logstash 的基本配置 下面是一个 Logstash 的配置格式: 1 2 3 4 5 6 7 8 9 10 11 12 # 数据源,例如 Kafka、MySQL input { } # 过滤器,用于处理数

开发 Tips(3)
· ☕ 3 分钟
主要记录最近遇到的一些开发问题,解决方法。 1. Python 的日志模块 Python 的 logging 模块主要由四个部分组成: Loggers: 可供程序直接调用的接口 Handlers: 将日志记录输出至合适的位置 Filters: 提供更细粒度的日志是否输出判断 Formatters: 定制最终记录打印的布局格式 看下面这个例子,log1.py 文件 1 2 3 4