1. top 查看节点资源使用率超过 100% 1 2 3 4 5 6 kubectl top node NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% master-1 995m 16% 13760Mi 118% master-2 827m 13% 10672Mi 92% master-3 889m 14% 10244Mi 88% 这是由于在计算使用率时，默认使用的是可分配的资源，排除了 Kubelet 保留的部分。在 kubectl 源码中可以看到: 1 2 3 4 5 6 7 for _, n := range nodes { if !o.ShowCapacity { availableResources[n.Name] = n.Status.Allocatable } else { availableResources[n.Name] = n.Status.Capacity } } 如果需要

1. 安装 node exporter 1 2 3 wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz tar xvfz node_exporter-1.3.1.linux-amd64.tar.gz mv node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin/ 如果访问不了 GitHub，可以参考: 国内访问 GitHub 的若干方法 。 2. 配置并启动 exporter 新增 Systemd 配置 1 vim /etc/systemd/system/node_exporter.service 增加如下内容: 1 2 3 4 5 6 7 8 9 10 11 12 [Unit] Description=Node Exporter After=network.target [Service] User=root Group=root Type=simple ExecStart=/usr/local/bin/node_exporter [Install] WantedBy=multi-user.target 启动 exporter 1 2 systemctl daemon-reload systemctl start node_exporter 添加开机自启动 1 systemctl enable node_exporter 本地查看 Metric 接口 1 2

Prometheus 社区更新太快，之前写的一些文档有些过时。最近又开始关注可观测性，补齐运维方面的一些知识点。 1. 名词解释 Grafana 一个可视化工具，提供各种可视化面板，支持各种数据源，包括 Prometheus、OpenTSDB、MySQL 等。 Prometheus 一个时间序列数据库，主要

互联网的服务常依赖于成千上万的主机，而这些主机又部署在世界各地，再加上错综复杂的用户环境，要保证服务的稳定可靠，就需要对服务进行监控。监控的目的可以从这几个方面考虑：从系统维度，了解CPU、内存、硬盘使用情况；从网络监控维度，了解网络上行、