1. 使用 Query 聚合数据 如上图，Thanos Query 可以对接的组件有： Thanos Store Gateway Thanos Query Thanos Receive Prometheus，借助于 Sidecar 利用 Thanos Query 之间的级联，我们可以实现跨组件的关联查询，组建超大型的监控系统。这也意味着，每个对接的组件应该提供足够快的 Prometheus API。整个接口的响应时

1. 监控的分层 如上图，在建设监控系统时，会采用两种策略: 分层监控。IaaS、MySQL 中间件、App 层监控分开的好处是，系统之间具有高可用性、容错性。当 App 层监控无法工作时，IaaS 层监控立马就会体现出来。 长短期指标分离。短期指标用来提供给告警

监控系统的难点在于，存储大容量时序数据，提供高性能的查询能力；告警系统的难点在于，设计高效的告警引擎，实现灵活的告警升级机制。最近一直在跟踪监控告警系统，本篇主要是整理监控告警相关的一些概念、组件，调研方案。 1. 监控告警系统的组成 对于监控告警

1. 安装 node exporter 1 2 3 wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz tar xvfz node_exporter-1.3.1.linux-amd64.tar.gz mv node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin/ 如果访问不了 GitHub，可以参考: 国内访问 GitHub 的若干方法 。 2. 配置并启动 exporter 新增 Systemd 配置 1 vim /etc/systemd/system/node_exporter.service 增加如下内容: 1 2 3 4 5 6 7 8 9 10 11 12 [Unit] Description=Node Exporter After=network.target [Service] User=root Group=root Type=simple ExecStart=/usr/local/bin/node_exporter [Install] WantedBy=multi-user.target 启动 exporter 1 2 systemctl daemon-reload systemctl start node_exporter 添加开机自启动 1 systemctl enable node_exporter 本地查看 Metric 接口 1 2

Prometheus 社区更新太快，之前写的一些文档有些过时。最近又开始关注可观测性，补齐运维方面的一些知识点。 1. 名词解释 Grafana 一个可视化工具，提供各种可视化面板，支持各种数据源，包括 Prometheus、OpenTSDB、MySQL 等。 Prometheus 一个时间序列数据库，主要