Минимальный алгоритм диагностики

Мы разбираем инфраструктуру по фактам: Linux, Zabbix, мониторинг, диагностика и архитектура. От симптома — к проверяемому выводу: что именно доказывает метрика, какие гипотезы остаются и как подтвердить решение. Без догадок там, где можно проверить. Если нужно понимать не только что сделать, но и почему — вам сюда.

grafanaprometheusмониторинг

Я бы двигался так.

Шаг 1

No data или Error?

Шаг 2

data source доступен?

Шаг 3

query работает в Explore?

Шаг 4

правильный time range?

Шаг 5

правильные labels / filters?

Шаг 6

переменные подставляются правильно?

Шаг 7

данные реально существуют
в data source?

Шаг 8

source / exporter / target
продолжает их отправлять?

Шаг 9

transformations не удаляют результат?

Шаг 10

visualization умеет отображать
полученную форму данных?

Так область поиска постепенно сужается.

29. Рассмотрим короткий кейс

Dashboard:

CPU Usage
→ No data

Data source:

Prometheus
→ reachable

В Explore:

up

данные есть.

Query панели:

rate(
  node_cpu_seconds_total{
    instance=~"$server",
    mode!="idle"
  }[5m]
)

Переменная:

$server = web01

Но реальный label:

instance="web01.example.ru:9100"

Итоговый query:

не находит ни одной series

Причина: значение dashboard variable больше не соответствует labels Prometheus после изменения naming scheme.

30. Что здесь было бы плохой диагностикой

Например:

перезапустить Grafana

или:

переустановить plugin

или:

перезапустить Prometheus

без каких-либо подтверждений. В нашем сценарии каждый компонент исправен. Проблема существует только на уровне:

dashboard variable
        ↓
query filter
        ↓
labels

31. Хорошая диагностика строится по направлению данных

Вместо:

Grafana показывает No data
        ↓
чинить Grafana

двигаемся:

Panel
  ↓
Query
  ↓
Data source
  ↓
Stored data
  ↓
Collection
  ↓
Source

И задаём на каждом этапе один вопрос:

До какого места данные гарантированно доходят?

32. Если в Explore данные есть

Тогда двигаемся вверх:

Explore → OK
        ↓
panel query?
        ↓
variables?
        ↓
transformations?
        ↓
visualization?

33. Если в Explore данных нет

Двигаемся вниз:

query?
 ↓
data source?
 ↓
storage?
 ↓
collector / exporter?
 ↓
target?
 ↓
source application?

Это очень простое разделение, но оно резко уменьшает число случайных гипотез.

Главное

Grafana показывает No data
        ≠
Grafana потеряла данные

Возможная причина может находиться почти на любом уровне:

panel
variables
query
time range
labels
data source
storage
collector
network
source

Поэтому начинать лучше не с перезапуска компонентов. А с вопроса:

Что именно вернул запрос?

Затем:

Есть ли нужные данные непосредственно в источнике?

И только после этого двигаться по цепочке дальше. Потому что No data — это не диагноз. Это всего лишь визуальный симптом того, что текущая панель не получила подходящего набора данных.

Нужно настроить Grafana или разобраться, почему dashboard перестал показывать данные?

Выполняю настройку и диагностику Grafana, источников данных и связанной инфраструктуры мониторинга. Услуги на Kwork: https://kwork.ru/user/borib

#Разбор #Grafana #Monitoring #Observability #Troubleshooting #ПоФактам

Читайте так же