Я бы двигался так.
Шаг 1
No data или Error?
Шаг 2
data source доступен?
Шаг 3
query работает в Explore?
Шаг 4
правильный time range?
Шаг 5
правильные labels / filters?
Шаг 6
переменные подставляются правильно?
Шаг 7
данные реально существуют в data source?
Шаг 8
source / exporter / target продолжает их отправлять?
Шаг 9
transformations не удаляют результат?
Шаг 10
visualization умеет отображать полученную форму данных?
Так область поиска постепенно сужается.
29. Рассмотрим короткий кейс
Dashboard:
CPU Usage → No data
Data source:
Prometheus → reachable
В Explore:
up
данные есть.
Query панели:
rate(
node_cpu_seconds_total{
instance=~"$server",
mode!="idle"
}[5m]
)Переменная:
$server = web01
Но реальный label:
instance="web01.example.ru:9100"
Итоговый query:
не находит ни одной series
Причина: значение dashboard variable больше не соответствует labels Prometheus после изменения naming scheme.
30. Что здесь было бы плохой диагностикой
Например:
перезапустить Grafana
или:
переустановить plugin
или:
перезапустить Prometheus
без каких-либо подтверждений. В нашем сценарии каждый компонент исправен. Проблема существует только на уровне:
dashboard variable
↓
query filter
↓
labels31. Хорошая диагностика строится по направлению данных
Вместо:
Grafana показывает No data
↓
чинить Grafanaдвигаемся:
Panel ↓ Query ↓ Data source ↓ Stored data ↓ Collection ↓ Source
И задаём на каждом этапе один вопрос:
До какого места данные гарантированно доходят?
32. Если в Explore данные есть
Тогда двигаемся вверх:
Explore → OK
↓
panel query?
↓
variables?
↓
transformations?
↓
visualization?33. Если в Explore данных нет
Двигаемся вниз:
query? ↓ data source? ↓ storage? ↓ collector / exporter? ↓ target? ↓ source application?
Это очень простое разделение, но оно резко уменьшает число случайных гипотез.
Главное
Grafana показывает No data
≠
Grafana потеряла данныеВозможная причина может находиться почти на любом уровне:
panel variables query time range labels data source storage collector network source
Поэтому начинать лучше не с перезапуска компонентов. А с вопроса:
Что именно вернул запрос?
Затем:
Есть ли нужные данные непосредственно в источнике?
И только после этого двигаться по цепочке дальше.
Потому что No data — это не диагноз.
Это всего лишь визуальный симптом того, что текущая панель не получила подходящего набора данных.
Нужно настроить Grafana или разобраться, почему dashboard перестал показывать данные?
Выполняю настройку и диагностику Grafana, источников данных и связанной инфраструктуры мониторинга. Услуги на Kwork: https://kwork.ru/user/borib
#Разбор #Grafana #Monitoring #Observability #Troubleshooting #ПоФактам