Сбор и визуализация метрик с помощью Prometheus и Grafana

В предыдущем уроке мы обсудили концепцию наблюдаемости и её составляющие — мониторинг и логирование. А теперь посмотрим, как это можно реализовать на примере RED-метода — наиболее распространённого метода для распределённых приложений.
Показатели RED (Rate, Errors, Duration) обычно используются для мониторинга HTTP-трафика, а ещё они могут дать ценную информацию о производительности операций ввода-вывода (например, базы данных, вызовов внешних сервисов).
Это простой и универсальный способ ответить на фундаментальные вопросы о компонентах системы: насколько велик трафик, достигающий компонента, или сколько ошибок он возвращает и сколько времени занимают запросы. Всё это помогает быстро реагировать на нестандартную ситуацию с приложением и улучшать качество и сервиса, и пользовательского опыта.
В этом уроке вы узнаете, как:
  • настроить инструмент Prometheus для сбора показателей,
  • собрать RED-метрики для запросов сервиса и вызовов Redis,
  • настроить Grafana для визуализации показателей Prometheus.

Prometheus

Для реализации RED-метода может использоваться Prometheus. Этот инструмент позволяет собирать, хранить и анализировать метрики, визуализировать и создавать предупреждения.
✏️ Prometheus — это система мониторинга и оповещения с открытым исходным кодом, созданная на языке программирования Golang. Проект был разработан компанией SoundCloud, но сейчас его поддерживает независимое сообщество разработчиков.
Схематично Prometheus будет выглядеть так:
  • HTTP-сервер для обработки вызовов API;
  • Time-Series база данных (TSDB), многомерная база данных временных рядов;
  • Компонент, который собирает метрики с агентов по модели pull (запрашивает метрики) — retrieval;
  • Агенты-экспортёры, которые выполняются непосредственно на конкретных сервисах, собирая метрики в определённом формате.
Prometheus не предназначен для хранения необработанных данных, таких как текстовая информация, — он работает только с агрегированными метриками.

Модель «ключ — значение»

Prometheus использует модель данных на основе пар «ключ — значение». Ключ здесь описывает, какую метрику мы измеряем, а значение хранит число, которое отражает измеренную величину за определённый период времени.
Ключ — это сама метрика (к примеру, скорость процессора или объём памяти). Но если нужна дополнительная информация, используются ярлыки. Они помогают добавить детали — можно измерять не просто скорость процессора, а скорость конкретного ядра по определённому IP-адресу.
Вот так выглядит описание метрики:

BASH

#Формат метрик

metric_name{label1=<label1>, ..., labelN=<labelN>} metric_value
up{instance="localhost:8000", job="sample"} 1 #sample поднялся
Представьте, что ваша задача — отследить количество HTTP-запросов на ваш сервер. Основная метрика http_requests_total покажет вам только одно общее число запросов. Чтобы получить больше деталей и контекста, к метрикам добавляют метки — специальные дополнительные поля.
Если добавить метки (например, method="GET" и status="200"), вы сможете узнать, сколько именно успешных GET-запросов было выполнено. Это делает метрики более гибкими и полезными для более детального анализа.
Например, метрика использования оперативной памяти ram может быть разделена, в свою очередь, метками по ядрам и ip-адресам, что уберёт необходимость создавать метрики типа ram_1_ip.
Можно определять свои метки, но две метки будут доступны по умолчанию в каждой метрике — instance и job. Когда Prometheus забирает данные, он ещё проставляет временную метку timestamp (UNIX).

Сергей

Что может Prometheus?

У Prometheus много клиентских библиотек под основные языки программирования, поэтому встроить его в своё приложение достаточно просто.
Prometheus обладает относительно широкими возможностями алёртинга, собственным языком запросов PromQL, а также базовыми средствами визуализации данных. Но более удобным инструментом для этого является Grafana, которую мы рассмотрим чуть позже в уроке.

Показатели Prometheus

У Prometheus четыре различных типа показателей:
  • Счётчик  Подсчитывает количество происходящих событий (может только увеличиваться), например общее количество запросов.
  • Индикатор  Показывает текущее значение переменной X (может меняться со временем), например количество активных запросов.
  • Гистограмма  Группирует наблюдения в отдельные сегменты, например время ответа на запрос менее одной секунды.
  • Сводка  Похожа на гистограмму, но показывает, какой процент наблюдений ниже заданного значения.

Задание 1

В системе мониторинга Prometheus собрана следующая информация: метрика cpu_usage, метка id="123", значение метрики value=2, время измерения timestamp="2024-08-22T12:00:00Z". Какой элемент данных является ключом в модели «ключ — значение»? Выберите один правильный ответ.

Развёртывание Prometheus

Чтобы развернуть у себя Prometheus, воспользуйтесь docker, простым приложением на Python, и затем настройте Grafana для RED-метрик.
  • Шаг 1. Для начала сделайте docker-compose.

    BASH

    version: "3"

services:
  prometheus:
    image: prom/prometheus
    ports:
      - target: 9090
        published: 9090
    volumes:
      - type: bind
        source: ./prometheus.yml
        target: /etc/prometheus/prometheus.yml
  • Шаг 2. Создайте файл с конфигурацией prometheus.yml.

    BASH

    global:
  scrape_interval: 15s
scrape_configs:
  - job_name: "prometheus"
    scrape_interval: 5s
    static_configs:
      - targets: ["localhost:9090"]
    Раздел scrape_configs определяет список сервисов для извлечения метрик. Вначале единственным источником метрик будет сервер Prometheus.
  • Шаг 3. Запускайте.

    BASH

    docker-compose up -d
    По адресу http://localhost:9090/metrics можно получить список метрик (пока только Prometheus):
    Если перейти на вкладку targets http://localhost:9090/targets?search=, то можно увидеть источник метрик:
  • Шаг 4. Теперь добавьте небольшое приложение для метрик. Для этого скачайте готовое, написанное на Python: https://github.com/db-exp/monitoring/tree/main/app.
  • Шаг 5. Добавьте в docker-compose это приложение на Python.

    YAML

      app:
    image: sample-app
    build:
      context: app
      dockerfile: ./Dockerfile
    ports:
      - target: 8000
        published: 8080
  • Шаг 6. Добавьте также в блок настроек scrape в prometheus.yml приложение.

    YAML

    global:
  scrape_interval: 15s
scrape_configs:
  - job_name: "prometheus"
    scrape_interval: 5s
    static_configs:
      - targets: ["localhost:9090"]
  - job_name: "app"
    scrape_interval: 10s
    static_configs:
      - targets: ["app:8000"]
  • Шаг 7. Удалите контейнеры и поднимите их заново.

    YAML

    docker-compose down 
docker-compose up -d
    По адресу http://locahost:8080/metrics можно получить метрики:
    А в Prometheus в разделе Targets http://localhost:9090/targets?search= вы увидите новый сервис app:

Сергей

Что мы в итоге сделали?

Вы добавили немного синтетических метрик в приложение, чтобы определить:
  • количество запросов,
  • количество ошибок,
  • задержку.

Полный код app.py

PYTHON

import random
import time

from flask import Flask, request
from prometheus_client import Histogram, make_wsgi_app
from werkzeug import Response
from werkzeug.middleware.dispatcher import DispatcherMiddleware

app = Flask(__name__)
app.wsgi_app = DispatcherMiddleware(
    app.wsgi_app, {"/metrics": make_wsgi_app()}
)

HTTP_REQUEST_DURATION = Histogram(
    "http_request_duration",
    "Requests durations",
    ["method", "url", "code"],
    buckets=[0.01, 0.1, 0.5, 2, float("inf")],
)

def observe_http(func):
    def wrapper(*args, **kwargs):
        start = time.time()
        response = func(*args, **kwargs)
        end = time.time()
        HTTP_REQUEST_DURATION.labels(
            method=request.method,
            code=response.status_code,
            url=request.url,
        ).observe(end - start)
        return response
    return wrapper

@app.route("/")
@app.route("/health")
def check_health():
    return "I am still alive!"

@app.route("/rand_metrics")
@observe_http
def random_metric():
    random_duration = random.randint(1, 50) * 0.001
    time.sleep(random_duration) #задержка
    response_code = random.choice([200, 200, 200, 200, 200, 400, 401, 500]) #коды ответа
    return Response(str(response_code), status=response_code)
Ещё вы определили тип метрики — гистограмму, которая будет сгруппирована:
  • по method, code, url (that metric can be grouped by)
  • и по пяти измерениям:
    • < 10ms,
    • < 100ms,
    • < 500ms,
    • < 2s.

PYTHON

docker-compose build
docker-compose up -d
Вызовите http://localhost:8080/rand_metrics раз десять и убедитесь, что метрики есть:
💡 Такой способ сбора метрик может дать нам возможность в режиме реального времени отслеживать состояние серверов и приложений (например, под нагрузкой в сезон распродаж).

Задание 2

Какой из шагов является обязательным для успешного конфигурирования Prometheus для сбора метрик из нового приложения? Выберите один правильный ответ.

Grafana

Как мы и обещали, речь пойдёт об удобном инструменте для визуализации, анализа данных и нотификаций.
✏️ Grafana — инструмент с открытым исходным кодом и достаточно большим сообществом. Она не имеет собственной базы данных timeseries. Это, скорее, интерфейс к популярным источникам данных (например, Prometheus, InfluxDB, Graphite, ElasticSearch). С помощью Grafana можно создавать диаграммы и информационные панели и обмениваться ими с другими пользователями.

Основные элементы интерфейса Grafana

Интерфейс приложения лаконичен и состоит всего из двух основных элементов.
  • Панель — элемент отображения выбранных параметров. В Grafana поддерживаются различные типы панелей — с графиками, информацией о единичных статусах, таблицами, тепловыми картами кликов и произвольным текстом. Для каждой панели доступны настройки стиля и формата. А если необходимо расширить функционал программы, можно загрузить сторонние плагины.
  • Дашборд — это набор отдельных панелей, размещённых в сетке с набором переменных (например, имя сервиса). В таком виде удобно анализировать динамические данные во времени, выявлять тенденции, чтобы затем принимать решения.

Задание 3

Какие из следующих утверждений верны в отношении Grafana? Выберите все правильные ответы.

Установка Grafana

  • Шаг 1. Чтобы установить Grafana, добавьте её в docker-compose.

    YAML

     grafana:
    image: grafana/grafana
    container_name: grafana
    ports:
      - 3000:3000
    volumes:
      - grafana_data:/var/lib/grafana

    BASH

    docker-compose up -d
  • Шаг 2. Откройте `http://localhost:3000 admin/admin`. Добавьте Prometheus: Connections→ Add new connection → «Prometheus» в строке поиска.
  • Шаг 3. В настройках напишите ссылку на сервер с метриками http://prometheus:9090. Сохраните (кнопка внизу).
  • Шаг 4. Добавьте новый дашборд. И нажмите Create dashboard.
  • Шаг 5. Добавьте метрики, нажав Add visualization. Первой предлагаем визуализировать Requests.
  • Шаг 6. В самом простом варианте ничего не меняйте, кроме заполнения запроса снизу. Заполните название метрики http_request_duration_count и нажмите Run queries. Нарисуется график, дальше исправьте Title в Panel Options и нажмите Save.
  • Шаг 7. Добавьте ещё одну визуализацию Errors.
  • Шаг 8. Заполните название метрики http_request_duration_count и label = 500 (ошибочные запросы) и нажмите Run queries. Нарисуется график, дальше исправьте Title в Panel Options и нажмите Save. Проделайте то же и с Durations.
  • Шаг 9. Заполните название метрики http_request_duration_bucket, в функциях агрегации выберите Avg by (средняя) по метке le (время меньше, чем из наших синтетических метрик) и нажмите Run queries. Нарисуется график, дальше исправьте Title в Panel Options и нажмите Save. По итогу у вас получится вот такой вариант RED.
💡 Заметим, что в каждой организации может быть своя адаптация методологии и часто ошибки считаются не только по коду 500, но и по бизнес-проблемам.

Задание 4

Вы разрабатываете дашборд в Grafana для мониторинга веб-приложения, использующего несколько сервисов. Что нужно сделать, чтобы создать информативный и удобный дашборд? Выберите все правильные ответы.

Что посмотреть о Prometheus и Grafana?

Официальная документация
Google Cloud Tech Custom Metrics with Prometheus
Аня Сокол Error Budget, SLO и мониторинг: советы для начинающих SRE-инженеров
Подробная и интересная настройка алёртов в Grafana

Итоги

В этом уроке вы увидели, как с помощью пары инструментов можно отслеживать и визуализировать важную информацию о сервисе.
  • Prometheus используется для мониторинга, сбора метрик из различных сервисов и приложений и оповещения — алёртинга. Он позволяет отслеживать работу системы в реальном времени, выявлять проблемы и получать уведомления о возможных сбоях.
  • Grafana — это инструмент визуализации данных, который используется для создания дашбордов (панелей инструментов) с графиками, диаграммами.
В следующих уроках речь пойдёт об инструментах логирования.