Назначение метрик пользовательскому бакету

Назначение метрик пользовательскому бакету

OpenPipeline позволяет направлять данные метрик в пользовательские бакеты для управления сроком хранения, оптимизации производительности запросов и организации данных в соответствии с требованиями вашей команды или варианта использования.

Предварительные требования

• У вас есть разрешения на управление пользовательскими бакетами.
• У вас есть необходимые разрешения для настройки OpenPipeline. Например, разрешения, предоставляемые политикой по умолчанию: Обработка и хранение данных.
• Вы знакомы с концепциями OpenPipeline, включая конфигурационные области, пайплайны и маршрутизацию.

Шаги

1. Создайте пользовательский бакет

Создайте бакет, в который будут направляться ваши данные метрик.

• Перейдите в Настройки > Управление хранилищем > Управление хранилищем бакетов.
• Выберите + Бакет.
• Введите имя бакета и отображаемое имя.
• Установите Срок хранения в днях (от 10 до 3650).
• В раскрывающемся списке Тип таблицы бакета выберите metrics.
• Необязательно: включите Хранение с включёнными запросами и задайте срок хранения включённых запросов. Подробнее см. раздел Контроль затрат на запросы логов с помощью хранения с включёнными запросами.
• Выберите Создать.
• Выберите Обновить, чтобы обновить список бакетов.

2. Настройте пайплайн для метрик

Настройте пайплайн в OpenPipeline, который будет обрабатывать метрики и назначать их бакету.

• Перейдите в Настройки > Обработка и контекстуализация > OpenPipeline > Метрики > Пайплайны.
• Выберите существующий пайплайн или создайте новый, нажав + Пайплайн.
• Присвойте пайплайну описательное имя, например Назначение метрик.

3. Настройте назначение бакета

Добавьте процессор назначения бакета, чтобы направлять соответствующие метрики в созданный бакет.

• В настройках пайплайна перейдите на вкладку Хранилище.
• Выберите + Процессор > Назначение бакета.
• Введите Имя процессора, например Метрики в бакет.
• Установите Условие сопоставления, которое идентифицирует метрики для назначения. Например:

matchesValue(metric.key, "my.custom.metric")

• В раскрывающемся списке Хранилище выберите созданный вами бакет.
• Выберите Сохранить.

4. Настройте динамическую маршрутизацию (необязательно)

Если вы хотите, чтобы только определённые метрики направлялись в этот пайплайн, настройте динамический маршрут.

• Перейдите на вкладку Динамическая маршрутизация.
• Выберите + Динамический маршрут.
• Введите Имя маршрута, например Метрики в бакет.
• Установите Условие сопоставления, например:

matchesValue(metric.key, "my.custom.metric")

• Выберите пайплайн, созданный на шаге 2.
• Выберите Добавить.
• Выберите Сохранить.

Поля, которые вычисляются или добавляются на этапе «Обработка», не могут использоваться в условиях сопоставления динамических маршрутов, поскольку маршрутизация оценивается до «Обработки». Это включает поля, добавленные самой платформой, такие как dt.entity.service. Полный список полей с этим ограничением см. в разделе «Поля с ограничениями для всех областей конфигурации».

5. Проверьте загрузку

Чтобы убедиться, что метрики поступают в правильный бакет, выполните запрос DQL:

timeseries avg(my.custom.metric), by:{dt.system.bucket}

В результатах вы должны увидеть имя вашего пользовательского бакета в измерении dt.system.bucket.

Ограничения

• Назначение бакетов не применяется к данным, загруженным до активации правил. Правила применяются только к данным, загруженным после вступления правил в силу.
• Каждая запись метрики назначается ровно одному бакету во время загрузки.
• Для одной конфигурационной области можно создать до 80 бакетов. Лимит можно увеличить, обратившись в службу поддержки Ключ-АСТРОМ.