Метрики логов

Ключ-АСТРОМ Log Monitoring дает вам возможность не только просматривать и анализировать логи, но и создавать метрики на основе данных логов и использовать их в Ключ-АСТРОМ, как и любую другую метрику. Вы можете добавлять их на свою панель мониторинга, включать в анализ и даже создавать пользовательские оповещения.

Ценообразование по метрике логов основано на модели единиц данных ИИ (DDU). Проверьте DDU для метрик , чтобы узнать, как можно оценить и отслеживать потребление DDU для метрик логов.

В зависимости от параметров, выбранных вами при создании метрики логов, новое значение метрики может представлять:

• Появление записей логов (доступно в Ключ-АСТРОМ версии 1.206+) Значение метрики будет представлять собой количество появлений записей логов, соответствующих запросу.
• Значение атрибута (доступно в Ключ-АСТРОМ версии 1.229+) Значение метрики может представлять одну из агрегаций, которые можно указать в обозревателе данных .

Когда Ключ-АСТРОМ принимает данные логов, он применяет определенный запрос к данным логов и, в зависимости от вашего выбора показателя логов Measure , значение метрики будет представлять собой либо количество записей логов, соответствующих запросу, либо одно из следующих значений для указанного атрибута: Average, Count, Maximum, Minimum, Sum, Median, Percentile 10th, Percentile 75th, или Percentile 90th. Указанный атрибут должен иметь числовой тип. Ключ-АСТРОМ попытается преобразовать атрибуты строкового типа в числа, если они соответствуют следующему шаблону:

123

123.

123.456

.456

-.456

+.456

+123.456

-123.456

123.4e+5

-123.4E-5

1234e+5

1234e5

Атрибуты, содержащие более одного значения, не преобразуются в метрики на основе атрибутов.

Создание метрики логов

Все метрики, основанные на запросе мониторинга логов, имеют ключ метрики с log. префиксом.

▶ Доступность метрики логов в Ключ-АСТРОМ

Созданная метрика логов доступна только тогда, когда новые данные логов принимаются и соответствуют запросу логов, определенному во время создания метрики логов. Убедитесь, что новые данные логов приняты, прежде чем использовать метрику логов в других областях Ключ-АСТРОМ.

Диапазон временной метки для приема данных, используемых при создании метрики, составляет от 1 часа в прошлом до 10 минут в будущем. Если временная метка не указана, используется текущая временная метка сервера.

Существует два способа создания метрики на основе данных логов:

Создать метрику с использованием настроек

1. Перейдите в Настройки > Мониторинг логов > Извлечение метрик и выберите Добавить метрику логов .
2. В поле Key добавьте имя метрики к log. ключу метрики.
3. В Query введите запрос Log Monitoring для фильтрации данных логов для вашей метрики.
   ▶ Переход на Grail
   Если вы перешли на Ключ-АСТРОМ Grail , вы можете начать использовать функции DQL в запросах Log Monitoring. Подробности см. в разделе Обработка логов.
4. Выберите вариант:
   • Появление записей логов — количество появлений записей логов, соответствующих запросу.
   • Значение атрибута — набор мер для значения атрибута записей логов, соответствующих запросу. Если вы выбираете эту опцию, вам также необходимо установить Attribute для атрибута, значения которого будут измеряться.
5. необязательный Выберите Добавить измерение один или несколько раз, чтобы добавить измерения для результата вашего запроса. Добавление измерений позволяет разделить вхождения метрики логов по определенному атрибуту данных логов. Если атрибут содержит более одного значения, первое значение атрибута будет действовать как измерение метрики. Подробнее см. в разделе Просмотрщик логов .
6. Выберите Сохранить изменения , чтобы создать метрику логов.

Создать метрику с помощью средства просмотра логов

1. Перейдите в раздел «логи» или «логи и события» (последняя версия Ключ-АСТРОМ).
2. Создайте запрос на просмотр логов или используйте доступные атрибуты просмотра логов для извлечения интересующих вас данных логов. Подробности см. в разделе Просмотр логов .

▶ Расширенный запрос

В расширенном режиме можно указать более сложные критерии для событий логов, используя комбинации ключевых слов, фраз, логических операторов и скобок. Если вы используете расширенный запрос и вручную изменяете запрос, выберите Выполнить запрос , чтобы обновить таблицу результатов.

1. Выберите Создать метрику . Ваш запрос на просмотр логов теперь отображается на странице Метрики логов .
2. При желании добавьте измерения для результата вашего запроса. Добавление измерений позволяет разделить вхождения метрики логов в соответствии с определенным атрибутом данных логов. Подробности см. в разделе Просмотрщик логов .
3. Добавьте имя метрики к ключу метрики log.и сохраните изменения, чтобы создать метрику логов.

Ограничения по уникальным размерам

Если вы создаете метрики с высокой кардинальностью (множество уникальных измерений), вы можете достичь предела кардинальности вашей среды . Чтобы смягчить эти ограничения, вы можете:

2023-06-15T13:02:56Z localhost haproxy[12528]: 10.10.10.10:48064 http-in~ local/local0 3605/0/0/61/3666 HTTP_STATUS 200 138 - - ---- 7416/7413/400/401/0 0/0 {574|||domain.com} {|} "POST /communication HTTP/1.1"

• Сузьте запрос, чтобы уменьшить количество логов в метрике.
• Уменьшите кардинальность ваших измерений.
• Отключить метрику, которая превышает лимит. Рекомендуется сначала добавить больше фильтров, чтобы уменьшить количество уникальных измерений.

Создание метрик из удаленных логов

логи часто содержат ценные метрические данные, но вы можете не захотеть хранить исходные данные логов. Чтобы получить метрические данные из логов и удалить исходные данные логов, вы можете создать метрику из удаленных логов. Например, рассмотрим следующее содержимое логов:

Возможно, вас интересует только общее время активного сеанса от HAPproxy, и вы хотели бы удалить остальные данные логов.

Чтобы сделать это

1. Прием данных логов через OneAgent и API.
   • Прием логов через OneAgent
   • Общий прием логов
2. Извлеките метрику из полученных данных логов.
   • Обработка логов
3. Создайте метрику логов.
   • Метрики логов

Редактирование метрики логов

Чтобы просмотреть, включить, отключить, удалить или изменить метрики, созданные на основе данных логов, перейдите в раздел Настройки > Мониторинг логов > Извлечение метрик .

Редактирование ключа метрики приведет к созданию новой метрики. В результате исторические данные будут доступны только со старым ключом метрики.

Пример

В этом примере мы создаем и отображаем на графике метрику логов, сохраняем ее на панели мониторинга и создаем оповещение.

1. Перейдите в раздел «логи» или «логи и события» (последняя версия Ключ-АСТРОМ), чтобы отобразить средство просмотра логов.
2. Создайте запрос, который фильтрует интересующие вас данные. В этом примере, чтобы отфильтровать все записи логов для error, введите этот запрос:status="error"
3. Выберите Создать метрику . Отобразится страница Метрики логов с запросом , настроенным на ваш запрос.
4. Введите ключ метрики (уникальное имя метрики). По умолчанию каждый ключ метрики начинается с log.префикса. Все метрики логов, основанные на логовх, должны иметь ключ, начинающийся с этого префикса. Для этого примера установите ключ на: log.error_PGI
5. Выберите Добавить измерение , а затем выберите dt.entityprocess_group_instance измерение из списка.
   ▶ Если вы сохранили метрику, не добавляя измерение, Ключ-АСТРОМ будет подсчитывать ошибки глобально. Но в этом примере мы хотим увидеть, как статус ошибки распределяется по экземплярам группы процессов. Добавление измерения dt.entityprocess_group_instance заставит Ключ-АСТРОМ подсчитывать количество статусов ошибки для каждого экземпляра группы процессов. Это позволяет вам точно увидеть, где возник статус ошибки, и создать оповещение для определенного измерения.
6. Сохраните изменения .

Теперь, когда вы определили метрику, вы можете построить ее график, закрепить на панели мониторинга и даже создать на ее основе оповещение.

• Диаграмма: Перейдите в Визуализация Метрик , установите для параметра Select metric… значение log.error_PGIи выберите Run query .
• Дашборд: После создания диаграммы выберите Закрепить на дашборде, чтобы добавить диаграмму на одну из ваших классических дашбордов.
• Оповещение: перейдите в Настройки > Обнаружение аномалий > События метрики , выберите Добавить событие метрики и создайте пользовательское событие на основе log.error_PGI.