Обработка логов с помощью классического пайплайна

Обработка логов с помощью классического пайплайна

Ключ-АСТРОМ может преобразовывать входящие строки логов для улучшения ясности, анализа и дальнейшей обработки на основе определяемых вами правил обработки логов. Этот подход известен как обработка логов с помощью классического пайплайна или классического пайплайна обработки логов.

Переключитесь на обработку логов с помощью OpenPipeline

Хотя классический пайплайн обработки логов всё ещё доступен для некоторых сред, рекомендуется переключиться на обработку логов с помощью OpenPipeline как на мощное решение для управления, обработки и анализа логов. Обработка логов с помощью классического пайплайна будет постепенно выведена из эксплуатации в будущем.

Обработка логов происходит по мере поступления данных логов в среду Ключ-АСТРОМ SaaS и до их записи на диск (сохранения). Устанавливая правила обработки логов, вы можете обрабатывать данные логов сразу после их поступления в Ключ-АСТРОМ. После обработки данные логов отправляются в хранилище и становятся доступными для дальнейшего анализа. Этот метод позволяет обрабатывать данные логов из всех каналов загрузки логов. Например, с помощью классического пайплайна обработки логов можно извлекать числовые значения из строк логов, превращать их в метрики на платформе Ключ-АСТРОМ и включать их в дашборды и обнаружение проблем.

Потребление DDU

Обработка логов не влияет на потребление DDU при загрузке логов.

Обработка логов с помощью классического пайплайна основана на правилах, которые содержат сопоставление и определение правила обработки.

• Сопоставление сужает доступные данные логов для выполнения этого конкретного правила.
• Правило обработки — это инструкция о том, как Ключ-АСТРОМ должен преобразовать или изменить данные логов из сопоставления.

Шаги обработки логов

Классический пайплайн обработки логов включает следующие шаги:

Диаграмма — Шаги обработки логов с помощью классического пайплайна

Правила обработки логов

Перейдите в Настройки (Ключ-АСТРОМ Classic) или Настройки Classic > Мониторинг логов > Обработка, чтобы просмотреть действующие правила обработки логов, изменить порядок существующих правил и создать новые правила. Правила выполняются в порядке их перечисления сверху вниз. Этот порядок критичен, поскольку предыдущее правило может влиять на данные логов, которые последующее правило использует в своём определении. Все правила обработки, соответствующие записи лога, применяются сверху вниз. Выходные данные одного правила являются входными для следующего. Разверните Подробности, чтобы изучить определение правила. Правило обработки логов состоит из следующего:

• Имя правила
• Сопоставление
• Определение правила

Вы можете включить или отключить любое правило в столбце Активно.

Встроенные правила

По умолчанию обработка логов с помощью классического пайплайна включает множество включённых встроенных правил, отвечающих за очистку или нормализацию данных логов. Имя каждого встроенного правила начинается с [Встроенное]. Вы не можете изменять эти правила напрямую, но можете отключать их, копировать их определения и создавать новые правила с вашими изменениями.

Добавление правила обработки логов

Чтобы создать правило обработки логов:

1. Перейдите в Настройки (Ключ-АСТРОМ Classic) или Настройки Classic > Мониторинг логов > Обработка.
2. Выберите Добавить правило.
3. Укажите имя для правила обработки логов.
4. Укажите запрос логов в разделе Сопоставление. Поисковый запрос логов сужает доступные данные логов для выполнения этого конкретного правила. Добавьте Сопоставление к вашему правилу, вставив ваш запрос DQL, специфичный для сопоставления.

Сопоставление на основе предыдущих правил не поддерживается

Сопоставление работает с исходным набором данных до применения каких-либо правил обработки. Сопоставление записей, изменённых предыдущими правилами, не поддерживается. Например, изменённое поле в правиле 1 и используемое для сопоставления в правиле 2 будет содержать исходное значение для этого поля и не будет использовать изменённое поле из правила 1.

1. Укажите определение правила обработки. Определение правила обработки — это инструкция о том, как Ключ-АСТРОМ должен преобразовать или изменить ваши данные логов. Определение правила создаётся с использованием команд обработки логов, функций и сопоставления с образцом (Язык шаблонов Ключ-АСТРОМ), что позволяет добавлять, преобразовывать или удалять входящие записи логов. Это даёт вам полный контроль над тем, как ваши данные логов представляются мониторингу логов Ключ-АСТРОМ.
2. Протестируйте правило обработки логов. Предоставьте образец лога. Вы можете протестировать определение правила, вручную введя фрагмент образца лога в текстовое поле Вставить образец лога / JSON. Убедитесь, что он в формате JSON. Любые текстовые данные логов следует вставлять в поле content объекта JSON.
3. Запустите тест. Выберите Тестировать правило и просмотрите результат в текстовом поле Результат теста.
4. Выберите Сохранить изменения.