Обработка логов с помощью OpenPipeline: различия между версиями

Материал из Документация Ключ-АСТРОМ
← Предыдущая правка
ВизуальныйВики-текст
Нет описания правки
 
Строка 14: Строка 14:
'''OpenPipeline''' обеспечивает следующие преимущества:
'''OpenPipeline''' обеспечивает следующие преимущества:


* '''Контекстное преобразование данных''': '''OpenPipeline''' извлекает данные вместе с контекстом и преобразует их в более эффективные форматы, например, преобразует логи в бизнес-события.
* '''Контекстное преобразование данных''': '''OpenPipeline''' извлекает данные вместе с контекстом и преобразует их в более эффективные форматы.
* '''Унифицированный язык обработки''': в качестве языка обработки используется [[Язык запросов Ключ-АСТРОМ|'''DQL''', предлагающий единый синтаксис для всех функций Ключ-АСТРОМ и более расширенные возможности обработки.]]
* '''Унифицированный язык обработки''': в качестве языка обработки используется [[Язык запросов Ключ-АСТРОМ|'''DQL''', предлагающий единый синтаксис для всех функций Ключ-АСТРОМ и более расширенные возможности обработки.]]
* '''Концепции конвейеров''': Трафик приема логов можно разделить на разные конвейеры с выделенной обработкой, извлечением данных и метрик, разрешениями и хранением.
* '''Концепции конвейеров''': Трафик приема логов можно разделить на разные конвейеры с выделенной обработкой, извлечением данных и метрик, разрешениями и хранением.
* '''Дополнительные процессоры''': вы можете использовать дополнительные процессоры, такие как <code>fieldsAdd</code>, <code>fieldsRemove</code>, и другие. Полный список см. в разделе [[Обработка OpenPipeline]].
* '''Дополнительные процессоры''': вы можете использовать дополнительные процессоры, такие как <code>fieldsAdd</code>, <code>fieldsRemove</code>, и другие. Полный список см. в разделе [[Обработка OpenPipeline]].
* '''Расширенные возможности извлечения данных''': извлекайте бизнес-события из логов с помощью дополнительных возможностей извлечения данных.
* '''Расширенные возможности извлечения данных''': извлекайте события из логов с помощью дополнительных возможностей извлечения данных.
* '''Расширенные лимиты''': воспользуйтесь расширенными [[Ограничения по умолчанию для управления логами и аналитики|лимитами]] по умолчанию, включая размер контента до 524 288 байт, размер атрибутов до 2500 байт и до 250 атрибутов логов.
* '''Расширенные лимиты''': воспользуйтесь расширенными [[Ограничения по умолчанию для управления логами и аналитики|лимитами]] по умолчанию, включая размер контента до 524 288 байт, размер атрибутов до 2500 байт и до 250 атрибутов логов.
* Улучшенная производительность и более высокая пропускная способность.
* Улучшенная производительность и более высокая пропускная способность.
Строка 44: Строка 44:
* Удалить запись
* Удалить запись
|Все совпадения
|Все совпадения
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup> , Бизнес-события, Диапазоны<sup>1 2</sup>, Метрики<sup>3</sup>
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup> , Диапазоны<sup>1 2</sup>, Метрики<sup>3</sup>
|-
|-
|Извлечение метрических данных
|Извлечение метрических данных
Строка 54: Строка 54:
* Метрика значения
* Метрика значения
|Все совпадения
|Все совпадения
|Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup>, Бизнес-события, Системные события, Промежутки<sup>1 4</sup>, События пользователей, Сеансы пользователей
|Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup>, Системные события, Промежутки<sup>1 4</sup>, События пользователей, Сеансы пользователей
|-
|-
|Извлечение данных
|Извлечение данных
Строка 62: Строка 62:
|
|
* События ИИ
* События ИИ
* Бизнес-события
|Все совпадения
|Все совпадения
|Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup>, Бизнес-события, Системные события, Промежутки<sup>1</sup>
|Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup>, Системные события, Промежутки<sup>1</sup>
|-
|-
|Разрешения
|Разрешения
Строка 73: Строка 72:
* Установка dt.security_context
* Установка dt.security_context
|Только первое совпадение
|Только первое совпадение
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup>, Бизнес-события, Промежутки<sup>1</sup>, Метрики<sup>3</sup>, События пользователей, Сеансы пользователей
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup>, Промежутки<sup>1</sup>, Метрики<sup>3</sup>, События пользователей, Сеансы пользователей
|-
|-
|Хранилище
|Хранилище
Строка 83: Строка 82:
* Без назначения хранения
* Без назначения хранения
|Только первое совпадение
|Только первое совпадение
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup>, Бизнес-события, Промежутки<sup>1</sup>
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)<sup>1</sup>, Промежутки<sup>1</sup>
|}
|}
<sup>1</sup> Данные остаются в исходном, структурированном виде. Это важно для детального анализа и устранения неполадок, поскольку гарантирует отсутствие потери или изменения информации.
<sup>1</sup> Данные остаются в исходном, структурированном виде. Это важно для детального анализа и устранения неполадок, поскольку гарантирует отсутствие потери или изменения информации.
Строка 93: Строка 92:
<sup>4</sup> Выборку интервалов можно выполнять с помощью ЕдиногоАгента и OpenTelemetry, однако выборка и агрегация не включаются автоматически в этап извлечения метрик.
<sup>4</sup> Выборку интервалов можно выполнять с помощью ЕдиногоАгента и OpenTelemetry, однако выборка и агрегация не включаются автоматически в этап извлечения метрик.


Условия конвейера обработки логов и бизнес-событий включены во встроенные конвейеры '''OpenPipeline'''. Обработка основана на доступных записях и не учитывает обогащение записей внешними сервисами.
Условия конвейера обработки логов включены во встроенные конвейеры '''OpenPipeline'''. Обработка основана на доступных записях и не учитывает обогащение записей внешними сервисами.
{| class="wikitable"
{| class="wikitable"
|Если вы определили новые конвейеры и ваши логи направляются на них с помощью определения динамического маршрута, они не будут обрабатываться классическим конвейером. Если логи не направляются ни на один из новых определённых конвейеров, они будут обрабатываться классическим конвейером.
|Если вы определили новые конвейеры и ваши логи направляются на них с помощью определения динамического маршрута, они не будут обрабатываться классическим конвейером. Если логи не направляются ни на один из новых определённых конвейеров, они будут обрабатываться классическим конвейером.

Текущая версия от 17:42, 21 октября 2026

Ключ-АСТРОМ версии 1.295+

OpenPipeline — это решение Ключ-АСТРОМ для обработки данных логов из различных источников. Оно обеспечивает лёгкую обработку данных любого масштаба и формата на платформе Ключ-АСТРОМ. Использование OpenPipeline при обработке логов в Ключ-АСТРОМ — это мощное решение для управления, обработки и анализа логов. Этот подход сочетает традиционные возможности обработки логов с расширенными функциями OpenPipeline для обработки данных, обеспечивая более глубокое понимание данных логов.

Для кого это?

Эта статья предназначена для администраторов и пользователей приложения.

Чему вы научитесь

В этой статье вы научитесь обрабатывать логи для улучшения наблюдаемости, включая фильтрацию, обогащение и маршрутизацию.

Прежде чем начать

Преимущества

OpenPipeline обеспечивает следующие преимущества:

  • Контекстное преобразование данных: OpenPipeline извлекает данные вместе с контекстом и преобразует их в более эффективные форматы.
  • Унифицированный язык обработки: в качестве языка обработки используется DQL, предлагающий единый синтаксис для всех функций Ключ-АСТРОМ и более расширенные возможности обработки.
  • Концепции конвейеров: Трафик приема логов можно разделить на разные конвейеры с выделенной обработкой, извлечением данных и метрик, разрешениями и хранением.
  • Дополнительные процессоры: вы можете использовать дополнительные процессоры, такие как fieldsAdd, fieldsRemove, и другие. Полный список см. в разделе Обработка OpenPipeline.
  • Расширенные возможности извлечения данных: извлекайте события из логов с помощью дополнительных возможностей извлечения данных.
  • Расширенные лимиты: воспользуйтесь расширенными лимитами по умолчанию, включая размер контента до 524 288 байт, размер атрибутов до 2500 байт и до 250 атрибутов логов.
  • Улучшенная производительность и более высокая пропускная способность.

Этапы обработки логов

Этапы обработки логов с помощью OpenPipeline следующие:

Этап Описание Процессы на данном этапе Выполненные процессы Поддерживаемые типы данных
Обработка Подготовка данных к анализу и хранению осуществляется путём разбора значений по полям, преобразования схемы и фильтрации записей данных. Поля редактируются, а конфиденциальные данные маскируются.


  • DQL
  • Добавить поля
  • Удалить поля
  • Переименовать поля
  • Удалить запись
 Все совпадения Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1 , Диапазоны1 2, Метрики3
Извлечение метрических данных Извлечь метрики из записей, соответствующих запросу.


  • Метрика счетчика
  • Метрика значения
 Все совпадения Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Системные события, Промежутки1 4, События пользователей, Сеансы пользователей
Извлечение данных Извлеките новую запись из конвейера и повторно вставьте ее как другой тип данных в другой конвейер.


  • События ИИ
 Все совпадения Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Системные события, Промежутки1
Разрешения Применить контекст безопасности к записям, соответствующим запросу.


  • Установка dt.security_context
 Только первое совпадение Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Промежутки1, Метрики3, События пользователей, Сеансы пользователей
Хранилище Распределите записи по наиболее подходящим контейнерам.


  • Назначение контейнера
  • Без назначения хранения
 Только первое совпадение Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Промежутки1

1 Данные остаются в исходном, структурированном виде. Это важно для детального анализа и устранения неполадок, поскольку гарантирует отсутствие потери или изменения информации.

2 Обработка диапазонов ограничена процессорами «Удалить поля» и «Удалить записи» в соответствии с ограничениями полей для диапазонов.

3 Определенные поля метрик исключены из сопоставления и обработки. Подробнее см. в разделе Ограничения OpenPipeline.

4 Выборку интервалов можно выполнять с помощью ЕдиногоАгента и OpenTelemetry, однако выборка и агрегация не включаются автоматически в этап извлечения метрик.

Условия конвейера обработки логов включены во встроенные конвейеры OpenPipeline. Обработка основана на доступных записях и не учитывает обогащение записей внешними сервисами.

Если вы определили новые конвейеры и ваши логи направляются на них с помощью определения динамического маршрута, они не будут обрабатываться классическим конвейером. Если логи не направляются ни на один из новых определённых конвейеров, они будут обрабатываться классическим конвейером.

Включить встроенные правила для OpenPipeline

OpenPipeline предоставляет встроенные правила для распространенных технологий и форматов логов, которые можно включить вручную.

Для обработки логов необходимо включить динамическую маршрутизацию. Подробнее о том, как её включить, см. в разделе Данные маршрутизации.

Чтобы включить их, выполните следующие действия:

  1. Перейдите в Настройки > Обработка и контекстуализация > OpenPipeline > Логи.
  2. Выберите вкладку Конвейеры и выберите + Конвейер, чтобы добавить новую запись.
  3. Введите название.
  4. Выберите + Процесс на вкладке Обработка и выберите Пакет технологий.
  5. Выберите технологию, для которой вы хотите включить встроенное правило OpenPipeline.
  6. Выберите Запустить образец данных, чтобы протестировать его и просмотреть результат.
  7. Выберите Сохранить.

Добавить пользовательское правило

Чтобы создать новое правило, выполните следующие действия:

  1. Перейдите в Настройки > Обработка и контекстуализация > OpenPipeline > Логи.
  2. Выберите вкладку Конвейеры и выберите + Конвейер, чтобы добавить новую запись.
  3. Введите название.
  4. Выберите одну из вкладок, представляющих этапы обработки логов: Обработка, Извлечение метрики, Извлечение данных, Разрешение или Хранение .
  5. Выберите + Процесс и выберите один из доступных процессоров.
  6. Выберите технологию, для которой вы хотите включить правило OpenPipeline, и укажите определение правила обработки. Определение правила обработки представляет собой инструкцию по обработке логов, описывающую, как Ключ-АСТРОМ должен преобразовывать или изменять данные логов.
  7. Проверьте определение правила, вручную добавив фрагмент примера лога в текстовое поле Вставить пример лога / JSON. Убедитесь, что он имеет формат JSON. Все текстовые данные логов следует вставлять в content поле JSON.
  8. Выберите Запустить образец данных, чтобы протестировать образец JSON, и просмотрите результат.
  9. Выберите Сохранить.

Вы можете просмотреть или отредактировать любой конвейер, выбрав запись и внеся необходимые изменения.

Если вы еще не перешли на OpenPipeline или если вы используете Ключ-АСТРОМ версии 1.293 и более ранних, см. Обработка логов.
Источник — https://doc.ruscomtech.ru/index.php?title=Обработка_логов_с_помощью_OpenPipeline&oldid=7148