IKuznetsov в 21:30, 29 апреля 2026

2026-04-29T21:30:47Z

← Предыдущая		Версия 21:30, 29 апреля 2026
Строка 25:		Строка 25:
	=== Варианты использования ===		=== Варианты использования ===

	* Подготавливайте, преобразуйте и храните данные ~~в '''Grail'''~~.		* Подготавливайте, преобразуйте и храните данные.
	* Предоставляйте доступ к определенным записям.		* Предоставляйте доступ к определенным записям.

Строка 155:		Строка 155:
	\|-		\|-
	\|Назначение контейнера		\|Назначение контейнера
	\|Назначает контейнер ~~Grail~~.		\|Назначает контейнер.
	\|-		\|-
	\|Метрика значения		\|Метрика значения

IKuznetsov: Новая страница: «Ключ-АСТРОМ '''OpenPipeline''' может преобразовывать входящие данные для лучшего понимания, обр...»

2025-09-12T09:35:34Z

Новая страница: «Ключ-АСТРОМ '''OpenPipeline''' может преобразовывать входящие данные для лучшего понимания, обр...»

Новая страница

Ключ-АСТРОМ '''OpenPipeline''' может преобразовывать входящие данные для лучшего понимания, обработки и анализа. Обработка '''OpenPipeline''' основана на создаваемых вами правилах и предлагает гибкий способ извлечения информации из необработанных записей.

== Ключевые термины ==
{| class="wikitable"
|Источники приема
|Источник приема данных для определенного типа, сбор данных от поставщика на платформе Ключ-АСТРОМ, например, конечные точки '''API''' или ЕдиныйАгент.
|-
|Маршрутизация
|Назначение данных конвейеру на основе условий соответствия (динамическое) или прямого назначения (статическое).
|}

== Pipeline ==
После получения и маршрутизации данных обработка '''OpenPipeline''' происходит в конвейерах. Каждый конвейер содержит набор инструкций обработки (процессов), которые выполняются в упорядоченной последовательности этапов и определяют, как Ключ-АСТРОМ должен структурировать, разделять и хранить данные. После обработки запись отправляется в хранилище и становится доступной для дальнейшего анализа.

По умолчанию типы данных обрабатываются в отдельных встроенных конвейерах. Вы можете создавать новые конвейеры для группировки обработки и извлечения по технологиям или командам.
{| class="wikitable"
|Конвейеры обработки логов и бизнес-событий
Условия конвейера обработки логов и бизнес-событий включены во встроенные конвейеры '''OpenPipeline'''.
|}
{| class="wikitable"
|Обогащение записей
Обработка осуществляется на основе доступных записей и не учитывает обогащение записей внешними службами.
|}

=== Варианты использования ===

* Подготавливайте, преобразуйте и храните данные в '''Grail'''.
* Предоставляйте доступ к определенным записям.

=== Лучшие практики ===
Обработка логов '''OpenPipeline''' поддерживает только '''DQL'''. Если вы уже используете конвейер обработки логов, убедитесь, что ваши сопоставления преобразованы в '''DQL''' .

== Этап ==
Этап — это фаза в последовательности конвейера, ориентированная на выполнение определенной задачи, например, маскирования, фильтрации, обработки или извлечения. Этапы содержат предопределенный список настраиваемых процессов, которые определяют задачу этапа.

[[Файл:Image4042.png|граница]]

В следующей таблице представлен полный список этапов, упорядоченных в последовательности конвейера выполнения, с указанием того, какие процессы доступны и выполняются для каждого этапа для поддерживаемых типов данных.
{| class="wikitable"
!Этап
!Описание
!Процессы на данном этапе
!Выполненные процессы
!Поддерживаемые типы данных
|-
|Обработка
|Подготовка данных к анализу и хранению осуществляется путём разбора значений по полям, преобразования схемы и фильтрации записей данных. Поля редактируются, а конфиденциальные данные маскируются.
|
*DQL
*Добавить поля
*Удалить поля
*Переименовать поля
*Удалить запись
|Все совпадения
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1 , Бизнес-события, Диапазоны1 2, Метрики3
|-
|Извлечение метрических данных
|Извлечь метрики из записей, соответствующих запросу.
|
*Метрика счетчика
*Метрика значения
|Все совпадения
|Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Системные события, Промежутки1 4, События пользователей, Сеансы пользователей
|-
|Извлечение данных
|Извлеките новую запись из конвейера и повторно вставьте ее как другой тип данных в другой конвейер.
|
*События ИИ
*Бизнес-события
|Все совпадения
|Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Системные события, Промежутки1
|-
|Разрешения
|Применить контекст безопасности к записям, соответствующим запросу.
|
*Установка dt.security_context
|Только первое совпадение
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Промежутки1, Метрики3, События пользователей, Сеансы пользователей
|-
|Хранилище
|Распределите записи по наиболее подходящим контейнерам.
|
*Назначение контейнера
*Без назначения хранения
|Только первое совпадение
|Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Промежутки1
|-
|Распределение затрат
|Расширенная возможность назначения использования центра затрат определенным записям, соответствующим запросу.
|
* Распределение затрат DPS — Центр затрат
|Только первое совпадение
|Логи, События — Общие, События — SDLC, События — События безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Системные события, Промежутки1
|-
|Распределение продукта
|Расширенная возможность назначения использования продукта или приложения определенным записям, соответствующим запросу.
|
* Распределение затрат DPS — продукт
|Только первое совпадение
|Логи, События — Общие, События — SDLC, События — События безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Системные события, Промежутки1
|}
1 Данные остаются в исходном, структурированном виде. Это важно для детального анализа и устранения неполадок, поскольку гарантирует отсутствие потери или изменения информации.

2 Обработка диапазонов ограничена процессами «Удалить поля» и «Удалить записи» в соответствии с [[Ограничения OpenPipeline|ограничениями полей для диапазонов]].

3 Определенные поля метрик исключены из сопоставления и обработки. Подробнее см. в разделе [[Ограничения OpenPipeline]].

4 Выборку интервалов можно выполнять с помощью ЕдиногоАгента и '''OpenTelemetry''', однако выборка и агрегация не включаются автоматически в этап извлечения метрик.

== Процесс ==
Процесс — это предварительно отформатированная инструкция обработки, которая фокусируется либо на изменении (например, путем переименования или добавления нового поля), либо на извлечении данных (например, путем создания события из строки логов или извлечения показателей).

Хотя формат процесса предопределен, он содержит настраиваемое определение сопоставления и обработки.

* Матчер определяет целевой процесс с помощью '''DQL'''-запроса. Он сужает доступные данные до конкретного набора, который требуется обработать.
* Определение обработки указывает Ключ-АСТРОМ, как преобразовывать или изменять данные, отфильтрованные сопоставителем.

В следующей таблице в алфавитном порядке перечислены все доступные процессы в конвейере.
{| class="wikitable"
!Процесс
!Описание
|-
|Добавить поля
|Добавляет поля с именем и значением.
|-
|Бизнес-событие
|Извлекает поля в новую запись и отправляет ее в таблицу бизнес-событий.
|-
|Метрика счетчика
|Возвращает количество появлений метрики из записей, соответствующих запросу.
|-
|Событие ИИ
|Извлекает поля в новую запись и отправляет ее в таблицу событий.
|-
|DQL
|Обрабатывает подмножество DQL. Вывод форматируется в виде строки, числа, логического значения, длительности, временной метки и соответствующих массивов этих значений.
|-
|Распределение затрат DPS — Центр затрат
|Назначает использование центра затрат записи <code>dt.cost.costcenter</code> путем копирования значения из поля или установки его в виде статической строки.
|-
|Распределение затрат DPS — продукт
|Назначает использование продукта или приложения записи <code>dt.cost.product</code> путем копирования значения из поля или установки его в виде статической строки.
|-
|Удалить запись
|Удаляет запись. Запись не сохраняется.
|-
|Без назначения хранилища
|Пропускает назначение хранилища. Запись не сохраняется.
|-
|Удалить поля
|Удаляет поля из записи.
|-
|Переименовать поля
|Изменяет название полей.
|-
|Назначение контейнера
|Назначает контейнер Grail.
|-
|Метрика значения
|Возвращает агрегированные значения метрики из записей, соответствующих запросу.
|-
|Установить dt.security_context
|Устанавливает правильный доступ на уровне записи <code>dt.security_context</code>, копируя ее из поля, устанавливая ее как статическую строку или статический массив, допускающий несколько значений.
|-
|Технологический пакет
|Сопоставляет записи для выбранной технологии и обрабатывает их в соответствии с предопределенными контекстно-зависимыми операторами обработки DQL.
|}

Обработка OpenPipeline - История изменений

IKuznetsov в 21:30, 29 апреля 2026

IKuznetsov: Новая страница: «Ключ-АСТРОМ '''OpenPipeline''' может преобразовывать входящие данные для лучшего понимания, обр...»