IKuznetsov: Новая страница: « = Технологические процессоры пакетов для логов = '''OpenPipeline''' предоставляет готовые '''процессоры''' с протестированными парсерами логов для распространённых технологий, платформ и фреймворков логирования. Эти процессоры называются технологическими па...»

2026-10-06T17:57:37Z

Новая страница: « = Технологические процессоры пакетов для логов = '''OpenPipeline''' предоставляет готовые '''процессоры''' с протестированными парсерами логов для распространённых технологий, платформ и фреймворков логирования. Эти процессоры называются технологическими па...»

Новая страница

= Технологические процессоры пакетов для логов =
'''OpenPipeline''' предоставляет готовые '''процессоры''' с протестированными парсерами логов для распространённых технологий, платформ и фреймворков логирования. Эти процессоры называются технологическими пакетами и позволяют быстро обрабатывать логи без создания пользовательских процессоров.

== Обзор ==
Технологические пакеты нормализуют разнообразные форматы логов в согласованные атрибуты, выровненные по '''Семантическому словарю''', автоматически извлекают ключевые поля и обеспечивают немедленное обогащение, поиск и оповещение через '''DQL''' для более быстрой диагностики, надёжной аналитики и улучшения качества данных. На этой странице перечислены доступные технологические пакеты и их процессоры.

== Активация технологических пакетов в OpenPipeline ==
Вы можете включить технологические пакеты в качестве процессоров в любом конвейере. В '''OpenPipeline''' некоторые технологические пакеты '''включены по умолчанию на этапе предварительной обработки''' и применяются к каждому конвейеру, поэтому настраивать их вручную не нужно. Чтобы изучить детали каждого процессора, перейдите в '''Настройки > Обработка и контекстуализация > OpenPipeline > Логи''' и добавьте новый процессор. Для этого требуется хотя бы один конвейер '''OpenPipeline'''. Если у вас его ещё нет, следуйте инструкциям по '''настройке конвейера обработки'''.

== Список поддерживаемых технологий ==
В следующей таблице перечислены технологические пакеты, доступные в '''OpenPipeline'''. Используйте '''OpenPipeline''' для проверки библиотеки и валидации выходных данных.
{| class="wikitable"
!Категория
!Технология
!Процессоры
|-
| rowspan="7" |Приложения
|.NET
|Serilog, Log4net, Microsoft Logging Extension, Nlog, Structured Message, Exception Stack Trace
|-
|Go
|Default, Record-based Log (JSON or KVP)
|-
|Java
|Spring Boot, Slf4j, Log4j, Logback, Util Logging, Default, Generic, Exception Stack Trace
|-
|NodeJS
|Log4js Default, Morgan Tiny, Morgan Short, Morgan Dev, Morgan Common, Morgan Combined, Pino, Pino with severity level as string, Pino Pretty Format, Winston, Exception Stack Trace
|-
|PHP
|Monolog, Laminas
|-
|Python
|Default, Exception Stack Trace
|-
|Ruby
|Default, Exception Stack Trace
|-
| rowspan="5" |Базы данных
|Cassandra
|Logback, Dropped Messages, Keyspace Column Family
|-
|Elasticsearch
|Default, Slow Log Index, Slow Log Search
|-
|PostgreSQL
|Default, Query Logs, Cleanup Query Logs, Duration Logs, Json Logs, Json Query Logs
|-
|Redis
|Docker, Server, Loglevel
|-
|Microsoft IIS
|Default, NCSA, W3C Custom Format, Duration to nanoseconds conversion
|-
| rowspan="2" |Инструменты разработчика
|JFrog Artifactory
|Generic, Request, Access, Access Audit, Access Security Audit
|-
| rowspan="1" |Брокеры сообщений
|Apache Kafka
|Slf4j, Partition
|-
| rowspan="3" |Серверы
|Apache HTTP
|Access Logs, Error Logs
|-
|Apache Tomcat
|Initial Log, Default
|-
|HAProxy
|HTTP, HTTPS, TCP, Error, Default
|-
| rowspan="2" |Серверы
|JBoss
|HTTP, Generic
|-
|Nginx
|Access Log, Error Log
|-
|Syslog
|Syslog
|Cisco Switch C9300, 5424, 3164, Generic, Additional Fields, Loglevel
|}

== Миграция с классического конвейера ==
Встроенные процессоры — это концепция классического конвейера. Их эквивалент в '''OpenPipeline''' — технологический пакет. Их функциональность схожа, но технологические пакеты извлекают другие поля. Информацию о различиях на уровне полей см. в разделе '''Изменения имён полей из классического конвейера'''. Если классический конвейер используется по умолчанию для обработки логов, вы всё равно можете применять технологические пакеты, создав пользовательский конвейер '''OpenPipeline'''. См. раздел '''Обработка логов с помощью парсеров технологических пакетов'''. В таблице ниже показан эквивалентный технологический пакет для каждого классического процессора.
{| class="wikitable"
!Классический процессор
!Эквивалентный технологический пакет
|-
|[Встроенный] web_server:nginx:access_log
|Серверы > Nginx > Nginx Access Log processor
|-
|[Встроенный] web_server:nginx:error_log
|Серверы > Nginx > Nginx Error Log processor
|-
|[Встроенный] db:cassandra:logback
|Базы данных > Cassandra > Cassandra Logback processor
|-
|[Встроенный] db:cassandra:dropped_messages
|Базы данных > Cassandra > Cassandra Dropped Messages processor
|-
|[Встроенный] db:cassandra:keyspace_column_family
|Базы данных > Cassandra > Cassandra Keyspace Column Family processor
|-
|[Встроенный] db:elasticsearch:default_log
|Базы данных > Elasticsearch > Elasticsearch Default processor
|-
|[Встроенный] db:elasticsearch:slow_log_index
|Базы данных > Elasticsearch > Elasticsearch Slow Log Index processor
|-
|[Встроенный] db:elasticsearch:slow_log_search
|Базы данных > Elasticsearch > Elasticsearch Slow Log Search
|-
|[Встроенный] load_balancer:haproxy:http
|Серверы > HAProxy > HAProxy HTTP processor
|-
|[Встроенный] load_balancer:haproxy:tcp
|Серверы > HAProxy > HAProxy TCP processor
|-
|[Встроенный] load_balancer:haproxy:error
|Серверы > HAProxy > HAProxy Error processor
|-
|[Встроенный] load_balancer:haproxy:default
|Серверы > HAProxy > HAProxy Default processor
|-
|[Встроенный] cloud:azure:common
|Azure > Azure Services
|-
|[Встроенный] cloud:aws:common
|AWS > AWS Common
|-
|[Встроенный] cloud:aws:apigateway
|AWS > Amazon API Gateway
|-
|[Встроенный] cloud:aws:lambda
|AWS > AWS Lambda
|-
|[Встроенный] cloud:aws:rds
|AWS > Amazon Relational Database Service (RDS)
|-
|[Встроенный] cloud:aws:rdsaurora
|AWS > Amazon Aurora
|-
|[Встроенный] cloud:aws:sns
|AWS > Amazon Simple Notification Service (SNS)
|-
|[Встроенный] cloud:aws:apprunner
|AWS > AWS App Runner
|-
|[Встроенный] cloud:aws:cloudtrail
|AWS > AWS CloudTrail
|}
'''Связанные теги''' Log Analytics

Технологические процессоры пакетов для логов - История изменений