Технологические процессоры пакетов для логов

Технологические процессоры пакетов для логов

OpenPipeline предоставляет готовые процессоры с протестированными парсерами логов для распространённых технологий, платформ и фреймворков логирования. Эти процессоры называются технологическими пакетами и позволяют быстро обрабатывать логи без создания пользовательских процессоров.

Обзор

Технологические пакеты нормализуют разнообразные форматы логов в согласованные атрибуты, выровненные по Семантическому словарю, автоматически извлекают ключевые поля и обеспечивают немедленное обогащение, поиск и оповещение через DQL для более быстрой диагностики, надёжной аналитики и улучшения качества данных. На этой странице перечислены доступные технологические пакеты и их процессоры.

Активация технологических пакетов в OpenPipeline

Вы можете включить технологические пакеты в качестве процессоров в любом конвейере. В OpenPipeline некоторые технологические пакеты включены по умолчанию на этапе предварительной обработки и применяются к каждому конвейеру, поэтому настраивать их вручную не нужно. Чтобы изучить детали каждого процессора, перейдите в Настройки > Обработка и контекстуализация > OpenPipeline > Логи и добавьте новый процессор. Для этого требуется хотя бы один конвейер OpenPipeline. Если у вас его ещё нет, следуйте инструкциям по настройке конвейера обработки.

Список поддерживаемых технологий

В следующей таблице перечислены технологические пакеты, доступные в OpenPipeline. Используйте OpenPipeline для проверки библиотеки и валидации выходных данных.

Категория	Технология	Процессоры
Приложения	.NET	Serilog, Log4net, Microsoft Logging Extension, Nlog, Structured Message, Exception Stack Trace
	Go	Default, Record-based Log (JSON or KVP)
	Java	Spring Boot, Slf4j, Log4j, Logback, Util Logging, Default, Generic, Exception Stack Trace
	NodeJS	Log4js Default, Morgan Tiny, Morgan Short, Morgan Dev, Morgan Common, Morgan Combined, Pino, Pino with severity level as string, Pino Pretty Format, Winston, Exception Stack Trace
	PHP	Monolog, Laminas
	Python	Default, Exception Stack Trace
	Ruby	Default, Exception Stack Trace
Базы данных	Cassandra	Logback, Dropped Messages, Keyspace Column Family
	Elasticsearch	Default, Slow Log Index, Slow Log Search
	PostgreSQL	Default, Query Logs, Cleanup Query Logs, Duration Logs, Json Logs, Json Query Logs
	Redis	Docker, Server, Loglevel
	Microsoft IIS	Default, NCSA, W3C Custom Format, Duration to nanoseconds conversion
Инструменты разработчика	JFrog Artifactory	Generic, Request, Access, Access Audit, Access Security Audit
	Брокеры сообщений	Apache Kafka	Slf4j, Partition
Серверы	Apache HTTP	Access Logs, Error Logs
	Apache Tomcat	Initial Log, Default
	HAProxy	HTTP, HTTPS, TCP, Error, Default
Серверы	JBoss	HTTP, Generic
	Nginx	Access Log, Error Log
Syslog	Syslog	Cisco Switch C9300, 5424, 3164, Generic, Additional Fields, Loglevel

Миграция с классического конвейера

Встроенные процессоры — это концепция классического конвейера. Их эквивалент в OpenPipeline — технологический пакет. Их функциональность схожа, но технологические пакеты извлекают другие поля. Информацию о различиях на уровне полей см. в разделе Изменения имён полей из классического конвейера. Если классический конвейер используется по умолчанию для обработки логов, вы всё равно можете применять технологические пакеты, создав пользовательский конвейер OpenPipeline. См. раздел Обработка логов с помощью парсеров технологических пакетов. В таблице ниже показан эквивалентный технологический пакет для каждого классического процессора.

Классический процессор	Эквивалентный технологический пакет
[Встроенный] web_server:nginx:access_log	Серверы > Nginx > Nginx Access Log processor
[Встроенный] web_server:nginx:error_log	Серверы > Nginx > Nginx Error Log processor
[Встроенный] db:cassandra:logback	Базы данных > Cassandra > Cassandra Logback processor
[Встроенный] db:cassandra:dropped_messages	Базы данных > Cassandra > Cassandra Dropped Messages processor
[Встроенный] db:cassandra:keyspace_column_family	Базы данных > Cassandra > Cassandra Keyspace Column Family processor
[Встроенный] db:elasticsearch:default_log	Базы данных > Elasticsearch > Elasticsearch Default processor
[Встроенный] db:elasticsearch:slow_log_index	Базы данных > Elasticsearch > Elasticsearch Slow Log Index processor
[Встроенный] db:elasticsearch:slow_log_search	Базы данных > Elasticsearch > Elasticsearch Slow Log Search
[Встроенный] load_balancer:haproxy:http	Серверы > HAProxy > HAProxy HTTP processor
[Встроенный] load_balancer:haproxy:tcp	Серверы > HAProxy > HAProxy TCP processor
[Встроенный] load_balancer:haproxy:error	Серверы > HAProxy > HAProxy Error processor
[Встроенный] load_balancer:haproxy:default	Серверы > HAProxy > HAProxy Default processor
[Встроенный] cloud:azure:common	Azure > Azure Services
[Встроенный] cloud:aws:common	AWS > AWS Common
[Встроенный] cloud:aws:apigateway	AWS > Amazon API Gateway
[Встроенный] cloud:aws:lambda	AWS > AWS Lambda
[Встроенный] cloud:aws:rds	AWS > Amazon Relational Database Service (RDS)
[Встроенный] cloud:aws:rdsaurora	AWS > Amazon Aurora
[Встроенный] cloud:aws:sns	AWS > Amazon Simple Notification Service (SNS)
[Встроенный] cloud:aws:apprunner	AWS > AWS App Runner
[Встроенный] cloud:aws:cloudtrail	AWS > AWS CloudTrail

Связанные теги Log Analytics