Предупреждения о загрузке логов

Предупреждения о загрузке логов

Если ваши загруженные логи выглядят не так, как ожидалось, проверьте, содержит ли конкретная запись лога предупреждения о проблемах, возникших при загрузке и обработке этого лога. Ищите атрибут dt.ingest.warnings в Блокнотах. Он содержит список предупреждений о проблемах, затронувших конкретную запись лога. Многие предупреждения, вероятно, связаны с Ограничениями загрузки логов.

Чтобы просмотреть возникшие предупреждения, их количество и источник, выполните следующий запрос DQL:

fetch logs
| filter isNotNull(dt.ingest.warnings)
| summarize count(), by:{dt.ingest.warnings, dt.openpipeline.source, log.source}
| limit 100

Также можно найти логи с конкретным предупреждением, используя функцию matchesValue:

fetch logs
| filter matchesValue(dt.ingest.warnings, "common_attr_corrected")

| limit 100

Обратите внимание, что dt.ingest.warnings — это массив, поэтому фильтр вида dt.ingest.warnings == "common_attr_corrected" не сработает.

Примеры возможных предупреждений

Предупреждение	Описание
content_trimmed	Содержимое было усечено после получения API, так как превысило максимальный размер содержимого события в байтах.
content_trimmed_pipe	Содержимое было усечено после применения правил обработки, так как превысило максимальный размер содержимого события в байтах.
attr_count_trimmed	Количество атрибутов было усечено после получения API, так как превысило максимальное количество атрибутов в одном событии.
attr_count_trimmed_pipe	Количество атрибутов было усечено после применения правил обработки, так как превысило максимальное количество атрибутов в одном событии.
attr_key_trimmed	Как минимум один ключ атрибута был усечён, так как превысил максимальный размер ключа в байтах.
attr_val_count_trimmed	У как минимум одного многозначного атрибута было усечено количество значений после получения API, так как превысило максимальное количество атрибутов в одном событии.
attr_val_count_trimmed_pipe	После применения правил обработки у как минимум одного многозначного атрибута было усечено количество значений, так как превысило максимальное количество атрибутов.
attr_val_size_trimmed	Размер значения как минимум одного атрибута был усечён после получения API, так как превысил максимальный размер значения в байтах.
attr_val_size_trimmed_pipe	Размер значения как минимум одного атрибута был усечён после применения правил обработки, так как превысил максимальный размер значения в байтах.
timestamp_corrected	Временная метка была слишком далеко в будущем и была скорректирована на текущее время.
common_attr_corrected	Как минимум один из следующих атрибутов был скорректирован: status, loglevel или event.type.
processing_batch_timeout	Произошёл тайм-аут пакета при выполнении правил обработки логов.
processing_transformer_timeout	Произошёл тайм-аут выполнения в одном из преобразователей обработки при выполнении правил обработки логов.
processing_transformer_error	Произошла ошибка выполнения в одном из преобразователей обработки при выполнении правил обработки логов.
processing_transformer_throttled	Выполнение было ограничено в одном из преобразователей обработки при выполнении правил обработки логов.
processing_output_record_conversion_error	Произошла ошибка преобразования вывода для некоторых записей при выполнении правил обработки логов.
processing_prepare_input_error	Произошла ошибка «Подготовка ввода» в одном из включённых правил обработки логов.