Мониторинг API загрузки логов и причины отбрасывания

Мониторинг API загрузки логов и причины отбрасывания

Ключ-АСТРОМ предоставляет мониторинг API загрузки логов, который позволяет отслеживать как успешно загруженные логи, так и отброшенные данные. В определённых условиях логи, отправленные на конечную точку API АктивногоШлюза, могут быть отброшены до того, как они достигнут Ключ-АСТРОМ.

Мониторинг API загрузки логов

Вы можете отслеживать трафик API загрузки логов с помощью следующих метрик. Для метрик dt.sfm.ingest.api.* используйте разбивку по http.response.status_code, url.path или user_agent, чтобы определить, какие запросы завершаются неудачно и почему.

Метрика	Описание
dt.sfm.ingest.api.request_count	Количество запросов, отправленных в API загрузки логов.
dt.sfm.ingest.api.request_size	Размер запросов, отправленных в API загрузки логов.
dt.sfm.ingest.api.response_size	Размер ответов, полученных от API загрузки логов.
dt.sfm.ingest.api.response_time	Время отклика API загрузки логов.
dt.sfm.active_gate.event_ingest.drop_count	Количество событий логов, отброшенных на АктивномШлюзе до достижения Ключ-АСТРОМ.

Все метрики доступны на встроенном дашборде Обзор загрузки логов.

Проверка количества отброшенных логов

Чтобы увидеть, сколько логов было отброшено и почему, выполните следующий запрос DQL:

timeseries drop_count = sum(dt.sfm.active_gate.event_ingest.drop_count), by:{drop_reason, dt.active_gate.id}

Причины отбрасывания

В следующей таблице перечислены все возможные причины отбрасывания, связанные с ними коды ответов API и способы их устранения.

Причина отбрасывания	Код ответа HTTP	Описание
timestamps_out_of_range	400 — Bad Request	Пакет логов содержит лог с временной меткой более чем на 24 часа в прошлом. Проверьте и исправьте временные метки в вашей полезной нагрузке.
empty_messages	400 — Bad Request	Пакет логов пуст. Убедитесь, что ваша полезная нагрузка содержит хотя бы одну запись лога перед отправкой.
invalid_json_format	400 — Bad Request	Полезная нагрузка логов содержит некорректный JSON. Проверьте JSON перед отправкой.
payload_byte_size_limit	413 — Request Entity Too Large	Лог в пакете превышает максимально допустимый размер. См. Ограничения загрузки логов для лимита размера запроса.
internal_buffer_size_limit_reached	413 — Request Entity Too Large	Лог в пакете превышает максимально допустимый размер. См. Ограничения загрузки логов для лимита размера запроса.
event_count_limit	413 — Request Entity Too Large	Пакет содержит слишком много записей логов. См. Ограничения загрузки логов для максимального количества записей логов на пакет.
tenant_throughput_limit	429 — Too Many Requests	Превышен лимит событий логов в минуту для тенанта. Подробности см. в разделе Ограничения загрузки логов. Этот лимит применяется только к Log Monitoring Classic.
serialization_exception	500 — Internal Server Error	Произошла непредвиденная внутренняя ошибка. Если проблема сохраняется, обратитесь в службу поддержки Ключ-АСТРОМ.
storage_not_running	500 — Internal Server Error	Произошла непредвиденная внутренняя ошибка. Если проблема сохраняется, обратитесь в службу поддержки Ключ-АСТРОМ.
unexpected_exception	500 — Internal Server Error	Произошла непредвиденная внутренняя ошибка. Если проблема сохраняется, обратитесь в службу поддержки Ключ-АСТРОМ.
head_on_queue_limit	503 — Service Unavailable	Внутренний буфер памяти заполнен. Проверьте текущий объём загрузки. Если проблема сохраняется, масштабируйте АктивныйШлюз.
disk_queue_limit	503 — Service Unavailable	Внутренний дисковый буфер заполнен. Проверьте текущий объём загрузки. Если проблема сохраняется, масштабируйте АктивныйШлюз.