Автообнаружение логов

Автообнаружение логов

По умолчанию Ключ-АСТРОМ автоматически обнаруживает и анализирует новые файлы логов, а также сохраняет их, если они выбраны для загрузки согласно правилам загрузки логов. Для пробных пользователей всё уже настроено, что позволяет немедленно приступить к анализу логов без дополнительной конфигурации. Ключ-АСТРОМ автоматически обнаруживает все новые файлы логов, соответствующие требованиям, описанным ниже.

Автообнаружение по умолчанию

Ключ-АСТРОМ автоматически обнаруживает, анализирует и сохраняет (если выбрано для хранения) логи каждые 60 секунд.

В Linux файлы логов, расположенные на сетевых дисках, ищутся только при включённой опции Обнаруживать логи в сетевых файловых системах в разделе Настройки > Сбор и захват > Мониторинг логов > Настроить модуль логов > Дополнительные настройки. По умолчанию эта опция отключена.

Внутренние логи ЕдиногоАгента обнаруживаются только при включённой опции Разрешить ЕдиномуАгенту мониторить логи Ключ-АСТРОМ в том же разделе настроек.

Сохраняются ли автоматически обнаруженные файлы в Ключ-АСТРОМ, зависит от правил загрузки логов.

По умолчанию модуль логов ЕдиногоАгента автоматически обнаруживает следующие категории файлов логов:

• Системные логи
  • Windows:
    • Журнал безопасности Windows
    • Журнал приложений Windows
    • Системный журнал Windows
  • Linux:
    • /var/log/messages
    • /var/log/syslog
  • AIX:
    • /var/log/messages (поддерживается ЕдинымАгентом версии 1.335+)
    • /var/log/syslog (поддерживается всеми версиями ЕдиногоАгента)
• Файлы логов, открытые работающими процессами. Подробнее см. Требования к автообнаружению логов.
• Логи IIS (только Windows) — как журналы событий, так и обычные файлы логов.
• Логи контейнеров (только Linux) в Kubernetes, OpenShift и неинструментированном Docker. Подробнее см. Потоковая передача логов Kubernetes с модулем логов.
• Логи Journald (только Linux). Подробнее см. Мониторинг логов из Journald.
• Логи z/OS. Подробнее см. Мониторинг логов z/OS.

Если ваши логи не загружаются, это может быть связано либо с тем, что Мониторинг логов ЕдиногоАгента отключён, либо с тем, что логи нарушают правила Безопасности логов ЕдиногоАгента. Подробности о том, какие журналы событий Windows обнаруживаются автоматически и как настроить их загрузку, см. в разделе Журналы событий Windows.

Требования к автообнаружению

Файл лога должен соответствовать всем следующим требованиям, чтобы быть автоматически обнаруженным:

• Файл лога должен оставаться открытым важным процессом.
• Файл лога должен существовать не менее одной минуты.
• Неподдерживаемые временные метки: файлы с неподдерживаемой временной меткой автоматически помечаются временем, когда файл был прочитан.
• Логи должны иметь поддерживаемую кодировку символов. По умолчанию поддерживается кодировка UTF-8. Другие поддерживаемые типы включают UTF-8 BOM и, если файлы содержат метку порядка байтов (BOM), UTF-16LE и UTF-16BE.
• Бинарные логи: бинарные файлы логов не обнаруживаются автоматически. Можно использовать пользовательские источники логов с включённой опцией Разрешить бинарный формат для загрузки бинарных файлов логов. Определить, какие бинарные файлы логов обнаруживаются, можно, настроив минимальный размер файла:
  • Перейдите в Настройки > Сбор и захват > Мониторинг логов > Настроить модуль логов > Флаги функций Opt-in.
  • В поле Минимальный размер файла лога для бинарного обнаружения введите значение в байтах.
• Файл лога должен быть обновлён (записан) за последние 7 дней. Файлы логов, не обновлявшиеся за последние 7 дней при активном мониторинге логов, не будут отображаться на дашбордах.
• Файл лога должен находиться в фактической папке log или logs либо в её подпапках:
  • Примеры допустимых путей: c:\log\log_file.txt, c:\logs\NewFolder\log_file.txt
  • Пример недопустимого пути: c:\log\NewFolder\NewFolder\log_file.txt
  • Либо имя файла лога должно содержать строку log, перед которой или после которой стоит точка (.) или символ подчёркивания (_):
    • Примеры допустимых имён файлов: c:\NewFolder\abc.log, c:\NewFolder\0865842.log.txt
    • Пример недопустимого имени файла: c:\NewFolder\logfile.txt
• Путь к файлу лога также должен соответствовать правилам безопасности. По умолчанию эти правила принимают все файлы, которые обнаруживаются автоматически.
• Файлы логов загружаются только в том случае, если их временная метка находится в пределах последних 24 часов. Подробнее см. Ограничения по умолчанию для управления логами и аналитики.
• Записи логов с временными метками более чем на 10 минут опережающие текущее время, переопределяются. Подробнее см. Ограничения по умолчанию для управления логами и аналитики.

Просмотр автообнаружения источников логов

В Ключ-АСТРОМ можно проверить, активен ли механизм автообнаружения, и определить источники логов, обнаруженные в вашей среде. Перейдите в Настройки > Сбор и захват > Мониторинг логов > Настроить модуль логов > Источники.

Статус автообнаружения

Панель Автообнаружение источников логов показывает, активно ли ЕдиныйАгент и модуль логов Kubernetes обнаруживают источники логов, соответствующие требованиям к автообнаружению.

Сводка сущностей с логами

Раздел Сводка сущностей с логами показывает итоговые значения и покрытие загрузки. Отображаемые типы сущностей зависят от текущей области действия:

• Среда: группы хостов, кластеры Kubernetes, хосты, источники логов.
• Кластер Kubernetes: пространства имён, рабочие нагрузки, поды.
• Группа хостов: хосты, источники логов.
• Хост: источники логов.

Каждая карточка показывает количество сущностей и процент покрытия. Выберите карточку, чтобы детализировать список отдельных сущностей. Список включает все источники логов, известные модулю логов, как автоматически обнаруженные, так и пользовательские. Каждая запись помечается одним из следующих индикаторов покрытия:

• Полное: источник логов настроен для загрузки.
• Частичное: источник логов настроен для частичной загрузки.
• Отсутствует: источник логов не настроен для загрузки.

Создание правила загрузки

Чтобы начать загрузку автоматически обнаруженных логов, создайте правило загрузки. Подробнее см. в разделе Правила загрузки логов.

Отключение автообнаружения логов

Если вы не хотите, чтобы Ключ-АСТРОМ автоматически обнаруживал новые файлы логов на определённом мониторируемом хосте, можно отключить автообнаружение логов:

• На хосте откройте файл конфигурации аналитики логов для редактирования:
  • Linux: /var/lib/astromkey/oneagent/agent/config/ruxitagentloganalytics.conf
  • Windows: %PROGRAMDATA%\astromkey\oneagent\agent\config\ruxitagentloganalytics.conf
• Установите следующее значение: AppLogAutoDetection = false
• Перезапуск ЕдиногоАгента не требуется.

Ограничения для автообнаружения логов при использовании ЕдиногоАгента

Файлы логов в ЕдиномАгенте:

• не могут быть удалены ранее, чем через минуту после создания;
• должны дописываться (старое содержимое не обновляется);
• должны иметь текстовое содержимое;
• должны быть открыты постоянно (не только на короткие периоды добавления записей логов);
• должны быть открыты в режиме записи;
• не должны быть меньше настроенного порогового размера (по умолчанию: 500 байт) для проверки на бинарное содержимое.

По умолчанию максимальное количество источников логов на экземпляр группы процессов — 200. Это значение настраивается через опцию Максимальное количество источников логов на экземпляр группы процессов в разделе Настройки > Мониторинг логов > Дополнительные настройки логов.

В стандартных средах модуль логов ЕдиногоАгента поддерживает до 10 000 файлов в одной директории с логами и 200 МБ нового содержимого логов в минуту. Если у вас больше данных, особенно на порядок выше, есть большая вероятность, что модуль логов ЕдиногоАгента справится. Свяжитесь с командой поддержки Ключ-АСТРОМ, чтобы заранее проверить вашу конфигурацию. В особых случаях, например при очень низкой производительности оборудования, ограничения модуля логов ЕдиногоАгента могут быть более строгими.

Неподдерживаемые сценарии автообнаружения

Сценарии, не поддерживаемые в процессе ротационного автообнаружения логов, включают:

• Генерация ротационных логов с изменением директории. Этот процесс может привести к созданию множества неагрегированных и/или неполных логов, а также к чрезмерному использованию ресурсов.