Автоматическое обнаружение содержимого логов

Автоматическое обнаружение содержимого логов

По умолчанию Ключ-АСТРОМ автоматически обнаруживает и анализирует новые файлы логов и сохраняет их, если они выбраны для обработки в соответствии с правилами приема логов. Для пользователей пробной версии все уже настроено, что позволяет начать анализ логов немедленно без дополнительной конфигурации.

Ключ-АСТРОМ автоматически обнаруживает все новые файлы логов, соответствующие описанным ниже требованиям.

Автоматическое обнаружение по умолчанию

Ключ-АСТРОМ автоматически обнаруживает, анализирует и сохраняет (если выбрано хранение) логи каждые 60 секунд. В Linux поиск по файлам логов, расположенным на сетевых дисках, осуществляется только в том случае, если в разделе Настройки > Сбор и захват > Мониторинг логов > Настройка модуля логов > Расширенные настройки включена опция Обнаруживать логи в сетевых файловых системах. Эта опция отключена по умолчанию. Внутренние логи ЕдиногоАгента обнаруживаются только в том случае, если в том же разделе настроек включена опция Разрешить OneAgent отслеживать логи Ключ-АСТРОМ.

Сохранение автоматически обнаруженных файлов в Ключ-АСТРОМ зависит от правил приема логов.

По умолчанию модуль логирования ЕдиногоАгента автоматически обнаруживает следующие категории файлов логов:

Системные логи

• в Windows:
  • Windows Security Log
  • Windows Application Log
  • Windows System Log
• В Linux:
  • /var/log/messages
  • /var/log/syslog
• На AIX:
  • /var/log/messages (при поддержке ЕдиныйАгент версии 1.335+)
  • /var/log/syslog (поддерживается всеми версиями ЕдиногоАгента)

Логи, открываемые запущенными процессами

Подробности см. в разделе «Требования к автоматическому обнаружению логов».

Логи IIS (только для Windows)

Как логи событий, так и обычные файлы логов.

Логи контейнеров (только для Linux)

В Kubernetes, Openshift и неинструментированном Docker. Подробнее см. в разделе «Потоковая передача логов Kubernetes с помощью модуля логов Ключ-АСТРОМ».

Логи Journald (только для Linux)

Подробнее см. раздел «Мониторинг логов из Journald».

Логи z/OS

Подробности см. в разделе «Мониторинг логов z/OS».

Если ваши логи не обрабатываются, это может быть связано либо с отключенной функцией включения ведения логов ЕдиногоАгента, либо с нарушением правил безопасности логов ЕдиногоАгента.

Подробную информацию о том, какие логи событий Windows обнаруживаются автоматически и как настроить их сбор, см. в разделе «Логи событий Windows».

Требования к автоматическому обнаружению

Для автоматического обнаружения файл лога должен соответствовать всем следующим требованиям:

• Файл лога должен оставаться открытым для важного процесса.
• Файл лога должен существовать как минимум одну минуту.

Неподдерживаемые метки времени

Файлы с неподдерживаемой меткой времени автоматически получают метку времени, соответствующую времени прочтения файла.

• В логах должна использоваться поддерживаемая кодировка символов. По умолчанию поддерживается кодировка UTF-8. К другим поддерживаемым типам относятся UTF-8 BOM, а также, если файлы содержат метку порядка байтов (BOM), UTF-16LE и UTF-16BE.

Бинарные логи

Бинарные файлы логов не обнаруживаются автоматически. Вы можете использовать пользовательские источники логов, установив параметр Разрешить бинарный формат, чтобы принимать бинарные файлы логов.

Вы можете определить, какие именно бинарные файлы логов будут обнаружены, настроив минимальный размер файла:

1. Перейдите в Настройки > Сбор и запись > Мониторинг логов > Настройка модуля логов > Флаги включения функций.
2. В поле Минимальный размер файла лога для выполнения бинарного обнаружения введите значение в байтах.

• Файл лога должен был быть обновлен (в него должна быть произведена запись) в течение последних 7 дней.
• Файлы логов, которые не обновлялись в течение последних 7 дней при активном мониторинге логов, не будут отображаться на панелях мониторинга.
• Файл лога должен находиться в самой папке log или logs в её подпапках:

• • Примеры допустимых путей: c:\log\log_file.txt, c:\logs\NewFolder\log_file.txt
  • Пример недопустимого пути: c:\log\NewFolder\NewFolder\log_file.txt

• или имя файла лога должно содержать строку log, перед которой или после которой стоит точка (.) или символ подчеркивания (_):

• • Примеры допустимых имен файлов: c:\NewFolder\abc.log, c:\NewFolder\0865842.log.txt
  • Пример неверного имени файла: c:\NewFolder\logfile.txt

• Путь к файлу лога также должен соответствовать правилам безопасности. По умолчанию эти правила принимают все файлы, которые обнаруживаются автоматически.
• Файлы логов загружаются только в том случае, если их метка времени находится в пределах последних 24 часов. Дополнительные сведения см. в разделе «Ограничения по умолчанию для управления логами и аналитики».
• Записи лога с метками времени, опережающими текущее время более чем на 10 минут, будут перезаписаны. Дополнительные сведения см. в разделе «Ограничения по умолчанию для управления логами и аналитики».

Проверка автоматического обнаружения источников логов

В Ключ-АСТРОМ вы можете проверить, активна ли функция автоматического обнаружения, и определить источники логов, обнаруженные в вашей среде.

1. Перейдите в Настройки > Сбор и захват > Мониторинг логов > Настройка модуля логов > Источники.

Статус автообнаружения

На панели Автоматическое обнаружение источников логов отображается информация о том, обнаруживают ли ЕдиныйАгент и модуль Kubernetes Log источники логов, соответствующие требованиям автоматического обнаружения.

Сводка по сущностям с логами

В разделе Сводка по сущностям с логами отображаются итоговые данные и охват обработки. Типы отображаемых сущностей зависят от текущей области действия.

• Окружение: Группы хостов, кластеры Kubernetes, хосты, источники логов.
• Кластер Kubernetes: пространства имен, рабочие нагрузки, поды.
• Группа хостов: Хосты, Источники логов
• Хост: Источники логов

На каждой карточке отображается количество объектов и процент покрытия.

Выберите карточку, чтобы перейти на один уровень детализации к списку отдельных объектов. Список включает все источники логов, о которых знает модуль Log, как автоматически обнаруженные, так и пользовательские. Каждая запись помечена одним из следующих индикаторов покрытия:

• Полный: Источник логов настроен для приема данных.
• Частичный режим: Источник логов настроен на частичный прием данных.
• Нет: Источник логов не настроен для приема данных.

Создайте правило приема данных

Чтобы начать загрузку автоматически обнаруженных логов, создайте правило загрузки логов.

Мы рекомендуем использовать правила с широким охватом, которые охватывают целые группы или сервисы, чтобы улучшить покрытие и упростить управление процессом сбора данных. Во избежание дополнительных затрат на обслуживание, используйте правила с максимально возможным охватом. Например, сопоставляйте технологии обработки данных, объекты Kubernetes или настраивайте другие подходящие условия сопоставления на основе разнообразия доступных атрибутов сопоставления.

Добавить недостающие источники логов

Если нужный источник логов не обнаруживается автоматически, используйте раздел Добавить отсутствующие источники логов на вкладке Источники, чтобы определить пользовательский источник логов.

Отключите автоматическое обнаружение логов

Если вы не хотите, чтобы Ключ-АСТРОМ автоматически обнаруживал новые файлы логов на конкретном отслеживаемом хосте, вы можете отключить автоматическое обнаружение логов.

См. раздел «Области конфигурации», чтобы узнать о конфигурациях для арендатора, группы хостов и хоста.

В настройках арендатора выполните следующие действия.

1. Перейдите в Настройки > Сбор и запись > Мониторинг логов > Настройка модуля логов > Флаги включения функций.
2. Отключите все параметры, относящиеся к обнаружению логов:
   • Обнаружение открытых файлов логов: Эта опция автоматически обнаруживает логи, записанные важными процессами.
   • Обнаружение системных логов:
     • Linux: Обнаруживает системные логи и логи сообщений.
     • Windows: Обнаруживает системные, прикладные и логи событий безопасности.
   • Обнаружение логов контейнеризированных приложений: Эта опция позволяет обнаруживать сообщения логов, записываемые в потоки stdout/stderr контейнеризированного приложения. Она также обнаруживает логи подов Kubernetes.
   • Обнаружение логов IIS: Эта опция позволяет обнаруживать логи и логи событий, записываемые сервером Microsoft IIS.
   • Обнаружение логов в сетевых файловых системах: Эта опция позволяет обнаруживать логи, записанные на смонтированные сетевые накопители. Это относится только к хостам Linux. Для других операционных систем эта опция всегда включена.

Конфигурация на стороне арендатора является предпочтительным подходом для управления автоматическим обнаружением. Однако в определенных случаях конфигурация на стороне хоста, описанная ниже, может быть использована в качестве варианта.

1. Откройте файл конфигурации анализа логов для редактирования.
   • В Linux: /var/lib/astromkey/oneagent/agent/config/ruxitagentloganalytics.conf
   • В Windows: %PROGRAMDATA%\astromkey\oneagent\agent\config\ruxitagentloganalytics.conf
2. Установите следующие параметры:
   • AppLogAutoDetection = false
   • Перезапуск ЕдиногоАгента не требуется.

Ограничения на автоматическое обнаружение логов при использовании ЕдиногоАгента

Логи событий в ЕдиномАгенте:

• Удалить нельзя раньше, чем через минуту после создания.
• Необходимо добавить (старое содержимое не обновляется).
• Должен содержать текстовый контент.
• Его необходимо постоянно держать открытым (а не только на короткие промежутки времени для добавления записей в лог).
• Необходимо открыть в режиме записи.
• Размер файла не должен быть меньше заданного порогового значения (по умолчанию: 500 байт), чтобы его можно было проверить на наличие двоичного содержимого.

По умолчанию максимальное количество источников логирования на один экземпляр группы процессов составляет 200. Это значение можно настроить с помощью параметра Максимальное количество источников логирования на один экземпляр группы процессов в разделе Настройки > Мониторинг логов > Расширенные настройки логирования.

В стандартных средах модуль логирования ЕдиногоАгента поддерживает до 10 000 файлов в одной директории с логами и 200 МБ нового содержимого логов в минуту. Если у вас больше данных, особенно с большим объемом информации, высока вероятность, что модуль логирования ЕдиногоАгента это поддерживает. Перед использованием свяжитесь со службой поддержки Ключ-АСТРОМ, чтобы проверить вашу конфигурацию.

В особых случаях, например, при очень низкой производительности оборудования, ограничения модуля логирования ЕдиногоАгента могут быть более строгими.

Встроенные правила автоматического обнаружения

Автоматический детектор имеет следующие дополнительные встроенные правила:

ОС	Шаблон директории	Шаблон файла	Действие
Все	/Log/	*.xel	Исключать
Все	/commitlog/	*.log	Исключать
Windows	/CCM/Logs/	*	Исключать
Windows	/MSSQL/Log/	*.trc	Исключать
Windows	/*MSSQL*/OLAP/Log/	*.trc	Исключать
Windows	MSSQL/DATA/	*.ldf	Исключать
Windows	*.evtx		Исключать
Linux	/var/log/pods/	*	Исключать
Linux	/var/lib/docker/containers/	*	Исключать
Все	/	*[-.\_]log	Включать
Все	/	catalina.out*	Включать
Все	/log/	*	Включать
Все	/log/*/	*	Включать
Все	/logs/	*	Включать
Все	/logs/*/	*	Включать
Linux	^/var/log/**/	*	Включать

Пользовательские правила безопасности могут лишь сузить область автоматического обнаружения, но не расширить её.

Каждый добавляемый вами путь к пользовательскому источнику логов должен быть проверен ЕдинымАгентом и соответствовать его правилам безопасности (правилам сопоставления файлов). На стороне ЕдиногоАгента применяются следующие правила безопасности.

Важно: Правила безопасности нельзя использовать для расширения автообнаружения и включения в него большего количества файлов. Их можно использовать только для ограничения обнаружения файлов. Если вам необходимо включить источник логов, который не обнаруживается автоматически, используйте пользовательскую конфигурацию источника логов.

См. раздел «Правила безопасности», чтобы узнать, как настроить правила безопасности для пользовательских источников логов и обеспечить защиту данных.