Настройка временных меток и разделения

Настройка временных меток и разделения (Logs Classic)

Классический мониторинг логов

Ключ-АСТРОМ позволяет определять правила, управляющие временными метками данных в логах.

Обнаружение временной метки

По умолчанию Мониторинг логов автоматически определяет только наиболее распространенный и однозначно поддерживаемый набор форматов дат. Подробнее см. раздел «Поддерживаемые форматы временных меток (Logs Classic)».

Временная метка не обнаружена

Если система мониторинга логов не может определить формат времени, она рассматривает каждую строку лога как отдельную запись с автоматически присвоенной меткой времени (меткой времени наблюдения) с разрешением в одну минуту, за исключением строк, начинающихся с пробелов (пробел, табуляция), которые рассматриваются как продолжение записи.

Ограничение на поиск по временной метке

Независимо от формата, метка времени обычно находится в первых 64 символах записи лога. Однако метка времени может находиться и в другом месте, в этом случае вы можете увеличить этот лимит на странице конфигурации ЕдиногоАгента: Мониторинг логов > Метки времени/Шаблоны разделения.

Правила использования временных меток

Независимо от того, где она находится в записи лога, метка времени может быть записана в нескольких форматах. Ключ-АСТРОМ по умолчанию поддерживает некоторые форматы меток времени, но иногда несколько форматов могут соответствовать входящим данным лога и сопоставлять метку времени с некорректным шаблоном.

Благодаря этому, мониторинг логов также позволяет определять определенный формат даты с помощью правил временных меток, которые указывают, что следует считать временной меткой в записи лога. Эти правила содержат шаблон временной метки, часовой пояс и сопоставители.

• Шаблон — определяет, что следует считать временной меткой в вашей строке лога.
• Ограничение на поиск по временной метке — указывает количество символов в каждой строке лога, отсчитываемое от начала строки, где осуществляется поиск по временной метке.
• Временные метки в строках с отступом — включите эту опцию, если вы не хотите обрабатывать временные метки в строках, начинающихся с пробелов.
• Часовой пояс — определяет часовой пояс для метки времени. Необязательно, если ваш шаблон метки времени включает индикатор часового пояса (%z).
• Сопоставитель — сужает диапазон для правила и применяет шаблон временной метки только к соответствующим записям лога. Поскольку вы не можете использовать атрибут log.content в сопоставителях шаблонов временных меток, наивысшая детализация — это источник лога. Детализация находится на этом уровне, потому что шаблон временной метки используется для разделения содержимого источника лога на отдельные записи лога, поэтому он используется до определения значения атрибута log.content (или любых других атрибутов, установленных на уровне отдельной записи лога).

• Если вы создадите несколько правил, соответствующих одним и тем же данным лога, будет выполнен поиск по всем определенным форматам времени.
• Если хотя бы одно правило соответствует заданному логу, предопределенные форматы к нему не применяются.

Несколько шаблонов временных меток в одном и том же источнике логов

При обработке записей логов ЕдиныйАгент анализирует каждую запись на наличие метки времени. Для этого он использует список шаблонов сопоставления.

• Если запись в логе содержит одну метку времени, ЕдиныйАгент сравнивает эту метку времени со списком шаблонов соответствия, начиная с первого шаблона в списке. Если метка времени записи совпадает с одним из шаблонов, ЕдиныйАгент использует эту метку времени в качестве начала записи в логе.
• Если запись в логе содержит две или более временных меток, ЕдиныйАгент сравнивает временную метку со списком шаблонов соответствия, начиная с шаблона, который был найден в предыдущей записи лога.

Следовательно, возможно, что даже если первая метка времени записи в логе совпадает с первым шаблоном в списке совпадающих шаблонов, ЕдиныйАгент фактически совпадет со второй меткой времени — поскольку предыдущая запись в логе соответствовала второму шаблону.

Пример:

• Запись в логе 1: Шаблон 1, Шаблон 2
• Запись в логе 2: Шаблон 2
• Запись в логе 3: Шаблон 1, Шаблон 2

В случае записи в логе 3, даже если "Шаблон 1" стоит первым в списке шаблонов соответствия, ЕдиныйАгент фактически будет соответствовать "Шаблону 2".

Чтобы гарантировать, что ЕдиныйАгент будет оценивать только нужные вам шаблоны временных меток, тщательно выбирайте шаблоны из списка соответствия. В приведенном выше примере, чтобы гарантировать использование шаблона 1, удалите шаблон 2 из списка. Это может привести к тому, что сообщения, содержащие только временные метки шаблона 2, будут отброшены.

Например, если ваш файл лога содержит шаблоны %FT%T (2024-01-01T12:30:01) и %F %T %Z (2024-01-01 12:30:01 UTC), и ЕдиныйАгент успешно находит первый шаблон в строке, он будет отдавать приоритет этому шаблону для последующих строк.

Поддерживаемые области применения

Поддерживаются три уровня иерархии: хост, группа хостов и среда.

Уровни иерархии объединяются в один список в следующем порядке:

1. Правила хоста
2. Правила хост-группы
3. Правила среды

ЕдиныйАгент получает объединенный список (объединенные списки от соответствующих хостов, групп хостов и сред) без указания того, какие области действия определены.

Область действия хоста

Доступ к области действия хоста можно получить через настройки хоста для конкретного хоста.

1. Перейдите в раздел Хосты.
2. Найдите и выберите свой хост, чтобы отобразить страницу обзора хоста.
3. В правом верхнем углу страницы обзора хоста выберите Дополнительно (…) > Настройки.
4. В настройках хоста выберите Мониторинг логов > Шаблоны временных меток/разделения.
5. Настройте маскирование данных, добавив правила с набором сопоставителей, которые определяют, что следует считать временной меткой в записи лога.

Область действия группы хостов

Доступ к области действия группы хостов можно получить на странице Хосты.

1. Перейдите в раздел Хосты и выберите интересующего вас хоста.
2. На странице обзора хоста выберите Свойства и теги.
3. На панели Свойства и теги найдите свойство Группа хостов, чтобы увидеть имя группы хостов, к которой принадлежит выбранный хост.
   • Свойство Группа хостов не отображается, если выбранный хост не принадлежит ни к одной группе хостов.
4. Выберите имя группы хостов, чтобы отобразить список всех хостов в этой группе. При этом отобразится страница развертывания ЕдиногоАгента, отфильтрованная по выбранной группе хостов. У каждого хоста в списке есть ссылка Группа хостов: <имя группы>, где <имя группы> — это имя группы хостов, которую вы хотите настроить.
5. Выберите имя группы хостов в любой строке.
6. В настройках группы хостов выберите Мониторинг логов > Шаблоны временных меток/разделения.
7. Настройте маскирование данных, добавив правила с набором сопоставителей, которые определяют, что следует считать временной меткой в записи лога.

Область действия среды

Область действия среды доступна в меню настроек.

1. Перейдите в Настройки > Мониторинг логов > Временные метки/Шаблоны разделения.
2. Настройте маскирование данных, добавив правила с набором сопоставителей, которые идентифицируют ваши конфиденциальные данные.

Создание правила

Чтобы добавить правило (на уровне хоста, группы хостов или среды), которое интерпретирует временные метки входящих данных лога:

1. Выберите Добавить правило, чтобы начать настройку правила.

Название правила

Имя, которое будет отображаться для вашей конфигурации.

Шаблон

Введите шаблон, который будет считываться из логов как дата. Подробную информацию о форматах временных меток см. в разделах «Поддерживаемые форматы временных меток (Logs Classic)» и «Библиотека дат».

Необходимо указать как минимум год, месяц, день, часы, минуты и секунды, хотя можно использовать и альтернативные форматы. Можно включить индикатор часового пояса (%z) или указать часовой пояс отдельно в определении правила.

Правила без заданного шаблона могут переопределять часовой пояс только для поддерживаемых по умолчанию меток времени.

Ограничение на поиск по временной метке

Используйте это поле, чтобы определить количество символов в каждой строке лога, где выполняется поиск по метке времени. Если вы хотите игнорировать метки времени и разделять логи по правилам по умолчанию, установите это значение равным 0. Используйте это поле, чтобы переопределить глобальное ограничение на поиск по метке времени (по умолчанию 64 байта).

Часовой пояс

Выберите часовой пояс, который будет применяться к этому шаблону. Этот параметр недоступен, если вы уже указали часовой пояс в шаблоне временной метки (%z).

Вы можете выбрать Местный часовой пояс для использования часового пояса хоста, на котором запущен ЕдиныйАгент.

Сопоставитель

Выберите Добавить сопоставитель, чтобы создать конкретное соответствие для этого правила и сузить область действия этого правила.

В одно правило можно включить несколько сопоставителей. Например, правило конфигурации временной метки может применяться к логам из определенного контейнера, пространства имен или источника логов. Для сопоставления нескольких сопоставителей с одинаковым атрибутом используется логика И, а для сопоставлений с несколькими присвоенными им значениями — логика ИЛИ.

Атрибут сопоставления	Сопоставление основано на
Группа процессов	Идентификатор группы процессов.
Источник лога	Путь к файлу лога; поддерживаются подстановочные знаки в виде звездочки.
имя контейнера K8s	Название контейнера Kubernetes.
имя пространства имен K8s	Название пространства имен Kubernetes.
Название развертывания Kubernetes	Название развертывания Kubernetes.
Название контейнера	Название контейнера.
Идентификатор группы контейнеров сущности DT	Идентификатор группы контейнеров сущностей DT.
Технологическая технология	Название технологии.

1. Выберите соответствующий атрибут.
2. Выберите Значение и из списка Значение выберите обнаруженные элементы данных лога. Вы можете добавить несколько значений к выбранному атрибуту. Вы можете использовать один сопоставитель, который указывает значения /var/log/syslog и Windows Application Log и соответствует им. Используйте звездочки (*) в качестве подстановочных символов для получения частичного совпадения.
3. Выберите Сохранить изменения.

Правила выполняются в том порядке, в котором они указаны на странице Временные метки/Шаблоны разделения.

Задержка распространения правила переупорядочивания

При изменении порядка выполнения правил (для изменения порядка их выполнения) необходимо учитывать двух-трехминутное время распространения изменений между моментом их сохранения и моментом вступления в силу.

Переключатель «Активно»

Начиная с версии ЕдиныйАгент 1.249, вы можете активировать/деактивировать свои правила, включив/выключив переключатель Активно. Для эффективного управления правилами мы рекомендуем обновить ЕдиныйАгент до версии 1.249. Если на хосте установлены правила с версией ЕдиногоАгента ниже 249, вы не сможете их деактивировать. В этом случае вам потребуется удалить такие правила, выбрав Удалить на уровне правила или через REST API.

Правила выполняются в том порядке, в котором они указаны на странице Временные метки/Шаблоны разделения.

REST API

Для управления настройками меток времени вы можете использовать API настроек:

• Схема представления
• Список сохраненных объектов конфигурации
• Просмотреть отдельный объект конфигурации
• Создать новый, отредактировать или удалить существующий объект конфигурации.

Чтобы проверить текущую версию схемы для конфигурации временной метки, перечислите все доступные схемы и найдите идентификатор схемы builtin:logmonitoring.timestamp-configuration.

Объекты конфигурации временных меток доступны для настройки в следующих областях:

• environment — Объект конфигурации влияет на все хосты в данной среде.
• host_group — Объект конфигурации влияет на все хосты, назначенные данной группе хостов.
• host — Объект конфигурации влияет только на указанный хост.

Для создания конфигурации метки времени с использованием API:

1. Создайте токен доступа с правами на запись настроек (settings.write) и чтение настроек (settings.read).
2. Используйте конечную точку GET для получения схемы, чтобы узнать формат JSON, необходимый для отправки вашей конфигурации. Идентификатор схемы конфигурации с меткой времени (schemaId) — builtin:logmonitoring.timestamp-configuration. Вот пример полезной нагрузки JSON с конфигурацией метки времени:

[ { "insertAfter" : "uAAZ0ZW5hbnQABnRlbmFudAAkMGUzYmY2ZmYtMDc2ZC0zNzFmLhXaq0", "schemaId" : "builtin:logmonitoring.timestamp-configuration", "schemaVersion" : "0.1.0", "scope" : "tenant", "value" : { "config-item-title" : "Added from REST API", "date-time-pattern" : "%Y-%m-%d %H:%M:%S", "timezone" : "CET", "matchers" : [ { "attribute" : "dt.entity.process_group", "operator" : "MATCHES", "values" : [ "PROCESS_GROUP-05F00CBACF39EBD1" ] }, { "attribute" : "log.source", "operator" : "MATCHES", "values" : [ "Windows System Log", "Windows Security Log" ] } ] } } ]

1. Используйте конечную точку POST для отправки объекта, чтобы передать вашу конфигурацию.