Анализ шаблонов логов

Анализ шаблонов логов

Предварительный просмотр

Анализ шаблонов в приложении Логи группирует записи логов, имеющие схожую структуру, в один шаблон. Это помогает понять форму данных логов без чтения отдельных сообщений и сворачивает большие объёмы похожих логов в компактный, удобный для восприятия список. Анализ шаблонов выполняется по полю content записей логов, хранящихся в хранилище данных и соответствующих текущим фильтрам и временному диапазону, с использованием специализированной модели анализа шаблонов логов ИИ Ключ-АСТРОМ. Результат анализа шаблонов не загружается повторно и не сохраняется, так как это представление данных на момент чтения.

Варианты использования

• Обзор ошибок: анализ шаблонов показывает, какие логи ошибок похожи и встречаются чаще всего. Это помогает решить, на какие логи важно реагировать в первую очередь и продолжать расследование.
• Исследование логов: когда вы фильтруете по источнику логов, пространству имён Kubernetes или тегу сервиса для анализа, анализ шаблонов показывает, какие типы сообщений создаются, без необходимости прокручивать отдельные логи или писать запрос DQL.
• Поиск выбросов: анализ шаблонов показывает переменные части в остальном похожих сообщений логов (токены). Быстрый обзор токенов позволяет находить выбросы, такие как коды ошибок, IP-адреса, ID пользователей или другие значения.
• Сокращение массовых данных: когда запрос возвращает тысячи похожих логов, анализ шаблонов помогает определить, являются ли они, например, всего 10 повторяющимися шаблонами сообщений.

Включение анализа шаблонов

Анализ шаблонов логов — это альтернативный режим запроса в Логах.

• Обычный режим запроса «Логи» позволяет запрашивать отдельные записи логов.
• Режим запроса «Шаблоны (предварительный просмотр)» позволяет обнаруживать шаблоны в логах и видеть результаты, сгруппированные по статусу и шаблону.

Запуск анализа шаблонов логов

• Перейдите в Логи.
• Задайте область анализа:
  • Используйте Сегменты для применения глобальных переиспользуемых фильтров.
  • Используйте фасеты и поле фильтра, чтобы сузить записи логов.
  • Задайте временной диапазон.
• Выберите Шаблоны (предварительный просмотр), чтобы переключить режим запроса.
• Выберите Запустить запрос.

Анализ шаблонов применяется к записям, соответствующим текущим фильтрам и временному диапазону. Если вы измените фильтры или временной диапазон, повторно запустите запрос, чтобы обновить результаты шаблонов.

Оптимизация использования с помощью конкретных фильтров и узкого временного диапазона

Если запрос возвращает более 50 000 записей логов, анализ шаблонов использует выборку данных для повышения скорости отклика. В случае выборочных данных шаблоны логов с небольшим количеством совпадающих логов могут быть исключены из результата. Уменьшите набор данных, добавив фильтры или сузив временной диапазон, чтобы устранить влияние выборки:

• Примените фильтр с помощью основного поля или основного тега хранилища данных и при необходимости используйте дополнительные фильтры.
• Используйте временной диапазон в 30 минут.
• Выберите только один фильтр статуса, чтобы, например, сосредоточиться только на ошибках.

Просмотр и обмен обнаруженными шаблонами

• Наблюдайте список обнаруженных шаблонов со следующими полями:
  • Статус — серьёзность логов, соответствующих этому шаблону. Шаблоны группируются по статусу, данные с более высокой серьёзностью отображаются первыми.
  • Количество — сколько записей логов в текущей области соответствуют этому шаблону. Шаблоны сортируются по количеству записей, соответствующих каждому шаблону.
  • Шаблон — репрезентативное сообщение с переменными частями, показанными как токены.
• Обратите внимание, что токены или переменные части сообщения лога в шаблоне выделены.
• Используйте Включить перенос строк и Отключить перенос строк для улучшения читаемости многострочных шаблонов.

Чтобы поделиться списком обнаруженных шаблонов, поделитесь URL результата из адресной строки браузера. Получатель сможет выполнить анализ шаблонов и увидеть тот же результат, если у него есть доступ к соответствующему приложению и данным.

Изучение шаблона

Чтобы изучить шаблон, выберите его в списке и просмотрите его подробности на боковой панели.

• Описание шаблона отображается полностью, с достаточным пространством для чтения длинных сообщений.
• Выберите токен (например, <IP>), чтобы увидеть распределение значений этого токена по совпавшим логам. Значения сортируются по количеству вхождений и относительной релевантности, например:
  • 10.130.0.6 — 18
  • 10.130.0.7 — 10
• Выберите, чтобы скопировать синтаксис DPL шаблона.
• Выберите токен (например, <NUM>), чтобы увидеть распределение значений.
• Просмотрите Пример лога, чтобы увидеть исходную запись лога, соответствующую этому шаблону. Выберите, чтобы скопировать сообщение лога.
• Выберите Полезно или Не полезно, чтобы оставить отзыв.
• Чтобы получить сгенерированное ИИ объяснение шаблона, выберите Объяснить шаблон. Подробнее см. Объяснение записей логов с помощью ИИ.

Упрощённое представление шаблона

Специализированная модель анализа шаблонов логов ИИ Ключ-АСТРОМ, используемая в Логах, выводит шаблоны в синтаксисе DPL, что делает шаблон переиспользуемым в Ключ-АСТРОМ, например в инструкции DQL. Эти шаблоны отображаются в упрощённом представлении для повышения читаемости. В упрощённом представлении шаблона вместо сопоставителей DPL отображаются следующие заполнители токенов.

Заполнители токенов	Сопоставители DPL	Пример значения
	TIMESTAMP, TIME, DATE, ISO8601, HTTPDATE, JSONTIMESTAMP	2026-04-15T14:23:01Z
<IP>	IPADDR, IPV4, IPV6	10.130.0.6
<NUM>	INT, LONG, DOUBLE, CDOUBLE, FLOAT, NUMBER, HEXINT	42
<JSON>	JSON	{"flag": "high_cpu_usage", "enabled": false}
<*>	LD, LDATA, DATA, STRING, SQS, DQS, WORD, ALPHA, ALNUM, UPPER, LOWER	Свободный текст или другие типы

Доступ к синтаксису DPL шаблона

Анализ шаблонов отображает упрощённое представление шаблона. Вы можете получить доступ к полному синтаксису DPL шаблона и скопировать его:

• Запустите анализ шаблонов логов, как описано выше.
• В соответствующей строке выберите > Копировать DPL.
• Изучите шаблон, как описано выше.
• В текстовом поле Шаблон выберите.

Ограничения

Применяются следующие ограничения:

• Если исходный результат запроса превышает 50 000 записей или 100 МБ данных, анализ шаблонов выполняет выборку данных.
• Анализ шаблонов логов использует поле content в качестве входного. Записи логов с полем content длиннее 1 500 символов исключаются из анализа шаблонов.
• Структуры JSON в content обнаруживаются как токены JSON без обнаружения отдельных токенов внутри структуры JSON.
• Редактор DQL недоступен в режиме запроса «Шаблоны (предварительный просмотр)». Переключитесь обратно в режим запроса «Логи», чтобы просмотреть или отредактировать DQL для той же области.
• Результаты шаблонов не кэшируются при смене режимов. При переключении между режимами «Логи» и «Шаблоны (предварительный просмотр)» шаблоны запрашиваются заново при следующем запуске запроса.

Оставьте отзыв

Анализ шаблонов логов находится в активной разработке, и ваш отзыв помогает формировать будущее этой функции. Чтобы сообщить нам о ценности анализа шаблонов логов для вас или о том, каких аспектов вам не хватает:

• Выберите любой шаблон в списке результатов.
• Выберите Я удовлетворён или Я не удовлетворён.
• В появившемся текстовом поле добавьте любой дополнительный контекст.
• Выберите Отправить, чтобы отправить отзыв.

Мы ценим отзывы по любой теме, включая:

• Вариант использования: помог ли анализ шаблонов достичь того, над чем вы работаете?
• Обнаружение шаблонов: были ли похожие сообщения сгруппированы правильно? Были ли шаблоны разделены, хотя должны были быть одним?
• Обнаружение токенов: были ли переменные части шаблонов обнаружены с правильными типами?