Настройка хранения и сроков хранения логов

Настройка хранения и сроков хранения логов

Логи хранятся в бакетах с периодом хранения от 10 дней до 10 лет. По умолчанию данные логов хранятся 35 дней в бакете default_logs. В этом руководстве вы узнаете, как хранить данные логов в бакетах с определёнными сроками хранения. Мы рассмотрим три различных примера.

Для кого это руководство

Это руководство предназначено для инженеров по надёжности (SRE) и архитекторов, которые хотят настроить параметры хранения и сроков хранения для контроля доступа, оптимизации или соответствия требованиям.

Что вы узнаете

В этом руководстве вы узнаете, как:

• Хранить данные логов в пользовательском бакете для определённой группы пользователей или с более длительным сроком хранения до 10 лет.
• Пропускать хранение данных логов из определённого источника загрузки или на основе условий сопоставления.
• Управлять тарификацией запросов для бакета логов.

Предварительные требования

• Разрешения на управление пользовательскими бакетами.
• Достаточный уровень доступа для создания нового конвейера или редактирования существующего. Подробнее см. Управление доступом на основе владельца в OpenPipeline.

Хранение логов в течение трёх лет

Использование бакетов может повысить производительность запросов за счёт сокращения времени выполнения запросов и объёма читаемых данных. В этой процедуре вы создаёте новый бакет с пользовательским сроком хранения для ваших данных логов. Записи логов, соответствующие маршруту и условиям конвейера, хранятся в соответствии с выбранным сроком хранения бакета и доступны пользователям на основе разрешений. Используя пользовательский бакет логов, вы можете:

• Хранить данные логов с одинаковым сроком хранения.
• Хранить данные логов, которые должны запрашиваться и анализироваться вместе.
• Хранить данные логов, которые должны быть удалены одновременно.

Подробнее см. Лучшие практики для управления логами и аналитики.

1. Создайте пользовательский бакет

• Перейдите в Настройки > Управление хранилищем > Управление хранилищем бакетов > Бакет.
• Определите новый бакет.
• Введите имя бакета и пользовательский срок хранения в днях.
• В раскрывающемся списке Тип таблицы бакета выберите logs.
• Выберите Создать.
• Выберите (Обновить), чтобы обновить список бакетов.

2. Назначьте данные логов бакету

• Перейдите в Настройки > Обработка и контекстуализация > OpenPipeline > Логи > Конвейеры.
• Выберите существующий конвейер или создайте новый.
• На этапе Назначение бакета выберите Назначение бакета и определите новый процессор.
• Введите имя процессора и условие сопоставления.
• В раскрывающемся списке Хранилище выберите бакет, созданный на предыдущем шаге.
• Выберите Сохранить.
• Убедитесь, что записи направляются в ваш конвейер.

3. Назначьте разрешения бакета пользователям

• Перейдите в Управление аккаунтом и выберите один из ваших аккаунтов.
• Настройте разрешения и назначьте разрешения бакета нужным пользователям.

Не хранить выбранные логи

В этом примере вы пропускаете хранение логов, соответствующих маршруту и условиям конвейера. Записи логов не сохраняются. Это может быть полезно, когда вы разбираете строки логов и извлекаете метрики, а доступ к исходным записям не нужен.

Чтобы пропустить хранение для выбранных записей логов:

• Перейдите в Настройки > Обработка и контекстуализация > OpenPipeline > Логи > Конвейеры; выберите существующий конвейер или создайте новый.
• На этапе Назначение бакета выберите Без назначения хранилища.
• Введите имя процессора и условие сопоставления.
• Выберите Сохранить.
• Убедитесь, что записи направляются в ваш конвейер.

Когда вы настраиваете Без назначения хранилища, запись продолжает проходить через все настроенные этапы конвейера и не сохраняется только в конце конвейера. Это означает, что вы можете извлекать метрики и генерировать оповещения из записей, которые не будете хранить.

Управление тарификацией запросов для бакета

Существует две модели хранения, которые можно настроить для каждого бакета:

• На основе использования: каждое выполнение запроса оплачивается отдельно.
• Хранение с включёнными запросами: данные логов за определённый временной диапазон включены в стоимость хранения. Запрос этих данных не влечёт дополнительных затрат.

Поздравляем!

Вы завершили это руководство. Бакеты — это основа управления логами: настройте их правильно, чтобы избежать разрозненных данных и оптимизировать хранение. Несколько лучших практик могут существенно повлиять на производительность и стоимость. Подробнее см. Лучшие практики для управления логами и аналитики.