Контроль затрат на запросы логов с помощью хранения с включёнными запросами

Контроль затрат на запросы логов с помощью хранения с включёнными запросами

Логи — это мощный ресурс для понимания поведения системы, диагностики проблем, поддержки сценариев миграции и многого другого. Во многих командах логи играют центральную роль в повседневной работе и принятии решений. Однако такое широкое использование часто приводит к большому объёму запросов, что иногда выливается в неожиданные и значительные затраты.

Сценарий

Это руководство объясняет, как использовать возможность DPS «Хранение с включёнными запросами» для контроля и прогнозирования потребления логов:

• Обеспечьте предсказуемые затраты на запросы логов, используя модель на основе хранения, которая идеальна для команд, которым нужна предварительная видимость затрат и контроль бюджета.
• Поощряйте экономичное использование, показывая, как пользователи и группы могут выполнять включённые запросы, поддерживая ответственную работу с данными без необходимости контролировать каждый запрос.

Предварительные требования

Перед началом убедитесь, что выполнены следующие требования:

• Возможность DPS «Управление логами и аналитика — хранение с включёнными запросами» доступна в вашем тарифном плане.
• У вас есть разрешения на управление пользовательскими бакетами.
• Необязательно: вы настроили доступ групп пользователей только к включённому временному диапазону. Подробности см. в разделе «Ограничение доступа только к включённым данным логов».

Использование хранения с включёнными запросами

1. Настройте бакет для включённых запросов

Перейдите в Настройки > Управление хранилищем, выберите Управление хранилищем бакетов и выберите Редактировать для бакета логов, который хотите настроить.

2. Установите срок хранения включённых запросов

В окне Редактировать бакет установите Срок хранения включённых запросов в количество дней (минимум 10, максимум 35). Запросы в этом временном диапазоне не будут тарифицироваться.

Пример: если срок хранения включённых запросов установлен в 12 дней и вы выполняете запрос:

fetch logs, from: now()-2d

запрос не будет тарифицироваться. Если вы выполните запрос:

fetch logs, from: now()-30d

с вас будет взиматься плата за просканированные байты для данных старше 13 дней.

Настройку срока хранения включённых запросов можно изменять раз в 24 часа, и она вступает в силу ежедневно в полночь по UTC. Изменения этой настройки повлияют на вашу тарификацию. Планируйте корректировки тщательно, чтобы избежать неожиданных затрат.

3. Ограничьте доступ только к включённым данным логов

Необязательно

По умолчанию пользователи могут получить доступ ко всем данным логов. Вы можете ограничить определённые группы пользователей доступом только к данным логов во включённом временном диапазоне.

Чтобы ограничить доступ только к включённым данным логов:

• Перейдите в Управление аккаунтом > Управление идентификацией и доступом > Управление политиками.
• Выберите Создать политику или отредактируйте существующую, нажав Редактировать политику.
• Определите политику, ограничивающую доступ только включёнными запросами, добавив следующую инструкцию:

ALLOW storage:buckets:read WHERE storage:query-consumption="INCLUDED";

• Выберите Сохранить.
• Назначьте политику. Подробности о управлении разрешениями групп с помощью IAM см. в разделе «Работа с политиками».

Пользователи, ограниченные включёнными запросами, получат предупреждение, если попытаются просканировать данные за пределами разрешённого временного диапазона.

4. Понимайте свою квоту

Объём данных, хранящихся в бакете, настроенном для хранения с включёнными запросами, определяет объём включённых запросов.

Использование включённых запросов в день = (ГиБ хранимых логов) × 15

Пример: если вы храните 1 ГиБ/день и устанавливаете срок хранения включённых запросов в 10 дней, ваша квота составит 150 ГиБ. В любой 24-часовой период клиенты с хранением с включёнными запросами имеют право выполнять запросы с совокупным объёмом просканированных ГиБ до 15 раз больше объёма данных логов, хранящихся в рамках временного диапазона включённых запросов на тот момент. Если вы превысите объём включённых запросов, команда Ключ-АСТРОМ свяжется с вами и поможет оценить и оптимизировать потребление запросов.

5. Отслеживайте использование

Необязательно

Ключ-АСТРОМ предоставляет два готовых дашборда для мониторинга использования логов. Чтобы получить дашборды, перейдите в Дашборды > Готовые дашборды и выберите подходящий дашборд:

• Использование и затраты на запросы логов — для отслеживания ежедневного объёма запросов и соблюдения квоты.
• Использование — логи — для просмотра потребления с детализацией по возможностям DPS «Загрузка и обработка», «Запрос» и «Хранение».

Заключение

Настроив хранение с включёнными запросами, вы сделали ключевой шаг к предсказуемому и эффективному управлению логами. Эта настройка позволяет вашим командам уверенно исследовать данные логов в определённых границах затрат, а администраторам — управлять использованием без дополнительной сложности. Включаете ли вы бизнес-подразделения или управляете затратами на уровне всей платформы, этот подход помогает найти правильный баланс между гибкостью и контролем, чтобы выбрать подходящую модель для ваших вариантов использования.

Часто задаваемые вопросы

Что произойдёт, если я превышу квоту включённых запросов?

Мы предусмотрели достаточное количество включённых запросов для большинства клиентов. Если вы превысите объём включённых запросов, команда Ключ-АСТРОМ свяжется с вами и поможет оценить и оптимизировать потребление запросов. В качестве альтернативы, если опция «Хранение с включёнными запросами» не соответствует вашему варианту использования и требованиям, вы можете в любое время перенастроить бакет на использование индивидуально тарифицируемых запросов по требованию без потери данных.

Могу ли я изменить период включённых запросов в любое время?

Вы можете обновить настройки в любое время, и любые изменения вступят в силу в следующую полночь по UTC (00:00 UTC).

Как рассчитывается квота включённых запросов?

Квота рассчитывается как 15× объём хранимых данных в рамках периода включённых запросов. Например, если вы храните 1 ГиБ/день и устанавливаете период в 10 дней, ваша квота составит: 15 × 1 ГиБ/день × 10 дней = 150 ГиБ квоты запросов (за 24 часа).

Будут ли пользователи заблокированы, если попытаются выполнить запрос за пределами включённого периода?

Нет. Пользователи, ограниченные областью только включённых запросов, получат предупреждение, если попытаются просканировать данные за пределами разрешённого временного диапазона, но они не будут заблокированы от доступа к логам в пределах включённого периода для сканируемого бакета.

Могу ли я комбинировать включённые запросы с тарификацией по требованию?

Да, можете. Хранение с включёнными запросами — это опция, которая позволяет использовать включённые запросы для данных возрастом 10–35 дней и автоматически и бесшовно переключаться на тарификацию по требованию для данных, хранящихся дольше этого периода, без необходимости управлять отдельными уровнями хранения или восстанавливать архивные данные. Например, если вы активируете хранение с включёнными запросами для бакета логов и выполняете запрос, читающий 90 дней логов, первые 10–35 дней включённых запросов (согласно настроенному временному диапазону) не тарифицируются, а логи старше настроенного временного диапазона тарифицируются по требованию.