DDU для управления логами и аналитики

DDU для управления логами и аналитики

Описанная здесь модель потребления DDU для управления логами и аналитики затрагивает только среды Ключ-АСТРОМ SaaS, в которых активирована поддержка для управления данными логов. Потребление DDU для всех остальных типов возможностей DDU, включая мониторинг логов для Ключ-АСТРОМ SaaS и управляемых сред, остается без изменений.

На этой странице объясняется, как управление логами и аналитика Ключ-АСТРОМ обрабатывает пакеты DDU и как можно оценить и отслеживать потребление DDU в вашей среде.

Модель потребления DDU для управления логами и аналитики

Модель потребления DDU для управления логами и аналитики основана на трех измерениях использования данных (ввод и обработка, хранение и запросы). Единицей измерения объема потребляемых данных являются гигабайты (ГБ). Каждое из трех измерений использования данных потребляет DDU с разным весом (подробнее см. строку «Потребление DDU» в таблице ниже).

Общее потребление DDU для управления логами и аналитики рассчитывается путем умножения веса DDU для каждого из трех параметров использования данных на объем данных в ГБ.

Единица измерения	Приём и обработка	Удерживать	Запрос
Определение	Входящие данные — это объем исходных данных в байтах (логи и события), отправленных в Ключ-АСТРОМ после декомпрессии и до обогащения и преобразования.	Сохраненные данные — это объем данных, сохраненных в хранилище после анализа, обогащения, преобразования и фильтрации данных, но до сжатия.	Запрашиваемые данные — это данные, считываемые во время выполнения DQL-запроса, включая выборочные данные.
потребление ДДУ	100,00 DDU за ГБ	0,30 DDU за сохраняемый ГБ в день	1,70 DDU на ГБ прочитанного

Приём и обработка

Что включает в себя измерение «Ввод и обработка данных»?

Концепция	Объяснение
Доставка данных	Передача данных логов через ЕдиныйАгент или API приема логов (через АктивныйШлюз)
Обогащение топологии	Обогащение событий лога метаданными об источнике данных и топологии.
Преобразование данных	Добавляйте, редактируйте или удаляйте любые атрибуты лога. Выполнение математических преобразований числовых значений (например, создание новых атрибутов на основе вычислений существующих атрибутов). Извлекайте бизнес-данные, данные об инфраструктуре, приложениях или другие данные из необработанных логов. Это может быть один символ, строка, число, массив значений или что-либо другое. Извлеченные данные можно преобразовать в новый атрибут, что позволяет выполнять дополнительные запросы, фильтрацию и т. д. На основе вновь извлеченных атрибутов можно создавать метрики (см. раздел «Преобразование во временные ряды» ниже), или же извлеченные атрибуты можно запрашивать для проведения анализа по запросу. Маскировка конфиденциальных данных осуществляется путем замены всей записи лога, одного конкретного атрибута записи лога или определенного текста замаскированной строкой.
контроль хранения данных	Фильтруйте входящие логи по содержимому, топологии или метаданным, чтобы уменьшить количество лишней информации. Фильтрация логов расходует DDU во время приема и обработки, но не во время сохранения. Управление сроками хранения входящих логов на основе правил хранения данных.
Преобразование во временной ряд	Создавайте метрики на основе записей логов или атрибутов (обратите внимание, что создание пользовательских метрик потребляет дополнительные DDU-пакеты помимо тех, которые используются для приема и обработки данных).

Для определения потребления DDU в измерении «Ввод и обработка данных» выполните следующий расчет: (number of GBs ingested) × (100.00 DDU weight) = DDUs consumed

Следует учитывать, что обогащение и обработка данных могут значительно увеличить их объем. В зависимости от источника данных, используемой технологии, атрибутов и метаданных, добавленных в процессе обработки, общий объем данных после обработки может увеличиться в 2 раза и более.

Удержание

Что включает в себя параметр «Сохранение использования данных»?

Концепция	Объяснение
Доступность данных	Сохраненные данные доступны для анализа и запросов до окончания срока хранения.
Сроки хранения	Выберите желаемый срок хранения. 10 дней (10 дней) 2 недели (15 дней) 1 месяц (35 дней) по умолчанию 3 месяца (95 дней) 1 год (372 дня) 15 месяцев (462 дня) 3 года (1102 дня) 5 лет (1832 дня) 7 лет (2562 дня) 10 лет (3657 дней)

Для определения потребления DDU по параметру «Сохранение использования данных» выполните следующий расчет: (number of GB of processed data ingested) × (retention period in days) × (0.30 DDU weight) × (number of days that data is stored) = DDUs consumed

Запрос

Использование данных запроса происходит в следующих случаях:

• Выполнение запроса в окне просмотра логов и событий.
• Отправка пользовательских DQL-запросов в расширенном режиме просмотра логов и событий.
• На страницах унифицированного анализа отображаются данные лога конкретного объекта.
• Плитки панели мониторинга, основанные на данных логов, запускают выполнение DQL-запросов при обновлении и включают выборочные данные.
• Выполнение DQL-запросов через API.

Запросы на языке запросов Ключ-АСТРОМ (DQL) потребляют единицы данных ИИ (DDU) во время своей активности, даже если результаты таких запросов не возвращаются. Чтобы избежать ненужного потребления DDU, отменяйте текущие запросы к логам и агрегациям, которые больше не нужны. В противном случае вам может быть выставлен счет за незавершенные запросы.

Что включает в себя измерение «Использование данных в запросе»?

Концепция	Объяснение
Анализ при чтении	Используйте DQL для запроса исторических логов в хранилище и извлечения бизнес-данных, данных об инфраструктуре или других данных за любой период времени, а также используйте извлеченные данные для последующего анализа. Для анализа данных при чтении не требуется предварительное создание индексов или схемы.
Агрегация	Выполнение агрегирования, суммирования или статистического анализа данных в логах за определенные временные рамки или временные закономерности (например, появление данных с интервалом в 30 секунд или 10 минут), с использованием математических или логических функций.
Отчетность	Создавайте отчеты или сводки с настраиваемыми полями (столбцами), добавляя, изменяя или удаляя существующие атрибуты логов.
Контекст	Используйте DQL для анализа данных логов в контексте соответствующих данных на платформе Ключ-АСТРОМ, например, пользовательских сессий или распределенных трассировок.

Для определения потребления DDU по измерению использования данных запроса выполните следующий расчет: (number of GB of uncompressed data read during query execution) × (1.70 DDU weight) = DDUs consumed

Рассчитайте потребление DDU по различным параметрам использования данных

Ниже приведены примеры расчетов DDU, показывающие, как каждый параметр использования данных влияет на общее потребление DDU.

Шаг 1 – Прием и обработка

Например, предположим, что вы ежедневно генерируете 500 ГБ данных логов, которые затем загружаете в систему управления и анализа логов для обработки. В этом случае ежемесячное потребление DDU для загрузки и обработки составит 1 500 000 DDU:

• Объем потребляемой пищи в день: 500 ГБ
• Объем потребления в месяц: 15 000 ГБ (500 GB data per day × 30 days)
• Потребление ДДУ в месяц: 1 500 000 DDUs (15,000 GB per month × 100.00 DDUs per GB)

Шаг 2 - Сохранение

После этапа загрузки и обработки ваши данные постоянно сохраняются и обогащаются. Если на шаге 1 вы загрузили 500 ГБ необработанных данных, то ежедневно в ваше хранилище добавляется 900 ГБ обогащенных данных (500 GB × 1.8 for enrichment). В этом примере ваши обогащенные данные сохраняются в течение 35 дней. Ежемесячное потребление DDU (после периода наращивания в 35 дней) для функции Retain в этом случае составляет 283 500 DDU:

• Сохранение объема в течение 1 дня: 900 ГБ (500 GB data per day × 1.8 enrichment)
• Сохраненный объем в течение 35 дней: 31 500 ГБ (900 GB data per day × 35 days)
• потребление ДДУ в день: 9450 DDUs (31,500 GB × 0.3 DDUs per GB per day)
• Потребление ДДУ в месяц: 283 500 DDUs (9,450 DDUs × 30 days)

Если тот же объем обработанных данных необходимо хранить в течение года, то ежемесячное потребление DDU (после увеличения на 365 дней в данном случае) для Retain составит 2 956 500 DDU:

• Сохранение объема в течение 1 дня: 900 ГБ (500 GB data per day × 1.8 enrichment)
• Сохраненный объем в течение 365 дней: 328 500 ГБ (900 GB data per day × 365 days)
• потребление ДДУ в день: 98 550 DDUs (328 500 GB × 0.3 DDUs per GB per day)
• Потребление ДДУ в месяц: 2 956 500 DDUs (98,550 DDUs × 30 days)

Шаг 3 - Запрос

Предположим, что для устранения инцидентов и анализа проблем с производительностью ваша команда выполняет DQL-запросы с общим объемом считываемых данных в 25 ТБ в день. В этом случае ежемесячное потребление DDU для запроса составляет 1 275 000 DDU:

• Объем прочитанных данных в день: 25 000 ГБ
• Объем прочитанных данных в месяц: 750 000 ГБ (25,000 GB data per day × 30 days)
• Потребление ДДУ в месяц: 1 275 000 DDUs (750,000 GB per month × 1.70 DDUs per GB)

Шаг 4 – Общее потребление DDU

Общее ежемесячное потребление DDU для данного примера сценария с 35-дневным сроком хранения данных составляет 3 058 500 DDU:

• Ingest – потребление DDU в месяц: 1 500 000 DDUs
• Сохранение – потребление DDU в месяц: 283 500 DDUs
• Запрос – потребление DDU в месяц: 1 275 000 DDUs
• Общее потребление DDU в месяц: 3 058 500 DDUs

Часто задаваемые вопросы

Могу ли я изменить срок хранения данных для управления логами и аналитики? Да. Для файлов логов действуют следующие сроки хранения:

• 10 дней (10 дней)
• 2 недели (15 дней)
• 1 месяц (35 дней) по умолчанию
• 3 месяца (95 дней)
• 1 год (372 дня)
• 15 месяцев (462 дня)
• 3 года (1102 дня)
• 5 лет (1832 дня)
• 7 лет (2562 дня)
• 10 лет (3657 дней)

Где я могу проверить потребление DDU для логов и событий в моей среде? Перейдите в раздел Управление учетной записью > Лицензии / Подписки > Обзор. Для доступа к этой странице вам потребуются права на изменение настроек мониторинга или учетная запись администратора. На странице блоков данных ИИ (DDU): a. В таблице «Потребление по пулам DDU» см. строку «Мониторинг логов». b. В разделе сведений о потреблении DDU перейдите на вкладку «Мониторинг логов».

Каков вес DDU одной записи лога или события? В системах управления логами и аналитики объем данных измеряется в гигабайтах (ГБ). Потребление основано на трех параметрах использования данных. Вес потребления DDU по каждому параметру следующий:

• Загрузка и обработка: 100,00 DDU на ГБ загруженных и обработанных данных.
• Сохранение: 0,30 DDU на ГБ в день для хранимых данных.
• Запрос: 1,70 DDU на ГБ для данных, считываемых из хранилища во время выполнения запроса.

Каков размер одной записи в логе или записи события? Количество и размер отдельных записей лога не имеют значения для потребления DDU. Для управления логами и аналитики потребление DDU за определенный период рассчитывается на основе объема поступивших и обработанных данных, объема данных, хранящихся в день, и объема данных, считанных из хранилища во время выполнения запроса.

Существуют ли какие-либо DDU-пакеты, включенные в состав хоста, для управления логами и аналитики? Нет. Управление логами и аналитика всегда используют DDU для приема и обработки данных, хранения и запросов. Обратите внимание, что вы можете выбрать только прием и обработку данных без их хранения или запросов. Каждая среда Ключ-АСТРОМ включает бесплатный уровень в 200 000 DDU в год, которые можно использовать для приема и обработки данных, хранения и запросов.

В настоящее время я использую DDU для мониторинга логов в Ключ-АСТРОМ SaaS и Managed, для пользовательских метрик, трассировок, событий и бессерверных функций, и не планирую миграцию. Изменится ли что-нибудь для меня? Нет. Описанная здесь модель потребления DDU для управления логами и аналитики затрагивает только среды Ключ-АСТРОМ SaaS, активированные и подключенные к кластеру для управления данными логов. Потребление DDU для всех остальных типов возможностей DDU, включая мониторинг логов для Ключ-АСТРОМ SaaS и управляемых систем, остается без изменений.

Я рассматриваю возможность перехода на систему управления логами и аналитики. Что для меня изменится? Если в вашей среде активирована функция управления логами и аналитики, модель потребления DDU, использующая гигабайты в качестве единицы измерения, заменит модель потребления на основе событий, используемую для мониторинга логов в Ключ-АСТРОМ SaaS & Managed. Потребление других типов возможностей на основе DDU, включая мониторинг логов в Ключ-АСТРОМ SaaS & Managed (если вы продолжаете использовать его параллельно), останется без изменений.

Использует ли платформа Ключ-АСТРОМ DDU для фрагментов данных в гигабайтах? Потребуется ли всего 50 DDU для обработки и загрузки 0,5 ГБ данных? Да. Каждый принятый ГБ (или его часть до обогащения и обработки) суммируется, а затем умножается на вес DDU, равный 100,00 DDU. Например, потребление DDU для приема и обработки в размере 10,50 ГБ эквивалентно 1050 DDU: 10.50 (GB log data) × 100.00 (DDU weight) = 1,050 DDUs

Я хочу преобразовать свои сообщения логов в метрики. Как это повлияет на потребление DDU в моей среде? Хотя запись входящих логов в виде временных рядов является экономически эффективным способом визуализации метрик на основе логов, этот подход потребляет дополнительные DDU для создания пользовательских метрик в дополнение к DDU, потребляемым для приема и обработки данных.

Приводят ли сбои в выполнении запросов к расходу DDU? Нет, при возникновении внутренних сбоев во время выполнения запроса (например, превышение времени ожидания) DDU не расходуются.

Приводят ли отмененные выполнения запросов к расходу DDU? Если вы отмените выполнение запроса, все данные, прочитанные до отмены, будут учтены при расчете потребления DDU.