DDU для бизнес-событий
DDU для бизнес-событий
Описанная здесь модель потребления DDU для бизнес-событий затрагивает только среды Ключ-АСТРОМ SaaS. Потребление DDU для всех остальных типов возможностей DDU остается без изменений. Для получения подробной информации об активации бизнес-событий в вашей среде Ключ-АСТРОМ обратитесь к специалисту по продуктам Ключ-АСТРОМ через онлайн-чат.
На этой странице объясняется, как DDU-пакеты обрабатываются бизнес-событиями и как можно оценить и отслеживать потребление DDU-пакетов в вашей среде.
Модель потребления DDU для деловых мероприятий
Модель потребления DDU для бизнес-событий основана на трех измерениях использования данных (ввод и обработка, хранение и запросы). Единицей измерения объема потребляемых данных являются гигабайты (ГБ). Каждое из трех измерений использования данных потребляет DDU с разным весом.
Общий объем потребления DDU для бизнес-событий рассчитывается путем умножения веса DDU для каждого из трех параметров использования данных на объем данных в ГБ.
| Приём и обработка | Удерживать | Запрос | |
|---|---|---|---|
| Определение | Обработанные данные — это объем исходных данных в байтах, отправленных в Ключ-АСТРОМ до обогащения и преобразования. | Сохраненные данные — это объем данных, сохраненных в хранилище после анализа, обогащения, преобразования и фильтрации данных, но до сжатия. | Запрошенные данные — это объем данных, считанных во время выполнения DQL-запроса, включая выборочные данные. |
| потребление ДДУ | 100,00 DDU за ГБ | 0,30 DDU на сохраняемый ГБ в день | 1,70 DDU на ГБ прочитанного |
Приём и обработка
Что включает в себя измерение «Ввод и обработка данных»?
| Концепция | Объяснение |
|---|---|
| Доставка данных | Доставка бизнес-событий через ЕдиныйАгент, RUM JavaScript или Generic Event Ingestion API (через АктивныйШлюз) |
| Обогащение топологии | Обогащение бизнес-событий метаданными источников данных и топологии. |
| Преобразование данных | Добавляйте, редактируйте или удаляйте любые атрибуты бизнес-событий.
Выполнение математических преобразований числовых значений (например, создание новых атрибутов на основе вычислений в существующих полях). Извлекайте бизнес-данные, данные об инфраструктуре, приложениях или другие данные из необработанных бизнес-событий. Это может быть один символ, строка, число, массив значений или что-либо другое. Извлеченные данные можно преобразовать в новое поле, что позволит выполнять дополнительные запросы, фильтрацию и т. д. Маскировка конфиденциальных данных путем замены определенных бизнес-атрибутов замаскированной строкой. |
| контроль хранения данных | Управление сроками хранения данных входящих бизнес-событий на основе правил распределения по сегментам. |
| Преобразование в временные ряды | Создавайте метрики на основе атрибутов бизнес-событий (обратите внимание, что создание пользовательских метрик потребляет дополнительные DDU-пакеты помимо тех, которые используются для приема и обработки данных). |
Для определения потребления DDU в измерении «Ввод и обработка данных» выполните следующий расчет:
(number of GB ingested) × (100.00 DDU weight) = DDUs consumed
Следует учитывать, что обогащение и обработка данных могут увеличить их объем, как правило, на 0,5–1,0 кБ на каждое событие. В зависимости от источника данных, а также атрибутов и метаданных, добавленных в процессе обработки, общий объем данных после обработки может увеличиться в 2 раза и более. Обработка также может использоваться для удаления ненужных атрибутов событий с целью уменьшения объема сохраняемых данных.
Удерживать
Что включает в себя параметр «Сохранение использования данных»?
| Концепция | Объяснение |
|---|---|
| Доступность данных | Сохраненные данные доступны для анализа и запросов до окончания срока хранения. |
| Сроки хранения | Выберите желаемый срок хранения:
|
Для определения потребления DDU по параметру «Сохранение использования данных» выполните следующий расчет:
(number of GB of processed data stored) × (retention period in days) × (0.30 DDU weight) × (number of days that data is stored) = DDUs consumed
Запрос
Использование данных запроса происходит в следующих случаях:
- Отправка пользовательских DQL-запросов в расширенном режиме просмотра журналов и событий.
- Плитки панели мониторинга, основанные на данных о бизнес-событиях, настроены на запуск DQL-запросов. Каждое выполнение запроса приводит к обновлению данных и может включать выборочные данные.
- Выполнение DQL-запросов через API.
Что включает в себя измерение «Использование данных в запросе»?
| Концепция | Объяснение |
|---|---|
| Анализ при чтении | Используйте DQL для запроса исторических данных о бизнес-событиях, хранящихся в хранилище, и извлечения бизнес-данных, данных об инфраструктуре или других данных за любой период времени, а также используйте извлеченные данные для последующего анализа.
Для анализа данных при чтении не требуется предварительное создание индексов или схемы. |
| Агрегация | Выполняйте агрегирование, обобщение или статистический анализ данных о деловых событиях в определенных временных рамках или с заданными временными интервалами (например, данные с интервалом в 30 секунд или 10 минут), с использованием математических или логических функций. |
| Отчетность | Создавайте отчеты или сводки с настраиваемыми полями (столбцами), добавляя, изменяя или удаляя существующие атрибуты бизнес-событий. |
| Контекст | Используйте DQL для анализа данных о бизнес-событиях в контексте соответствующих данных на платформе Ключ-АСТРОМ, например, пользовательских сессий или распределенных трассировок. |
Для определения потребления DDU по измерению использования данных запроса выполните следующий расчет:
(number of GB of uncompressed data read during query execution) × (1.70 DDU weight) = DDUs consumed
Рассчитайте потребление DDU по различным параметрам использования данных
Шаг 1 – Прием и обработка
Предположим, вы ежедневно загружаете в Ключ-АСТРОМ 5 ГБ данных о бизнес-событиях. Годовое потребление DDU для процессов загрузки и обработки составляет 182 500 DDU:
- Объем потребляемой пищи в день: 5 ГБ
- Объем потребления в год: 1,825 ГБ (5 GB data per day × 365 days)
- потребление ДДУ в год: 182 500 DDUs (1,825 GB per year × 100.00 DDUs per GB)
Шаг 2 - Сохранение
После обработки в хранилище ежедневно добавляется обогащенный объем данных в 9 ГБ (5 ГБ × 1,8 для обогащения), который сохраняется в течение 35 дней. Годовое потребление DDU (после периода наращивания в 35 дней) для Retain составляет 34 675 DDU:
- Сохранение объема в течение 1 дня: 9 ГБ (5 ГБ данных в день × 1,8 обогащение)
- Сохраненный объем в течение 35 дней: 315 ГБ (9 ГБ данных в день × 35 дней)
- потребление ДДУ в день: 95 DDUs (315 ГБ × 0,3 DDU на ГБ в день)
- потребление ДДУ в год: 34 675 DDUs (95 DDUs × 365 days)
Если ежедневно в хранилище добавляется одинаковое количество обработанных данных, и они хранятся в течение 365 дней, то годовое потребление DDU (после увеличения на 365 дней в данном случае) для Retain составит 359 890 DDU:
- Сохранение объема в течение 1 дня: 9 ГБ (5 ГБ данных в день × 1,8 обогащение)
- Сохраненный объем в течение 365 дней: 3,285 ГБ (9 ГБ данных в день × 365 дней)
- потребление ДДУ в день: 986 DDUs (3285 ГБ × 0,3 DDU на ГБ в день)
- потребление ДДУ в год: 359 890 DDUs (986 DDUs × 365 days)
Шаг 3 - Запрос
Предположим, что для мониторинга производительности бизнеса и выявления аномалий ваша команда ежедневно выполняет DQL-запросы со средним объемом считываемых данных в 250 ГБ. В этом случае годовое потребление DDU для запроса составляет 155 125 DDU:
- Объем прочитанных данных в день: 250 ГБ
- Объем прочитанных данных в год: 91,250 ГБ (250 GB data per day × 365 days)
- потребление ДДУ в год: 155,125 DDUs (91,260 GB per year × 1.70 DDUs per GB)
Шаг 4 – Общее потребление DDU
Общее годовое потребление DDU для сценария с 35-дневным сроком хранения данных составляет 372 300 DDU:
- Потребление DDU – годовое потребление: 182 500 DDUs
- Сохранение – потребление DDU в год: 34 675 DDUs
- Запрос – потребление ДДУ в год: 155,125 DDUs
- Общее потребление ДДУ в год: 372 300 DDUs
Часто задаваемые вопросы
Могу ли я изменить срок хранения данных о деловых событиях? Начиная с версии Ключ-АСТРОМ 1.253, вы можете вручную установить период хранения данных для вашей SaaS-среды на 35 дней (по умолчанию), 1 год или 3 года.
Где я могу проверить потребление DDU в моей среде для бизнес-событий? Перейдите в раздел Управление учетной записью > Лицензии / Подписки > Обзор. Для доступа к этой странице вам потребуются права на изменение настроек мониторинга или учетная запись администратора. На странице Единицы данных Davis (DDU): а. В таблице «Потребление по пулам DDU» см. строку «События». б. В разделе «Подробные сведения о потреблении DDU» перейдите на вкладку «Бизнес-события».
Каков вес DDU одной записи журнала или бизнес-события? В системах управления журналами и аналитики объем данных измеряется в гигабайтах (ГБ). Потребление основано на трех параметрах использования данных. Вес потребления DDU по каждому параметру следующий:
- Загрузка и обработка: 100,00 DDU на ГБ загруженных и обработанных данных.
- Сохранение: 0,30 DDU на ГБ в день для хранимых данных.
- Запрос: 1,70 DDU на ГБ для данных, считываемых из хранилища во время выполнения запроса.
Каков размер одной записи о деловом событии? Количество и размер отдельных записей бизнес-событий не имеют значения для потребления DDU. Для бизнес-событий потребление DDU за определенный период рассчитывается на основе (1) объема принятых и обработанных данных, (2) объема данных, хранящихся в день, и (3) объема данных, считанных из хранилища во время выполнения запроса.
Доступны ли какие-либо льготы по программе DDU, предоставляемые организатором мероприятия, для деловых встреч? Нет, бизнес-события всегда потребляют DDU для операций ввода и обработки, хранения и запросов. Обратите внимание, что вы можете выбрать только ввод и обработку данных без их хранения или запросов. Каждая среда Ключ-АСТРОМ включает бесплатный уровень в 200 000 DDU в год, которые можно использовать для операций ввода и обработки, хранения и запросов.
Использует ли платформа Ключ-АСТРОМ DDU для обработки фрагментов данных в ГБ? Потребует ли 0,5 ГБ данных для приема и обработки всего 50 DDU?
Да, каждый принятый ГБ (или его часть до обогащения и обработки) суммируется, а затем умножается на вес DDU, равный 100,00 DDU. Например, потребление DDU для приема и обработки в размере 10,50 ГБ эквивалентно 1050 DDU: 10.50 (GB log data) × 100.00 (DDU weight) = 1,050 DDUs
Я хочу преобразовать атрибуты бизнес-событий в метрики. Как это повлияет на потребление DDU в моей среде? Хотя запись поступающих бизнес-событий в виде временных рядов является экономически эффективным способом визуализации метрик бизнес-событий, этот подход потребляет дополнительные DDU для создания пользовательских метрик, помимо тех DDU, которые используются для приема и обработки данных.
Приводят ли сбои в выполнении запросов к расходу DDU? Нет, при возникновении внутренних сбоев во время выполнения запроса (например, превышение времени ожидания) DDU не расходуются.
Приводят ли отмененные выполнения запросов к расходу DDU? Если вы отмените выполнение запроса, все данные, прочитанные до отмены, будут учтены при расчете потребления DDU.
Что такое обогащение данных, и какой объем данных оно добавит к моим данным? В процессе обработки бизнес-события автоматически обогащаются контекстными метаданными. Это увеличивает объем бизнес-событий, поступающих через ЕдиныйАгент или API, примерно на 0,5 КБ на каждое событие. Для событий RUM объем увеличивается примерно на 1 КБ на каждое событие. Например, если ЕдиныйАгент собирает 30 ГБ бизнес-событий (один миллион бизнес-событий размером 30 КБ каждое), общий объем после автоматического обогащения составит 30,5 ГБ.
30 (kB per event) × 1,000,000 (number of events) + 0.5 (kB of enriched data per event) × 1,000,000 (number of events) = 30,500,000 kB = 30.5 GB
