Просмотр кода страницы Блоки данных ИИ (DDU) для метрик

На этой странице объясняется, как мы рассчитываем DDU для метрик, концепция пользовательских метрик и как вы можете оценивать и отслеживать потребление DDU для метрик.

==Какие типы метрик используют DDU?==
*Пользовательские показатели
*Некоторые встроенные показатели (см. ниже)
==Что такое пользовательская метрика?==
Пользовательские метрики — это метрики, которые вы определяете или устанавливаете. Они расширяют возможности мониторинга Ключ-АСТРОМ, позволяя интегрировать сторонние источники данных, рассчитывать пользовательские метрики, импортировать метрики через API, использовать расширения и многое другое.

Ниже приведен неполный список настраиваемых типов метрик:
*Все метрики, поступающие от API
*Расчетные метрики службы, пользовательские метрики DEM и метрики логов
**Например, расчетные сервисные метрики, созданные по атрибутам запроса.
*Все метрики предоставлены установленными вручную расширениями Ключ-АСТРОМ Monitoring Extensions.
Полную информацию о настройке и приеме пользовательских метрик в Ключ-АСТРОМ см. в разделе Загрузка метрик .
==Какие встроенные показатели используют DDU?==
Метрики, которые потребляют DDU, включают:
*Метрики, предоставляемые некоторыми встроенными расширениями , которые не включены по умолчанию.
**Переключатели веб-интерфейса Ключ-АСТРОМ для включения/отключения этих показателей помечены, чтобы вы знали, влияют ли они на потребление DDU.
*Все метрики, принимаемые расширениями общедоступного облака ( AWS , Azure и GCP ).
**Например, метрики, полученные от облачных сервисов.
На встроенной странице метрик перечислены все метрики, которые не используют DDU.
==Как мы рассчитываем использование DDU для метрик?==
Использование происходит при приеме точек данных метрик. Точка данных метрики — это отдельное значение измерения, хранящееся в Ключ-АСТРОМ. Значение принадлежит метрике , которая идентифицируется ключом метрики и имеет метку времени. Метрика временного ряда — это ряд таких точек данных, например использование ЦП для данного хоста за период анализа.

Каждая полученная точка данных вычитает 0,001 DDU из доступной квоты.

Метрики, предоставляемые Ключ-АСТРОМ, обычно записываются один раз в минуту. Это приводит к следующему типичному годовому потреблению DDU для одной метрики:

<code>1 metric data point x 60 min x 24 h x 365 days x 0.001 = 525.6 DDUs per metric/year</code>
===Как параметры метрики влияют на использование DDU?===
Точки данных метрик могут иметь связанные измерения, которые идентифицируются ключами и значениями измерений. Например, используя синтаксис протокола приема метрик, можно принять два значения следующим образом:
 <code>my_cpu_utilization,hostname=hostA 55 1609459200000
 my_cpu_utilization,hostname=hostB 45 1609459200000</code>
Для одной и той же метки времени ( <code>1609459200000</code>) Ключ-АСТРОМ сохраняет два разных значения измерения для одной и той же метрики на двух разных хостах. Это достигается с помощью ключа измерения <code>hostname</code>и значений измерения <code>hostA</code>, а также <code>hostB</code>. 55 и 45 — измеренные проценты использования ЦП для этой метрики на двух хостах.

Обратите внимание, что вы можете рассматривать это как две метрики: одна диаграмма может быть создана для использования ЦП хоста А, а другая — для использования ЦП хоста Б. Если точки данных периодически загружаются для обоих хостов, конечным эффектом является удвоенное количество полученных точек данных, потому что здесь каждое измерение хоста приводит к отдельному значению метрики, которое необходимо сохранить.

Это удвоение принимаемых точек данных также отражается в соответствующем использовании DDU: эффективность использования DDU теперь составляет 0,002 в минуту, поскольку данные принимаются с двух хостов. Таким образом, чтобы рассчитать использование DDU на основе ключей метрик, необходимо учитывать, какие данные загружаются, и принимать во внимание измерения данных.

Если добавить больше измерений и увеличить количество точек данных , использование DDU также увеличится. Вот пример:
 <code>my_cpu_utilization,hostname=hostA,cpu=1 55 1609459200000
 my_cpu_utilization,hostname=hostA,cpu=2 11 1609459200000
 my_cpu_utilization,hostname=hostB,cpu=1 45 1609459200000
 my_cpu_utilization,hostname=hostB,cpu=2 45 1609459200000</code>
В этом примере будет потребляться 4 DDU в минуту из-за двух хостов и двух ЦП.

Однако дополнительное использование вызвано не увеличением размеров , а скорее увеличением количества введенных точек данных , которые обычно сопровождают увеличение числа измерений.

Если измерения добавляются, но количество точек данных остается прежним, то потребление DDU не меняется. Это происходит, когда добавляются чисто описательные измерения, значения которых определяются другими ранее существовавшими измерениями:
 <code>my_cpu_utilization,hostname=hostA,host_ip="127.0.0.23" 55 1609459200000
 my_cpu_utilization,hostname=hostB,host_ip="127.0.0.42" 45 1609459200000</code>
Эти принятые точки данных составляют такое же использование DDU, как если бы они были отправлены без измерения <code>host_ip</code>. Формально говоря, если добавляются измерения, значения которых функционально определяются другими ранее существовавшими измерениями, то использование DDU не изменится.
===Включенные показатели для хост-блока===
Если вы отслеживаете хосты с помощью ЕдиногоАгента используете единицы хоста, вам предоставляется ряд «показателей, включенных в хост», основанных на использовании единиц хоста отслеживаемыми хостами. Точнее, на каждую заданную минуту хост, потребляющий хост-единицы, имеет бюджет включенных хостом точек данных метрик. Когда вводятся точки данных метрики «о хосте» (например, с формальным измерением хоста, то сначала расходуется бюджет точек данных, включенный в хост, до того, как будет затронута ваша квота DDU. Одна метрика, включенная в хост, определяется как данные одной метрики. точек в минуту, учитывая предыдущий раздел о размерах принимаемых точек данных.

1000 метрик на единицу хоста включаются в каждый отслеживаемый хост (в режиме мониторинга полного стека). Эти метрики включены в ваши хост-устройства Full-Stack и поэтому не используют DDU.
*Каждый хост, отслеживаемый ЕдиныйАгент с включенным мониторингом полного стека , включает 1000 метрик на узел хоста (подробности см. в таблице ниже).
*Хосты, отслеживаемые ЕдиныйАгент с включенным мониторингом инфраструктуры , всегда включают 200 метрик , которые не используют DDU.
*Все метрики, которые превышают включенные метрики хоста, используют DDU.
*Если все DDU в пуле метрик израсходованы, то включенные метрики для хост-устройства также будут недоступны .
*Расчетные метрики службы, пользовательские метрики DEM и метрики логов не подходят для этих включенных метрик на единицу хоста.
Обратите внимание, что включенные метрики привязаны к конкретным хостам, которые отслеживаются через ЕдиныйАгент. Это означает, что включаются только метрики, зарегистрированные на отслеживаемом узле или процессе отслеживаемого узла. Сюда также входят метрики, зарезервированные для объектов AWS EC2, виртуальных машин Azure и виртуальных машин VMware (если эти виртуальные машины отслеживаются ЕдинымАгентом). Обратите внимание, что для метрик, принимаемых API, это относится только к метрикам, зарезервированным на отслеживаемом узле.

Оценка того, превышает ли хост включенные в хост метрики, основана на общем количестве точек данных метрик, которые сообщаются с периодичностью в 1 минуту (для этих метрик нет скользящего временного окна). Когда полученные точки данных превышают метрики, включенные в хост, для компенсации разницы расходуются DDU.

Если хост лицензируется на основе часов хост-юнитов, а не хост-юнитов, расчет работает таким же образом; вы можете потреблять до количества метрик, включенных хостом, в час хост-единицы. Каждая точка данных, превышающая это число, использует DDU.
{| class="wikitable"
!Размер хоста
!Режим полного стека
!Режим полного стека
!Режим инфраструктуры
!Режим инфраструктуры
|-
|На основе ГБ ОЗУ
|Хост-юниты
|Включенные показатели
|Хост-юниты
|Включенные показатели
|-
|1,6 ГБ
|0,1
|200
|0,03
|200
|-
|4ГБ
|0,25
|250
|0,075
|200
|-
|8 ГБ
|0,5
|500
|0,15
|200
|-
|16 Гб
|1
|1000
|0,3
|200
|-
|32 ГБ
|2
|2000
|0,6
|200
|-
|48 ГБ
|3
|3000
|0,9
|200
|-
|64 ГБ
|4
|4000
|1,0
|200
|-
|Н х 16
|Н
|Н<sup>1</sup> * 1000
|1,0
|200
|-
| colspan="100%" |<sup>1</sup> Минимум включенных показателей всегда равен 200, даже если N меньше 0,2.
|}
===Пример того, как включенные метрики влияют на использование DDU===
Возьмем следующий пример.
*Хост имеет 16 ГБ ОЗУ — другими словами, 1 хост-модуль.
*Хост контролируется через ЕдиныйАгент в режиме полного стека.
(1 хост-единица = 1000 включенных хост-метрик)
*На этом хосте, контролируемом ЕдинымАгентом, зарезервировано 1500 метрик из различных расширений и локальных API (например, JMX и RabbitMQ).
*300 метрик, сообщаемых через общедоступный API, безотносительно к узлу, контролируемому ЕдиныйАгент.
В этом сценарии 1000 метрик в минуту включаются через хост-устройство, и хост сообщает о превышении 500 метрик, которые будут потреблять DDU. 300 метрик, о которых сообщается через API и которые не связаны с хостом, контролируемым ЕдиныйАгент, также будут потреблять DDU. Это составляет в общей сложности 800 метрик/мин, потребляющих DDU.

Вот несколько других простых сценариев (все приведенные ниже значения основаны на метриках, отправляемых с интервалом в 1 минуту.)
{| class="wikitable"
!Режим
!Хост-юниты
!Включенные метрики на хост-блок<sup>1</sup>
!Показатели для хоста
!"Оплаченые" метрики
!Вычтено DDU/мин.
|-
|Полный стек
|0,5
|500
|300
|0
|0
|-
|Полный стек
|1
|1000
|1500
|500
|0,5
|-
|Полный стек
|1
|1000
|500
|0
|0
|-
|Полный стек
|4
|4000
|5000
|1000
|1
|-
|Инфраструктура
|0,6
|200
|150
|0
|0
|-
|Инфраструктура
|1
|200
|1000
|800
|0,8
|-
| colspan="100%" |<sup>1</sup> Включенные метрики привязаны к отдельным хостам.
|}
==Зарегистрированные DDU и использованные DDU==
Сообщаемые DDU определяются как все DDU до выполнения любых соображений, включенных в хост. Израсходованные DDU отражают общее количество «оплачиваемых» DDU, которые вычитаются из вашего баланса DDU.

Вы можете сравнить отчетные DDU для определенного хоста с количеством метрик, включенных в хост , создав диаграмму с помощью обозревателя данных , используя следующие метрики. Это позволяет получить представление о количестве доступных и использованных DDU для конкретного хоста.
*<code>builtin:billing.ddu.includedMetricDduPerHost</code> Эта метрика разделена по идентификатору хоста. Он показывает вам DDU, включенные хостом. Например, если хост имеет 1000 включенных метрик , эта метрика будет иметь значение 1 (другими словами, 1000 x 0,001).
*<code>builtin:billing.ddu.metrics.byEntityRaw</code> Метрика <code>byEntityRaw</code>разделена по отслеживаемым объектам и отражает общее количество DDU, о которых сообщается, до того, как будут выполнены какие-либо соображения, связанные с хостом.
*<code>builtin:billing.ddu.metrics.byEntity</code> Подобно метрике <code>byEntityRaw</code>, <code>byEntity</code>метрика делится по отслеживаемым объектам. Он отражает общее количество потребленных DDU (другими словами, все потребление сверх количества включенных метрик на единицу хоста). Это эквивалентно информации, отображаемой на странице обзора потребления DDU (см. пример ниже).
===Рекомендации по работе с графиком===
[[Файл:ddu1.png|ссылка=https://doc.ruscomtech.ru/index.php/%D0%A4%D0%B0%D0%B9%D0%BB:Ddu1.png]]
*Поскольку выставление счетов за DDU рассчитывается на поминутной основе (для получения более подробной информации см . пример потребления DDU для метрик ), рекомендуется также работать с 1-минутным разрешением на диаграмме.
*Использование «Разделить по» и «Фильтровать по» позволяет выбрать конкретный хост, который вас интересует.
Приведенный выше пример запроса проводника данных показывает следующую информацию:
*Фиолетовая линия отражает DDU, включенные в хост. В приведенном выше примере это 0,25 DDU (другими словами, 250 метрик) в минуту.
*Желтая линия отражает <code>byEntityRaw</code>метрику. Он показывает общее количество зарегистрированных DDU для отслеживаемого объекта, которое отфильтровано хостом. Любое потребление DDU, превышающее включенный в хост бюджет, превышает порог фиолетовой линии.
*Бирюзовая линия отражает информацию из <code>byEntity</code>метрики. Он показывает вам общие потребляемые метрики. В приведенном выше примере лимит включенных хостов превышается примерно каждые 15 минут с 09:30 до 10:45 и постоянно начинается с 10:45. Это приводит к потребленным DDU, которые представлены бирюзовой линейной диаграммой.
Обратите внимание, что точки данных из <code>byEntity</code>метрики могут быть задержаны до нескольких минут.
==Как оценить необходимые DDU для метрик==
Ограниченный прием и анализ метрик обеспечиваются встроенной поддержкой технологии Ключ-АСТРОМ в виде включенных метрик на каждое хост-устройство . Чтобы организовать прием и анализ дополнительных метрик, обратитесь в отдел продаж Ключ-АСТРОМ .
==Как отслеживать потребление DDU для метрик==
В этом разделе представлены два варианта отслеживания потребления DDU для метрик.
===Обзорная страница блоков данных Дэвиса===
Чтобы увидеть, сколько DDU использовала ваша среда
#В меню Ключ-АСТРОМ перейдите в раздел «Потребление» . Примечание. Для доступа к этой странице вам необходимо разрешение на изменение параметров мониторинга или учетная запись администратора.
#На странице единиц данных Дейвиса (DDU) :
#*В таблице пула «Потребление по DDU» проверьте строку «Метрики» .
#*В разделе сведений о потреблении DDU проверьте вкладку Метрики .
Там вы можете просмотреть потребление DDU и определить основных участников потребления DDU.
===Настраиваемые информационные панели для отслеживания потребления===
В следующих примерах использования объясняется, как инструментировать информационные панели с помощью обозревателя данных и предоставляемых метрик DDU для отслеживания потребления DDU на основе метрик.

Изучите общее потребление DDU по метрикам

[[Файл:ddu2.png|ссылка=https://doc.ruscomtech.ru/index.php/%D0%A4%D0%B0%D0%B9%D0%BB:Ddu2.png]]

Исследуйте потребление метрик на отслеживаемый объект

[[Файл:ddu3.png|ссылка=https://doc.ruscomtech.ru/index.php/%D0%A4%D0%B0%D0%B9%D0%BB:Ddu3.png]]

Исследуйте потребление метрик на отслеживаемый объект метрики

На этой диаграмме показано общее количество зарегистрированных DDU по каждому ключу метрики.

Дополнительную информацию также можно найти в разделе Зарегистрированные DDU и использованные DDU .
==Потребление «Не связано с контролируемым объектом»==
Источником этого потребления является один из следующих:
*Прием метрик для данных без <code>dt.entity.host</code>измерения
*Рассчитанные метрики из пользовательских сессий
*Вычисляемые метрики журнала v2 — в разбивке по ключу метрики у них есть <code>log.</code>префикс
==Часто задаваемые вопросы==
Какие показатели потребляют DDU?

Все метрики, отправляемые через ЕдиныйАгент по умолчанию (например, метрики хоста), включаются бесплатно и не потребляют DDU. Метрики, принимаемые расширением, которые привязаны к определенным хостам (или процессам), сначала потребляют все доступные включенные метрики, прежде чем потреблять какие-либо дополнительные DDU. Метрики, принимаемые API, потребляют все доступные включенные метрики, которые привязаны к конкретным хостам (не процессам), прежде чем потреблять какие-либо дополнительные DDU.

Следующие типы метрик потребляют DDU:
{| class="wikitable"
!Тип показателя
!Потребляет DDU
!Включено на хост-устройство
|-
|Встроенные расширения
|Да
|Да
|-
|API отдыха
|Да
|Да 1
|-
|JMX
|Да
|Да
|-
|Питон
|Да
|Нет
|-
|Расчетные сервисные метрики
|Да
|Нет
|-
|Расчетные метрики журнала
|Да
|Нет
|-
|Расчетные показатели ЦМР
|Да
|Нет
|-
|Показатели AWS
|Да
|Да 2
|-
|Метрики Azure
|Да
|Да 2
|-
|Показатели GCP
|Да
|Да 2
|-
|Облачная Литейная
|Нет
|Нет
|-
|Метрики кластера Kubernetes
|Нет
|Нет
|-
|Показатели VMware
|Нет
|Нет
|-
| colspan="100%" |1
Если вы используете REST API для отправки метрик на отслеживаемый ЕдиныйАгент хост, эти метрики будут учитываться при распределении метрик, включенных в хост-модуль. Если метрики отправляются другим объектам, эти метрики будут потреблять DDU.

2

Облачные метрики, привязанные к хостам, отслеживаемым ЕдиныйАгент, вычитаются из вашего распределения метрик, включенных в хост-модуль. Например, метрика экземпляра EC2 учитывается в метриках, включенных в хост-модуль этого экземпляра EC2. Все остальные облачные показатели зависят от потребления DDU.
|}Какие метрики считаются метриками, включенными в хост-блок?
*Любая метрика, зарезервированная для отслеживаемого хоста или экземпляра группы процессов, поскольку они могут быть сопоставлены с конкретным хостом. Обратите внимание, что для метрик, принимаемых API, это относится только к метрикам, зарезервированным на отслеживаемом узле.
*Начиная с Ключ-АСТРОМ версии 1.203, прием метрик можно заказывать непосредственно на отслеживаемых хостах, чтобы вы могли лучше использовать включенные метрики хостов.
*В будущем выпуске расширения АктивныйШлюз также смогут регистрировать метрики на отслеживаемых хостах и тем самым использовать преимущества включенных метрик хостов, как это делают расширения ЕдиныйАгент.
Используются ли DDU только для расширений?

Нет, для расширений любая метрика, зарезервированная для хоста или процесса, потребляет DDU. При приеме API используются включенные метрики на единицу хоста (другими словами, 1000 включенных метрик для мониторинга полного стека) до того, как будут использованы какие-либо DDU. Дополнительные сведения см. в разделе Включенные показатели на хост-устройство .

Каков вес (стоимость) одной точки данных?

Каждая точка данных потребляет <code>0.001 DDU</code>.

Сколько DDU потребляет одна метрика с периодичностью в 1 минуту в год?

<code>1 data point x 60 min x 24 hours x 365 days x 0.001 DDU weight = 525.6 DDUs</code>

Почему разбивка потребления по отслеживаемым объектам отличается от разбивки по показателям?

Разбивка потребления DDU, показанная на странице Отслеживаемые объекты и метрики , а также метрики <code>byEntity</code>и <code>byMetric</code>в API, могут немного отличаться, потому что:
*Разбивка по отслеживаемым объектам учитывает включенные DDU на единицу хоста, чего не учитывает разбивка по метрикам.
*Потребление отслеживаемыми объектами может быть задержано до 10 минут по сравнению с метриками <code>byEntity</code>и <code>byMetric</code>в API.
Таким образом, для целей лицензирования и выставления счетов рассматривается только разбивка по отслеживаемым объектам (разбивка по показателям предоставляется исключительно в информационных целях).

Для метрик, не связанных с отслеживаемым хостом, потребление на отслеживаемый объект и потребление на метрику идентичны.

У нас запущено много расширений ЕдиныйАгент. Покрываются ли эти метрики включенными метриками? Только в режиме полного стека мониторинга?

Да, метрики через расширение ЕдиныйАгент покрываются включенными метриками. Для режима мониторинга полного стека это означает 1000 включенных метрик. Для режима инфраструктуры это означает 200 включенных метрик.

Верно ли, что метрики, связанные с хостом или процессом, засчитываются в сравнении с включенными метриками на единицу хоста?

Да. Обратите внимание, что для метрик, принимаемых API, это относится только к метрикам, зарезервированным на отслеживаемом узле.

У нас есть расширения, которые используют API пользовательского устройства для приема метрик. Учитывается ли это во включенных показателях?

Нет, пользовательские устройства не включают метрики. Включенные метрики доступны только для хостов и процессов, отслеживаемых ЕдиныйАгент.

Следующие расширения используют настраиваемые устройства для приема метрик: F5, Windows Server, Apigee Edge, SAP, Juniper Network, IBM I, IBM DataPower, Citrix Netscaler и другие.

Что произойдет, если я буду контролировать удаленные источники с помощью расширений АктивныйШлюз? Будут ли эти показатели учитываться при включении показателей хост-устройства?

Расширения АктивныйШлюз не используют метрики, включенные в хост-модуль. Включенные метрики доступны только для хостов и метрик процессов, отслеживаемых ЕдиныйАгент.

Что произойдет, если я изменю конфигурацию с полного стека на режим мониторинга инфраструктуры? Будут ли включенные показатели немедленно адаптироваться?

Изменение конфигурации должно занять всего несколько секунд и не повлияет отрицательно на потребление метрик.

Что произойдет, если я отправлю специальные показатели чаще, например, каждые 10 секунд?

Мы рекомендуем получать пользовательские метрики с периодичностью в 1 минуту. Когда принимается больше точек данных метрики в минуту, потребляется больше DDU. Например, пользовательская метрика, загружаемая с частотой 10 секунд, эквивалентна<code>6 data points x 60 min x 24 hours x 365 days x 0.001 DDU weight = 3153.6 DDUs</code>

Используют ли облачные сервисы для AWS и Azure DDU или они являются частью включенных показателей для каждого хоста?

облачные сервисы для AWS и Azure потребляют DDU. Все метрики, которые относятся к хосту, контролируемому ЕдиныйАгент, либо являются частью базового пакета (это не метрики), либо учитываются в включенных метриках, поставляемых с каждым хост-модулем. Все остальные показатели расширения или интеграции потребляют DDU.

Могу ли я выбрать, какие службы AWS или Azure будут отслеживаться, чтобы контролировать потребление DDU?

Да, вы можете выбрать, какие отдельные сервисы AWS и Azure будут отслеживаться. Все «облачные сервисы» доступны для мониторинга по подписке. Кроме того, используя фильтрацию тегов, вы можете отказаться от мониторинга отдельных «Встроенных служб» (тех служб, которые отслеживаются автоматически).

Используют ли метрики Kubernetes (загрузка/лимит/ресурсы ЦП) DDU, даже если ЕдиныйАгент не установлен?

Узлы Kubernetes автоматически отслеживаются при установке ЕдиныйАгент; эти метрики являются частью нашего основного предложения ЕдиныйАгент и включены для каждого хост-модуля.