Исследование данных: различия между версиями
ENetrebin (обсуждение | вклад) |
ENetrebin (обсуждение | вклад) |
||
(не показана 1 промежуточная версия этого же участника) | |||
Строка 1: | Строка 1: | ||
'''''[[Применение Ключ-АСТРОМ]] / [https://doc.ruscomtech.ru/index.php/%D0%9F%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9A%D0%BB%D1%8E%D1%87-%D0%90%D0%A1%D0%A2%D0%A0%D0%9E%D0%9C#.D0.94.D0.B0.D1.88.D0.B1.D0.BE.D1.80.D0.B4.D1.8B_.D0.B8_.D0.BE.D1.82.D1.87.D1.91.D1.82.D1.8B Дашборды и отчёты] / Исследование данных''''' | |||
Проводник данных значительно расширяет возможности запроса и визуализации показателей. | Проводник данных значительно расширяет возможности запроса и визуализации показателей. | ||
Строка 6: | Строка 8: | ||
** Столбец с накоплением | ** Столбец с накоплением | ||
** Сложенная область | ** Сложенная область | ||
** | ** Пирог | ||
** Одно значение | ** Одно значение | ||
** Стол | ** Стол | ||
Строка 19: | Строка 21: | ||
* Использовать шаблон | * Использовать шаблон | ||
* | * Создать простую визуализацию с нуля | ||
* | * Использовать визуализацию непосредственно в проводнике данных | ||
* | * Закрепление визуализации на информационной панели для дальнейшего использования и совместного использования. | ||
Но если вам нужны технические подробности сейчас, читайте дальше. | Но если вам нужны технические подробности сейчас, читайте дальше. | ||
Строка 67: | Строка 69: | ||
== Примеры == | == Примеры == | ||
=== Таблица с двумя метриками ( | === Таблица с двумя метриками (разделение) === | ||
В этом примере мы выбираем метрики <code>CPU usage %</code>и <code>Memory used %</code>, разбиваем их по узлам для обоих и отображаем их в виде таблицы, чтобы строки были узлами, а столбцы отображали значения метрик для каждого узла. | В этом примере мы выбираем метрики <code>CPU usage %</code>и <code>Memory used %</code>, разбиваем их по узлам для обоих и отображаем их в виде таблицы, чтобы строки были узлами, а столбцы отображали значения метрик для каждого узла. | ||
Строка 122: | Строка 124: | ||
[[Файл:Issl7.png]] | [[Файл:Issl7.png]] | ||
== | == Сложение трансформации == | ||
(Применяется только к визуализациям значений, таким как одно значение, круговая диаграмма, верхний список, таблица и соты.) | (Применяется только к визуализациям значений, таким как одно значение, круговая диаграмма, верхний список, таблица и соты.) | ||
Строка 163: | Строка 165: | ||
* <code>CPU usage % +1 (May 24, 2022, 13_19 - 13_49).csv</code>— содержит результаты метрики <code>CPU usage %</code>и еще одной метрики, выполненные 24 мая 2022 года, для получасового таймфрейма 13:19-13:49. | * <code>CPU usage % +1 (May 24, 2022, 13_19 - 13_49).csv</code>— содержит результаты метрики <code>CPU usage %</code>и еще одной метрики, выполненные 24 мая 2022 года, для получасового таймфрейма 13:19-13:49. | ||
== | == Использование в API == | ||
После выполнения запроса у вас есть возможность скопировать запрос для использования в запросе API. | После выполнения запроса у вас есть возможность скопировать запрос для использования в запросе API. | ||
Строка 170: | Строка 172: | ||
# Выберите формат ответа: JSON или CSV. | # Выберите формат ответа: JSON или CSV. | ||
# Выберите Копировать , чтобы скопировать запрос в буфер обмена, или просто выберите и скопируйте части запроса, которые вы хотите использовать. | # Выберите Копировать , чтобы скопировать запрос в буфер обмена, или просто выберите и скопируйте части запроса, которые вы хотите использовать. | ||
# по | # ''по желанию'' Выберите Получить токен , чтобы перейти на страницу создания токена доступа и получить токен для запроса. | ||
== | == Сортировка == | ||
По умолчанию результаты сортируются в порядке убывания на основе выбранной агрегации. | По умолчанию результаты сортируются в порядке убывания на основе выбранной агрегации. | ||
Текущая версия на 16:40, 29 декабря 2022
Применение Ключ-АСТРОМ / Дашборды и отчёты / Исследование данных
Проводник данных значительно расширяет возможности запроса и визуализации показателей.
- Анализируйте многомерные показатели, встроенные в Ключ-АСТРОМ или полученные из StatsD, Prometheus, Telegraf и других каналов.
- Выберите тип визуализации:
- График
- Столбец с накоплением
- Сложенная область
- Пирог
- Одно значение
- Стол
- Топ-лист
- Тепловая карта
- Соты
- Добавьте свою визуализацию прямо на свои информационные панели для быстрого доступа и совместного использования.
- Обеспечивает основу для расчета метрик в визуализациях на информационных панелях.
Быстрый старт
Если вы предпочитаете пропускать технические детали и учиться на практике, попробуйте краткое руководство по работе с Data Explorer . Вы узнаете, как:
- Использовать шаблон
- Создать простую визуализацию с нуля
- Использовать визуализацию непосредственно в проводнике данных
- Закрепление визуализации на информационной панели для дальнейшего использования и совместного использования.
Но если вам нужны технические подробности сейчас, читайте дальше.
Компоненты и концепции запроса
Каждый запрос метрики состоит из нескольких необязательных компонентов:
Компонент запроса | Описание |
---|---|
Название показателя |
|
Агрегация | Каждая метрика предоставляет одни и те же возможные агрегаты, которые можно указать при выборе Average , Count , Maximum , Minimum , Sum , Median , Percentile 10th , Percentile 75th или Percentile 90th .
Агрегирование позволяет указать, как результаты запроса метрики должны агрегироваться во времени, а также сообщаемые измерения выбранной метрики. Запрос всегда будет предоставлять статистически наиболее точные результаты для данного запроса, даже если некоторые показатели предоставляют разные статистические данные, что зависит от характера каждого показателя. |
Разделение | По умолчанию запрос не разбивается по каким-либо измерениям с использованием агрегации метрики. При разделении по такому измерению, как хост, агрегация используется для каждого хоста. |
Сфера | Область действия определяется любым установленным фильтром.
См. также Авторасширенная фильтрация |
Ограничения
- Максимум 10 метрик на визуализацию
- 100 серий на метрику
Исследователь данных против многомерного анализа
В отличие от многомерного анализа, проводник данных использует долгосрочные данные метрик, а не данные трассировки и запроса , поэтому значения в визуализациях могут отличаться от значений в многомерном анализе.
Примеры
Таблица с двумя метриками (разделение)
В этом примере мы выбираем метрики CPU usage %
и Memory used %
, разбиваем их по узлам для обоих и отображаем их в виде таблицы, чтобы строки были узлами, а столбцы отображали значения метрик для каждого узла.
- A:
CPU usage %
(builtin:host.cpu.usage
),Average
, Разделить наHost
- B:
Memory used %
(builtin:host.mem.usage
),Average
, Разделить наHost
- Визуализация:
Table
Полный запрос должен выглядеть так:
Пример плитки:
График с двумя показателями
В этом примере мы выбираем те же метрики и отображаем их в виде графика.
Если для параметра « Визуализация » установлено значение Graph
, отображаются настройки «Визуализация», в которых можно выбрать способ построения графика каждой метрики. В данном случае CPU usage %
это диаграмма с областями (область между 0 и значением метрики заполняется) и Memory used %
линейная диаграмма (одна линия, представляющая значение метрики с течением времени).
- A:
CPU usage %
(builtin:host.cpu.usage
),Average
, Разделить наHost
- B:
Memory used %
(builtin:host.mem.usage
),Average
, Разделить наHost
- Визуализация:
Graph
- Визуальные настройки:
- А =
Area
- Б =
Line
- А =
Полный запрос должен выглядеть так:
Пример плитки:
Визуальные настройки
Выбор доступных визуальных параметров зависит от запроса и типа визуализации. Ключ-АСТРОМ предлагает следующие типы визуализации:
- График
- Столбец с накоплением
- Сложенная область
- пирог
- Одно значение
- Стол
- Топ-лист
- Тепловая карта
- Соты
Связывание объекта
Для улучшения возможностей детализации мы добавили ссылки на объекты.
В этом примере визуализация показывала хаотичное поведение хоста. Мы выбрали его, чтобы просмотреть сведения о хосте во всплывающем окне, и мы можем нажать кнопку « Просмотр хоста », чтобы перейти непосредственно к странице Ключ-АСТРОМ для этого хоста.
Сложение трансформации
(Применяется только к визуализациям значений, таким как одно значение, круговая диаграмма, верхний список, таблица и соты.)
Свернутое преобразование объединяет список точек данных (временной ряд: набор точек данных за период времени) в одну точку данных.
- Преобразование свертки по умолчанию —
Auto
, которое автоматически выбирает наиболее подходящую агрегацию времени на основе метрики. - Вы можете вручную отменить
Auto
любое из следующих действий:Last value
,Average
,Count
,Maximum
,Minimum
,Sum
,Median
,Value
,Percentile 10th
,Percentile 75th
,Percentile 90th
. - Если вам нужно просмотреть последнее сообщаемое значение метрики (а не агрегации), выберите
Last value
.
Расширенный редактор запросов
Чтобы в полной мере использовать возможности запросов Metrics API v2 из веб-интерфейса, перейдите на вкладку « Код ».
Вкладка « Код » позволяет создавать метрические выражения , сдвиги временных рамок и многое другое непосредственно в веб-интерфейсе и, конечно же, использовать эту возможность для создания визуализаций для ваших информационных панелей. Начните с изучения примеров выражений метрик .
Сведения о вкладке « Код » см. в разделе «Вкладка «Код» в обозревателе данных (расширенный редактор запросов) .
Поделитесь своими результатами
Если вы выполняете анализ в проводнике данных и находите интересные результаты, которыми хотите поделиться с другими пользователями, прошедшими проверку подлинности, или если вы хотите иметь возможность повторно просмотреть те же результаты самостоятельно, используя более поздние временные рамки.
- В проводнике данных перейдите в раздел « Результаты » и выберите > Поделиться ссылкой .
- Определите временной интервал для связи со ссылкой:
- Чтобы поделиться ссылкой с текущим таймфреймом, включите Использовать текущий таймфрейм .
- В противном случае в общей ссылке на запрос будут указаны текущий запрос и настройки, кроме временных рамок.
- Выберите Копировать , чтобы скопировать ссылку в буфер обмена.
- Поделитесь ссылкой с любым другим пользователем Ключ-АСТРОМ, прошедшим проверку подлинности, или сохраните копию для собственного использования.
Экспорт в файл CSV
Экспорт в файл значений с разделителями-запятыми (CSV)
- В проводнике данных перейдите в раздел « Результаты » и выберите > Экспорт в CSV . Примечание:
- Экспорт CSV доступен для всех визуализаций, кроме сот и одиночного значения.
- Значения, экспортированные в CSV-файл, отражают форматирование, указанное в параметрах « Единица измерения» и « Формат» в разделе « Визуальные параметры ».
- CSV-файл с результатами сохраняется на вашем локальном компьютере.
В имени файла указаны показатели, дата и временной интервал.
Например:
CPU usage % (May 24, 2022, 11_41 - 13_41).csv
— содержит результаты метрикиCPU usage %
, выполненной 24 мая 2022 г., для двухчасового периода времени 11:41–13:41.CPU usage % +1 (May 24, 2022, 13_19 - 13_49).csv
— содержит результаты метрикиCPU usage %
и еще одной метрики, выполненные 24 мая 2022 года, для получасового таймфрейма 13:19-13:49.
Использование в API
После выполнения запроса у вас есть возможность скопировать запрос для использования в запросе API.
- В Проводнике данных перейдите в раздел Результат и выберите > Копировать запрос .
- Выберите, следует ли использовать временные рамки результата.
- Выберите формат ответа: JSON или CSV.
- Выберите Копировать , чтобы скопировать запрос в буфер обмена, или просто выберите и скопируйте части запроса, которые вы хотите использовать.
- по желанию Выберите Получить токен , чтобы перейти на страницу создания токена доступа и получить токен для запроса.
Сортировка
По умолчанию результаты сортируются в порядке убывания на основе выбранной агрегации.
Чтобы явно задать порядок сортировки через редактор запросов
- Нажмите кнопку + .
- Выберите
Sort by
. - Установите Сортировать по
Ascending
илиDescending
.
Ограничение
По умолчанию количество метрик, которые вы видите, если они разделены параметром, равно 10.
Чтобы явно установить ограничение через редактор запросов
- Нажмите кнопку + .
- Выберите
Limit
. - Установите лимит на
1
,10
,20
или100
.
Автоматическая расширенная фильтрация
Автоматически расширяемые фильтры используют топологию Ключ-АСТРОМ (модель объекта), чтобы предложить дополнительные параметры фильтра, недоступные в исходной метрике. Они работают как на уровне плитки, так и на уровне панели мониторинга.
- На уровне плитки выберите их при установке параметра «Фильтровать по» в проводнике данных , просто выбрав исходное измерение показателя, которому назначена связь. Например, метрика, фиксирующая производительность синтетических событий, связана с синтетическим монитором. Используя топологию, вы можете сначала выбрать связанное синтетическое событие в фильтре, а затем, помимо имени, тега, идентификатора или состояния работоспособности, вы также получите дополнительную возможность выбора связанного монитора.
- На уровне информационной панели, хотя вы не можете выбрать нужные отношения, Ключ-АСТРОМ автоматически расширяет метрики, где это возможно, так что, когда вы проходите динамический фильтр, он может применяться к плитке с этой метрикой.
Пример 1: Метрика синтетического шага, дополненная синтетическим монитором
Некоторые показатели производительности для синтетических событий не имеют возможности фильтровать их по монитору. Однако одно и то же событие может произойти на нескольких мониторах, и чтобы посмотреть на производительность одного монитора, вам нужна возможность фильтровать их.
С автоматически расширенными фильтрами теперь вы можете фильтровать на шаге синтетического теста.
- Выберите показатель (например,
Action duration - load action (by event) [browser monitor]
). Он имеет тип сущностиSYNTHETIC_TEST_STEP
.
2. Добавьте фильтр.
3. Выберите автоматически расширенное измерение.
4. Результирующий фильтр.
Кроме того, теперь вы можете использовать автоматически расширяемые фильтры на панели инструментов, поэтому нет необходимости настраивать несколько плиток для просмотра одной и той же метрики для разных мониторов или разных хостов.
5. На вкладке « Динамические фильтры » на странице настроек «Панель мониторинга » добавьте фильтр для Custom dimension
.
6. Выберите Synthetic monitor
.
7. Сохраните изменения и отобразите панель инструментов. Теперь вы можете фильтровать все плитки на панели инструментов по синтетическому монитору. Панель инструментов автоматически для каждой плитки проверит, существует ли такая связь. Таким образом, каждая плитка (без фильтров, установленных на уровне плитки) с метрикой синтетического события будет отфильтрована в тот момент, когда существует связь между шагом в плитке и выбранным вами монитором.
Пример 2: расширенная метрика хоста
Здесь мы расширяем метрику хоста на экземпляр EC2.
- Создайте плитку, связанную с хостом, с метрикой хоста (например,
CPU usage %
-builtin:host.cpu.usage
). - Примените соответствующий фильтр, например
EC2 instance (runsOn)
. Теперь плитка со всеми хостами фильтруется только для хостов, работающих на этом инстансе EC2. Это возможно, даже если параметрEC2 instance
не существует в исходной метрике хоста. Используя топологию (модель объекта), Ключ-АСТРОМ может фильтровать хосты на основе этой взаимосвязи.
В этом варианте метрика хоста расширяется по группе хостов.
- Установите фильтр
Host.Host Group (isInstanceOf)
и закрепите плитку на нашей панели инструментов.
2. Теперь мы можем фильтровать плитки панели мониторинга по группе хостов.