Данные, собираемые при мониторинге баз данных Ключ-АСТРОМ

Материал из Документация Ключ-АСТРОМ

Данные, собираемые при мониторинге баз данных Ключ-АСТРОМ

Когда вы включаете расширение базы данных, оно автоматически собирает все метрики, определённые в соответствующей документации по интеграции. К ним относятся метрики, связанные с конфигурацией базы данных, активностью, временем работы, подключениями, пулами буферов, производительностью запросов и многие другие, используемые приложением Базы данных.

Все собранные данные также можно использовать в дашбордах, оповещениях, ноутбуках и любых других рабочих процессах на основе метрик в Ключ-АСТРОМ.

Чтобы получить полный список собираемых метрик, выберите поставщика базы данных из списка ниже.

  • IBM DB2
  • MariaDB
  • Microsoft SQL Server
  • MySQL
  • Oracle
  • PostgreSQL
  • SAP HANA
  • Snowflake

Детали сбора данных

Нормализованные запросы

Для защиты конфиденциальной информации и улучшения анализа запросы нормализуются перед сохранением. Этот процесс заменяет литеральные значения параметров на заполнители, гарантируя удаление персональных данных (PII).

Например:

До нормализации

SELECT * FROM customers WHERE email = 'john.doe@example.com';
SELECT * FROM customers WHERE email = 'J.I.Jane@other_example.com';

После нормализации

SELECT * FROM customers WHERE email = ?;

Этот подход также применяется к планам выполнения, где значения параметров удаляются, чтобы предотвратить раскрытие конфиденциальных данных.

Отслеживаемые экземпляры баз данных

Мониторинг баз данных поддерживает несколько технологий баз данных через расширения. Однако активно отслеживаются только первые 70 обнаруженных или настроенных баз данных. Это ограничение обеспечивает оптимальную производительность и использование ресурсов.

Отслеживаемые запросы к базе данных

Мониторинг запросов сосредоточен на наиболее ресурсоёмких и длительных запросах. Поскольку данные собираются через регулярные интервалы, сообщаемые запросы не будут идентичными при каждом запуске. Несмотря на эту вариацию, со временем проявляются чёткие тенденции, что позволяет легко выявлять общие шаблоны использования и стабильно дорогостоящие запросы.

Интервал запросов короче стандартного может повлечь дополнительные расходы.

Во время настройки экземпляра базы данных вы можете настроить интервал сбора запросов и другие параметры конечной точки.

Управление наборами функций и частотой сбора данных

Вы можете управлять определёнными наборами функций, которые определяют, какие данные собираются. Например:

  • Метрики запросов: включение или отключение мониторинга на уровне запросов.
  • Планы выполнения: включение или отключение сбора планов запросов.
  • Метрики активности: управление частотой данных на уровне экземпляра.

Для выбранных наборов функций вы можете настроить частоту сбора, чтобы сбалансировать детализацию и накладные расходы. Например:

  • Собирать метрики запросов каждую 1 минуту или каждые 5 минут.
  • Настроить интервалы опроса активности экземпляра.

Однако не все наборы функций можно отключить, поскольку некоторые из них необходимы для основной функциональности.

Удаление PII

Для соблюдения стандартов конфиденциальности:

  • Параметры запросов заменяются заполнителями во время нормализации.
  • Планы выполнения очищаются для удаления конфиденциальных значений.

Это гарантирует, что никакие PII не сохраняются и не раскрываются в данных мониторинга.

Хранение данных

Собранные данные хранятся в соответствии с конфигурацией бакета данных. По умолчанию данные хранятся 35 дней, после чего автоматически удаляются. Вы можете настроить параметры хранения в соответствии с требованиями вашей организации к соответствию и хранению.

Поддерживаемые поставщики баз данных

Приложение Базы данных разработано так, чтобы минимизировать влияние на отслеживаемые экземпляры баз данных, и следует отраслевым лучшим практикам для наблюдаемости с низкими накладными расходами.

Для обеспечения эффективного сбора данных:

  • Метрики экземпляра базы данных собираются каждую 1 минуту и используют лёгкие системные таблицы, избегая потери производительности.
  • Метрики хоста берутся из операционной системы или служб облачного мониторинга. Этот подход не требует прямого опроса базы данных.
  • Метрики уровня базы данных также собираются каждую 1 минуту, но отображаются только для ограниченного числа баз данных, чтобы снизить нагрузку.
  • Метрики запросов собираются каждую 1 минуту, но только для ограниченного набора запросов, выбранных для баланса между информативностью и производительностью.
  • Сбор логов медленных запросов является опциональным (только для Postgres и MySQL). Чтобы минимизировать накладные расходы, настройте высокий порог и включите выборку, чтобы ограничить количество запросов, регистрируемых как медленные.
  • Данные конфигурации (только для Postgres и MySQL) извлекаются каждые 24 часа, чтобы обеспечить видимость без частого доступа.

Эта архитектура гарантирует, что мониторинг остаётся лёгким и масштабируемым даже в средах с несколькими базами данных на экземпляр.

Источник — https://doc.ruscomtech.ru/index.php?title=Данные,_собираемые_при_мониторинге_баз_данных_Ключ-АСТРОМ&oldid=6748