Apache Storm

Расширение АктивногоШлюза для мониторинга бесплатной распределенной системы вычислений в реальном времени с открытым исходным кодом Apache Storm.

Обзор

Контролируйте среду Apache Storm с помощью этого расширения АктивногоШлюза.

Метрики

• Cluster Memory Used
• Cluster CPU Used
• Supervisor CPU Used
• Supervisor Memory Used
• Supervisor Uptime
• Supervisor Slots Free
• Supervisor Slots Used
• Nimbus Uptime
• Nimbus Status
• Topology Replication
• Topology Tasks
• Topology Uptime
• Topology Workers
• Topology Assigned CPU
• Topology Assigned Memory
• Topology Status
• Spout Acked
• Spout Complete Latency
• Spout Emitted
• Spout Failed
• Spout Transferred
• Bolt Acked
• Bolt Capacity
• Bolt Emitted
• Bolt Execute Latency
• Bolt Failed
• Bolt Process Latency
• Bolt Transferred

Подробности

Конфигурация

Создайте конечную точку для каждого кластера Apache Storm, который вы хотите отслеживать.

Это делается в Settings > Monitored technologies > Custom extensions > Apache Storm.

Параметры:

• URL-адрес пользовательского интерфейса Storm
• Название кластера Storm
• Частота (минуты)
• Уровень лога

Визуализация

Technologies > Apache StormБудет создано три группы

• Топология (имя кластера)
• Supervisors (имя кластера)
• Nimbus (имя кластера)

DDU в год

(2 + (5 * supervisors) + (2 * nimbus) + (7 * topologies) + (5 * spouts) + (7 * bolts)) / frequency * 525.6

Пример:

1 кластер с 6 супервизорами, 3 nimbus серверами, 6 топологиями, 8 саутами и 10 болтами, мониторинг каждые 5 минут:

(2 + (5 * 6) + (2 * 3) + (7 * 6) + (5 * 8) + (7 * 10)) / 5 * 525.6= 19950DDU/год

Установка

Требования

• Среда АктивногоШлюза с доступом к Apache Storm UIURL

Установка

Существует два шага для установки расширения АктивногоШлюза:

1. Среда Сервер АктивногоШлюза — извлеките zip-файл с расширением в папку plugin_deployment удаленного подключаемого модуля.
   • При установке по умолчанию это делается с помощьюunzip -o -d /opt/astromkey/remotepluginmodule/plugin_deployment custom.remote.python.apache_storm.zip
   • Скорректируйте путь, если АктивныйШлюз был установлен не в/opt/astromkey
2. Браузер — загрузите ZIP-файл с тем же расширением в свой арендатор.
   • Settings > Monitored technologies > Custom extensions > Upload extension

Устранение неисправностей

Журналы расширений

Журналы под %PROGRAMDATA%(Windows) или /var/lib(Linux) дают нам более подробную информацию в случае сбоев.

Полный путь /var/lib/astromkey/remotepluginmodule/log/remoteplugin/custom.remote.python.apache_storm/ApacheStormExtension.log

или C:\ProgramData\astromkey\remotepluginmodule\log\remoteplugin\custom.remote.python.apache_storm\ApacheStormExtension.log