IKuznetsov в 15:57, 4 февраля 2026

2026-02-04T15:57:16Z

← Предыдущая		Версия 15:57, 4 февраля 2026
Строка 8:		Строка 8:
	После этого добавьте следующие аннотации к вашим развертываниям '''NVIDIA NIM''':		После этого добавьте следующие аннотации к вашим развертываниям '''NVIDIA NIM''':

	* <code>metrics.~~dynatrace~~.com/scrape: "true"</code>		* <code>metrics.astromkey.com/scrape: "true"</code>
	* <code>metrics.~~dynatrace~~.com/port: "8000"</code>		* <code>metrics.astromkey.com/port: "8000"</code>

	=== OpenTelemetry Collector ===		=== OpenTelemetry Collector ===

IKuznetsov: Новая страница: «'''NVIDIA NIM''' (NVIDIA Inference Microservices) — это набор микросервисов, которые ускоряют развертывание б...»

2026-02-04T15:57:02Z

Новая страница: «'''NVIDIA NIM''' (NVIDIA Inference Microservices) — это набор микросервисов, которые ускоряют развертывание б...»

Новая страница

'''NVIDIA NIM''' (NVIDIA Inference Microservices) — это набор микросервисов, которые ускоряют развертывание базовых моделей в любом облаке или центре обработки данных, оптимизируя инфраструктуру '''ИИ''' для повышения эффективности и экономичности, а также снижая затраты на оборудование и эксплуатацию.

== Включить мониторинг ==

=== Kubernetes ===
Для мониторинга вашего кластера следуйте руководству по настройке [[Настройка Ключ-АСТРОМ в Kubernetes|Ключ-АСТРОМ в Kubernetes]].

После этого добавьте следующие аннотации к вашим развертываниям '''NVIDIA NIM''':

* <code>metrics.dynatrace.com/scrape: "true"</code>
* <code>metrics.dynatrace.com/port: "8000"</code>

=== OpenTelemetry Collector ===
Для развертывания сборщика следуйте руководству по установке [[Развертывание Collector|OpenTelemetry Collector]]. При следующей конфигурации '''Collector''' будет собирать метрики '''ИИ''' каждые 10 секунд с конечной точки <code><NIM-endpoint>:8000</code>.
{| class="wikitable"
|receivers:

prometheus:

config:

scrape_configs:

- job_name: nim-metrics

scrape_interval: 10s

honor_labels: false

static_configs:

- targets:

- ["<NIM-endpoint>:8000"]

processors:

cumulativetodelta:

max_staleness: 25h

extensions:

health_check:

exporters:

otlphttp:

endpoint: ${env:DT_ENDPOINT}

headers:

Authorization: "Api-Token ${env:DT_API_TOKEN}"

service:

extensions: [health_check]

metrics:

receivers: [prometheus]

processors: [cumulativetodelta]

exporters: [otlphttp]
|}

== Spans ==
Для '''GenAI Spans''' доступны следующие атрибуты.
{| class="wikitable"
!Атрибут
!Тип
!Описание
|-
|<code>gen_ai.completion.0.content</code>
|string
|Полный ответ, полученный от модели GenAI.
|-
|<code>gen_ai.completion.0.content_filter_results</code>
|string
|Результаты фильтрации ответа, полученного от модели GenAI.
|-
|<code>gen_ai.completion.0.finish_reason</code>
|string
|Причина, по которой модель GenAI перестала выпускать токены.
|-
|<code>gen_ai.completion.0.role</code>
|string
|Роль, используемая моделью GenAI.
|-
|<code>gen_ai.openai.api_base</code>
|string
|Адрес сервера GenAI.
|-
|<code>gen_ai.openai.api_version</code>
|string
|Версия API GenAI.
|-
|<code>gen_ai.openai.system_fingerprint</code>
|string
|Отпечаток пальца ответа, сгенерированного моделью GenAI.
|-
|<code>gen_ai.prompt.0.content</code>
|string
|Полный текст запроса, отправленного модели GenAI.
|-
|<code>gen_ai.prompt.0.role</code>
|string
|Настройка роли для запроса GenAI.
|-
|<code>gen_ai.prompt.prompt_filter_results</code>
|string
|Результаты фильтрации запроса, отправленного модели GenAI.
|-
|<code>gen_ai.request.max_tokens</code>
|integer
|Максимальное количество токенов, которое модель генерирует для запроса.
|-
|<code>gen_ai.request.model</code>
|string
|Название модели GenAI, к которой направляется запрос.
|-
|<code>gen_ai.request.temperature</code>
|double
|Температурный параметр для запроса GenAI.
|-
|<code>gen_ai.request.top_p</code>
|double
|Параметр выборки top_p для запроса GenAI.
|-
|<code>gen_ai.response.model</code>
|string
|Название модели, которая сгенерировала ответ.
|-
|<code>gen_ai.system</code>
|string
|Продукт GenAI, идентифицированный с помощью клиентского или серверного программного обеспечения.
|-
|<code>gen_ai.usage.completion_tokens</code>
|integer
|Количество токенов, использованных в ответе GenAI (завершение).
|-
|<code>gen_ai.usage.prompt_tokens</code>
|integer
|Количество токенов, использованных во входных данных GenAI (подсказке).
|-
|<code>llm.request.type</code>
|string
|Тип выполняемой операции.
|}

== Метрики ==
Будут доступны следующие метрики:
{| class="wikitable"
!Метрическая система
!Тип
!Единица
!Описание
|-
|<code>e2e_request_latency_seconds</code>
|histoGrailm
|s
|Гистограмма задержки сквозного запроса в секундах.
|-
|<code>generation_tokens_total</code>
|counter
|integer
|Количество обработанных токенов генерации
|-
|<code>gpu_cache_usage_perc</code>
|gauge
|integer
|Использование кэша ключ-значение графического процессора. 1 означает 100-процентное использование.
|-
|<code>num_request_max</code>
|counter
|integer
|Максимальное количество одновременно выполняющихся запросов
|-
|<code>num_requests_running</code>
|counter
|integer
|Количество запросов, выполняемых в данный момент на графическом процессоре.
|-
|<code>num_requests_waiting</code>
|counter
|integer
|Количество запросов, ожидающих обработки
|-
|<code>prompt_tokens_total</code>
|counter
|integer
|Количество обработанных токенов предварительного заполнения
|-
|<code>request_failure_total</code>
|counter
|integer
|Количество неудачных запросов; учитываются запросы с другими причинами завершения.
|-
|<code>request_finish_total</code>
|counter
|integer
|Количество выполненных запросов с указанием причины завершения.
|-
|<code>request_generation_tokens</code>
|histoGrailm
|integer
|Гистограмма количества обработанных токенов генерации.
|-
|<code>request_prompt_tokens</code>
|histoGrailm
|integer
|Гистограмма количества обработанных токенов предварительного заполнения
|-
|<code>request_success_total</code>
|counter
|integer
|Количество успешных запросов; учитываются запросы с причиной завершения "stop" или "length".
|-
|<code>time_per_output_token_seconds</code>
|histoGrailm
|s
|Гистограмма времени на каждый выходной токен в секундах
|-
|<code>time_to_first_token_seconds</code>
|histoGrailm
|s
|Гистограмма времени до появления первого токена в секундах.
|}
Кроме того, предоставляются следующие метрики.
{| class="wikitable"
!Метрическая система
!Тип
!Единица
!Описание
|-
|<code>gen_ai.client.generation.choices</code>
|counter
|<code>none</code>
|Количество вариантов выбора, возвращаемых в результате выполнения запроса на завершение чата.
|-
|<code>gen_ai.client.operation.duration</code>
|histogram
|<code>s</code>
|Продолжительность работы GenAI.
|-
|<code>gen_ai.client.token.usage</code>
|histogram
|<code>none</code>
|Количество используемых входных и выходных токенов.
|-
|<code>llm.openai.embeddings.vector_size</code>
|counter
|<code>none</code>
|Размер возвращаемого вектора.
|}

NVIDIA NIM - История изменений

IKuznetsov в 15:57, 4 февраля 2026

IKuznetsov: Новая страница: «'''NVIDIA NIM''' (NVIDIA Inference Microservices) — это набор микросервисов, которые ускоряют развертывание б...»