Просмотр кода страницы Kong AI Gateway

'''Kong AI Gateway''' — это набор функций, построенных на основе '''Kong Gateway''', разработанный для того, чтобы помочь разработчикам и организациям быстро и безопасно внедрять возможности искусственного интеллекта. Он предоставляет стандартизированный API-уровень, позволяющий клиентам использовать несколько сервисов ИИ из одной и той же клиентской кодовой базы.

== Включить мониторинг ==
Убедитесь, что плагин '''Kong Prometheus''' включен и предоставляет метрики AI LLM.

=== Kubernetes ===
Для мониторинга вашего кластера следуйте руководству по [[Настройка Ключ-АСТРОМ в Kubernetes|настройке Ключ-АСТРОМ в Kubernetes]].

После этого добавьте следующие аннотации к вашим развертываниям '''Kong''':

* <code>metrics.astromkey.com/scrape: "true"</code>
* <code>metrics.astromkey.com/port: "8100"</code>

=== OpenTelemetry Collector ===
Для развертывания коллектора следуйте инструкциям по [[Развертывание Collector|установке OpenTelemetry Collector]]. При следующей конфигурации коллектор будет собирать метрики '''AI LLM''' каждые 10 секунд с конечной точки <code>kong-metrics.kong:8100</code>.
{| class="wikitable"
|receivers:

  prometheus:

    config:

      scrape_configs:

      - job_name: kong

        scrape_interval: 10s

        honor_labels: false

        static_configs:

          - targets:

              - kong-metrics.kong:8100

processors:

  cumulativetodelta:

    max_staleness: 25h

extensions:

  health_check:

exporters:

  otlphttp:

    endpoint: ${env:DT_ENDPOINT}

    headers:

      Authorization: "Api-Token ${env:DT_API_TOKEN}"

service:

  extensions: [health_check]

    metrics:

      receivers: [prometheus]

      processors: [cumulativetodelta]

      exporters: [otlphttp]
|}
Kong не предоставляет встроенную функцию сбора метрик <code>kong-metrics</code>, поэтому вам необходимо создать её с помощью следующего определения сервиса:
{| class="wikitable"
|apiVersion: v1

kind: Service

metadata:

  name: kong-metrics

  namespace: kong

spec:

  type: ClusterIP

  ports:

    - name: metrics

      port: 8100

      targetPort: 8100

      protocol: TCP

  selector:

    app.kubernetes.io/name: kong

    app.kubernetes.io/instance: kong
|}

== Spans ==
Для '''GenAI Spans''' доступны следующие атрибуты.
{| class="wikitable"
!Атрибут
!Тип
!Описание
|-
|<code>gen_ai.completion.0.content</code>
|string
|Полный ответ, полученный от модели GenAI.
|-
|<code>gen_ai.completion.0.content_filter_results</code>
|string
|Результаты фильтрации ответа, полученного от модели GenAI.
|-
|<code>gen_ai.completion.0.finish_reason</code>
|string
|Причина, по которой модель GenAI перестала выпускать токены.
|-
|<code>gen_ai.completion.0.role</code>
|string
|Роль, используемая моделью GenAI.
|-
|<code>gen_ai.openai.api_base</code>
|string
|Адрес сервера GenAI.
|-
|<code>gen_ai.openai.api_version</code>
|string
|Версия API GenAI.
|-
|<code>gen_ai.openai.system_fingerprint</code>
|string
|Отпечаток пальца ответа, сгенерированного моделью GenAI.
|-
|<code>gen_ai.prompt.0.content</code>
|string
|Полный текст запроса, отправленного модели GenAI.
|-
|<code>gen_ai.prompt.0.role</code>
|string
|Настройка роли для запроса GenAI.
|-
|<code>gen_ai.prompt.prompt_filter_results</code>
|string
|Результаты фильтрации запроса, отправленного модели GenAI.
|-
|<code>gen_ai.request.max_tokens</code>
|integer
|Максимальное количество токенов, которое модель генерирует для запроса.
|-
|<code>gen_ai.request.model</code>
|string
|Название модели GenAI, к которой направляется запрос.
|-
|<code>gen_ai.request.temperature</code>
|double
|Температурный параметр для запроса GenAI.
|-
|<code>gen_ai.request.top_p</code>
|double
|Параметр выборки top_p для запроса GenAI.
|-
|<code>gen_ai.response.model</code>
|string
|Название модели, которая сгенерировала ответ.
|-
|<code>gen_ai.system</code>
|string
|Продукт GenAI, идентифицированный с помощью клиентского или серверного программного обеспечения.
|-
|<code>gen_ai.usage.completion_tokens</code>
|integer
|Количество токенов, использованных в ответе GenAI (завершение).
|-
|<code>gen_ai.usage.prompt_tokens</code>
|integer
|Количество токенов, использованных во входных данных GenAI (подсказке).
|-
|<code>llm.request.type</code>
|string
|Тип выполняемой операции.
|}

== Метрики ==
После выполнения описанных выше шагов станут доступны следующие метрики:
{| class="wikitable"
!Метрическая система
!Тип
!Единица
!Описание
|-
|<code>ai_llm_requests_total</code>
|counter
|integer
|Общее количество запросов ИИ на одного поставщика ИИ в Kong.
|-
|<code>ai_llm_cost_total</code>
|counter
|integer
|Стоимость запросов ИИ на один поставщик ИИ/кэш в Kong
|-
|<code>ai_llm_provider_latency_ms_bucket</code>
|histogram
|ms
|Задержки ИИ на одного поставщика ИИ в Kong
|-
|<code>ai_llm_tokens_total</code>
|counter
|integer
|Общее количество токенов ИИ на один поставщик ИИ/кэш в Kong
|-
|<code>ai_cache_fetch_latency</code>
|histogram
|ms
|Задержки кэширования ИИ для каждого поставщика ИИ/базы данных в Kong.
|-
|<code>ai_cache_embeddings_latency</code>
|histogram
|ms
|Задержки встраивания кэша ИИ для каждого поставщика ИИ/базы данных в Kong.
|-
|<code>ai_llm_provider_latency</code>
|histogram
|ms
|Задержки поставщиков ИИ для каждого поставщика ИИ/базы данных в Kong.
|}
Кроме того, предоставляются следующие метрики.
{| class="wikitable"
!Метрическая система
!Тип
!Единица
!Описание
|-
|<code>gen_ai.client.generation.choices</code>
|counter
|<code>none</code>
|Количество вариантов выбора, возвращаемых в результате выполнения запроса на завершение чата.
|-
|<code>gen_ai.client.operation.duration</code>
|histogram
|<code>s</code>
|Продолжительность работы GenAI.
|-
|<code>gen_ai.client.token.usage</code>
|histogram
|<code>none</code>
|Количество используемых входных и выходных токенов.
|-
|<code>llm.openai.embeddings.vector_size</code>
|counter
|<code>none</code>
|Размер возвращаемого вектора.
|}