Начало работы с наблюдаемостью ИИ и LLM

Платформа мониторинга Ключ-АСТРОМ для всего стека технологий в сочетании с SDK OpenLLMetry OpenTelemetry от Traceloop позволяет беспрепятственно получать исчерпывающую информацию о больших языковых моделях (LLM) в производственных средах. Наблюдая за моделями ИИ, компании могут принимать обоснованные решения, оптимизировать производительность и обеспечивать соответствие новым нормативным требованиям в области ИИ.

Инструментация вашего приложения

1. Создайте токен Ключ-АСТРОМ, чтобы OpenLLMetry мог передавать данные в ваш клиент Ключ-АСТРОМ.
   1. В Ключ-АСТРОМ перейдите в раздел Токены доступа. Чтобы найти Токены доступа, нажмите Ctrl/Cmd+K для поиска и выберите Токены доступа.
   2. В разделе Токены доступа выберите Сгенерировать новый токен.
   3. Введите имя для вашего нового токена.
   4. Предоставьте своему новому токену следующие права доступа:
   5. Найдите и выберите все следующие области применения.
      • Метрики приема (metrics.ingest)
      • Логи загрузки (logs.ingest)
      • Приём трассировок OpenTelemetry (openTelemetryTrace.ingest)
   6. Выберите Сгенерировать токен.
   7. Скопируйте сгенерированный токен в буфер обмена. Сохраните токен в менеджере паролей для дальнейшего использования.
2. Инициализируйте OpenLLMetry токеном для сбора всех соответствующих KPI.

Способ инициализации фреймворка зависит от языка программирования.

Python

Node.js

Бэкенд Ключ-АСТРОМ работает исключительно с дельта-значениями и требует соответствующей временной последовательности агрегации. Убедитесь, что ваш экспортер метрик настроен соответствующим образом OTEL_EXPORTER_OTLP_METRICS_TEMPORALITY_PREFERENCE, или установите переменную среды в значение DELTA. Мы можем использовать OpenTelemetry для автоматической инструментации, которая собирает трассировки и метрики ваших рабочих нагрузок ИИ, в частности OpenLLMetry, который можно установить с помощью следующей команды: pip install traceloop-sdk После этого добавьте следующий код в начало вашего основного файла. from traceloop.sdk import Traceloop headers = { "Authorization": "Api-Token <YOUR_DT_API_TOKEN>" } Traceloop.init(     app_name="<your-service>",     api_endpoint="https://<YOUR_ENV>.live.astromkey.com/api/v2/otlp", # or OpenTelemetry Collector URL     headers=headers )

Мы можем использовать OpenTelemetry для автоматической инструментации, которая собирает трассировки и метрики ваших рабочих нагрузок ИИ, в частности OpenLLMetry, который можно установить с помощью следующей команды: npm i @opentelemetry/exporter-trace-otlp-proto @traceloop/node-server-sdk После этого добавьте следующий код в начало вашего основного файла. import {OTLPTraceExporter} from "@opentelemetry/exporter-trace-otlp-proto"; import * as traceloop from "@traceloop/node-server-sdk"; const exporter = new OTLPTraceExporter({     url: "https://<YOUR_ENV>.live.astromkey.com/api/v2/otlp", // or OpenTelemetry Collector URL     headers: { Authorization: "Api-Token <YOUR_DT_API_TOKEN>" }, }); traceloop.initialize({   appName: "<your-service>",   exporter: exporter }); В настоящее время OpenLLMetry для Node.js не поддерживает метрики.