IKuznetsov: Новая страница: «В контексте моделей ИИ A/B-тестирование имеет решающее значение для оценки влияния измен...»

2026-01-29T08:54:13Z

Новая страница: «В контексте моделей ИИ A/B-тестирование имеет решающее значение для оценки влияния измен...»

Новая страница

В контексте моделей ИИ A/B-тестирование имеет решающее значение для оценки влияния изменений в обучающем наборе данных, векторных базах данных, алгоритмах, функциях или конфигурациях на ключевые показатели эффективности, такие как точность, вовлеченность пользователей или доход. Путем предъявления различных сегментов пользователей каждому варианту и анализа их взаимодействия A/B-тестирование предоставляет основанные на данных сведения о том, какая версия конкретной модели обеспечивает лучшие результаты. Этот метод гарантирует, что обновления моделей ИИ будут основаны на измеримых улучшениях, минимизируя риски и оптимизируя результаты в реальных приложениях.

== Что вы узнаете ==
В этом руководстве мы сначала рассмотрим существующий готовый дашборд. Затем мы настроим ваше приложение для отправки дополнительных метаданных. Наконец, мы адаптируем дашборд для анализа данных на основе метаданных.

== Шаги ==
Общие этапы следующие:

# Изучение текущего дашборда.
# Настройка приложения для отправки пользовательских метаданных.
# Адаптация существующего дашборда.

Подробности каждого этапа см. ниже.

=== Изучение текущего дашборда ===
В рамках приложения '''AI Observability''' мы предоставляем готовый дашборд.

Дашборд позволяет выбирать различных поставщиков и модели и сравнивать их. Это дает возможность оценить их производительность по ключевым показателям, таким как время ответа, количество запросов, потребление токенов, стоимость и настройки температуры. Кроме того, прокрутив вниз, можно проанализировать, как разные модели реагировали на один и тот же запрос, что крайне важно для выявления регрессий.

Этот дашборд предоставляет возможность построения графиков данных в реальном времени и визуализации тенденций, позволяя отслеживать колебания производительности с течением времени, что крайне важно для принятия решений на основе данных при выборе или оптимизации моделей ИИ для использования в производственных условиях. Улучшенной функцией является возможность отслеживания пользовательских метаданных, например, названия обучающего набора данных для тонкой настройки, или добавления бизнес-метрик, таких как удовлетворенность, с помощью классических кнопок.

Давайте посмотрим, как можно передать ваши пользовательские данные в Ключ-АСТРОМ.

=== Настройка вашего приложения ===
Ваше приложение уже должно быть оснащено необходимыми инструментами в соответствии с руководством по [[Начало работы с наблюдаемостью ИИ и LLM|началу работы]]. Теперь мы можем адаптировать его для распространения дополнительных метаданных. Для этого мы используем [[OpenTelemetry]] и его '''API'''.

В рабочих процессах ИИ/машинного обучения и '''LLM''' крайне важно отслеживать метаданные, связанные с обучением и проверкой модели. Это включает в себя такие детали, как версия модели, идентификатор обучающего набора данных или используемые гиперпараметры. Распространяя эту информацию, вы можете сопоставлять результаты обучения с их последующей производительностью в производственной среде, что позволяет быстрее отлаживать ошибки и лучше понимать поведение модели.

Например, давайте добавим метаданные обучения (например, версию модели и идентификатор набора данных) к каждому трассировочному сигналу. Вот как можно изменить инструментарий вашего приложения:
{| class="wikitable"
|from traceloop.sdk import Traceloop

headers = { "Authorization": "Api-Token <YOUR_DT_API_TOKEN>" }

Traceloop.init(

app_name="<your-service>",

api_endpoint="https://<YOUR_ENV>.live.astromkey.com/api/v2/otlp", # or OpenTelemetry Collector URL

headers=headers,

resource_attributes={

'model.version': os.getenv('MODEL_VERSION'),

'dataset.id': os.getenv('DATASET_ID'),

}

)
|}
Параметр <code>resource_attributes</code> сопоставляет атрибуты, передаваемые в '''OpenTelemetry Resource Attributes'''. Следовательно, эти свойства прикрепляются ко всем сигналам, передаваемым в Ключ-АСТРОМ.

Это полезно для статических метаданных. Однако в некоторых случаях нам нужно добавить информацию, специфичную для запроса, например, значение флага функции во время эксперимента. Для этого мы можем использовать '''OpenTelemetry''' и создать диапазон, содержащий атрибуты запроса.
{| class="wikitable"
|from opentelemetry import trace

def handle_request():

...

with trace.get_tracer("my-awesome-app").start_as_current_span(name="handle_request") as span:

span.set_attribute("feature_flag.key", "my-new-feature-enabled")

span.set_attribute("feature_flag.result.value", "true")

# rest of the handling logic

...
|}

=== Адаптация существующего дашборда ===
Прежде чем изменять дашборд, давайте создадим копию существующего. Чтобы продублировать дашборд, откройте меню рядом с названием панели и выберите '''Дублировать'''.

Это создаст копию готового дашборда, который можно свободно редактировать. Теперь мы можем добавить несколько переменных для фильтрации данных по версии модели и идентификатору набора данных. Чтобы добавить переменные на дашборд, откройте меню рядом со списком переменных и выберите '''Переменная'''.

Мы можем добавить первую переменную для версии модели. Назовём её <code>ModelVersion</code> и используем <code>DQL</code> в качестве определения типа. Наконец, давайте используем следующее DQL-выражение для заполнения возможных значений переменной:
{| class="wikitable"
|fetch spans

<nowiki>|</nowiki> filter isNotNull(gen_ai.system) and isNotNull(model.version)

<nowiki>|</nowiki> summarize versions = collectDistinct(model.version)

<nowiki>|</nowiki> expand versions
|}
Запрос извлекает все сегменты, имеющие значения для атрибутов <code>gen_ai.system</code> и <code>model.version</code>. Атрибут <code>model.version</code>— это тот, который мы добавили вручную на предыдущем шаге. Атрибут <code>gen_ai.system</code> устанавливается для всех сегментов, связанных с ИИ. Затем мы собираем все уникальные значения для атрибута <code>model.version</code>. Наконец, мы указываем DQL рассматривать каждое значение <code>model.version</code> как отдельное значение для заполнения выпадающего меню переменной с помощью команды <code>expand</code>. Выберите '''Выполнить''', чтобы убедиться, что получены правильные значения.

Теперь мы можем использовать <code>$ModelVersion</code> в качестве переменной в DQL, и она будет заполнена значением, выбранным из выпадающего меню. Мы можем изменить существующие блоки, чтобы убедиться, что новая переменная используется для правильной фильтрации данных, добавив новое операторное выражение фильтра:
{| class="wikitable"
|<nowiki>| filter model.version == $ModelVersion</nowiki>
|}
Вот и всё! Теперь вы можете добавить больше переменных для фильтрации данных, используя дополнительные пользовательские метаданные.

Версионирование моделей ИИ и A/B-тестирование - История изменений

IKuznetsov: Новая страница: «В контексте моделей ИИ A/B-тестирование имеет решающее значение для оценки влияния измен...»