Термины и понятия
Ключ-АСТРОМ поддерживает GenAI Observability, устраняя неполадки в диалогах, повышая производительность, снижая затраты и сопоставляя данные по всему продукту для эффективного решения проблем в больших языковых моделях (LLM) или традиционном машинном обучении (ML).
На этой странице представлены определения и пояснения ключевых терминов, используемых в нашей документации.
Генерация с расширенным извлечением (RAG)
RAG — это технология искусственного интеллекта, которая повышает производительность линейных моделей обучения (LLM) за счет извлечения релевантных документов или информации из внешних источников. Полученные данные используются для улучшения входных данных для LLM в процессе генерации текста.
В отличие от традиционных моделей обучения с использованием линейных алгоритмов (LLM), которые полагаются исключительно на внутренние обучающие данные, RAG использует информацию в реальном времени для предоставления более точных, актуальных и контекстно релевантных ответов.
Агенты
В контексте искусственного интеллекта и языковых моделей агент — это автономная или полуавтономная сущность, предназначенная для выполнения конкретных задач или решения проблем.
Агенты выполняют действия от имени пользователей, специалистов или других систем, часто на основе полученных входных данных или целей. Эти агенты могут работать с различной степенью независимости и интеллекта, что делает их пригодными для решения сложных задач принятия решений, часто с использованием языковой модели.
Агентская система
Агентская система использует интеллектуальных агентов, которые управляют или запрашивают выполнение конкретных задач RAG в режиме реального времени, повышая контроль над процессом поиска.
В агентской системе несколько агентов работают вместе для решения сложных запросов. Эти агенты динамически оценивают релевантность информации, расставляют приоритеты и изменяют процесс генерации в зависимости от меняющегося контекста.
Инструменты
Инструментализация — это процесс добавления кода, обеспечивающего наблюдаемость, в приложение.
Ключ-АСТРОМ использует OpenLLMetry, библиотеку инструментов, основанную на OpenTelemetry. OpenLLMetry автоматически регистрирует SDK OpenTelemetry и список инструментов для популярных фреймворков, моделей и векторных баз данных GenAI.
Чтобы узнать, как настроить OpenLLMetry в вашем приложении, см. страницу Начало работы.
Трассировки
Трассировка описывает запрос пользователя и все операции, выполненные для его удовлетворения. Мы можем проанализировать шаги, имеющие отношение к наблюдению за рабочими нагрузками ИИ/машинного обучения.
Трассировка помогает обеспечить прозрачность сложных рабочих процессов, предоставляя информацию о затратах, производительности и позволяя оценить качество генерируемых результатов в контексте задач искусственного интеллекта/машинного обучения.
Часто встречаются приложения LLM со сложной и автономной логикой, в которых решения принимает модель. Мы можем использовать трассировки, чтобы понять, как запросы распространяются по конвейерам RAG или агентным конвейерам, и увидеть подробности каждого выполненного шага.
Каждое действие, выполняемое в трассировке, сохраняется как сегмент. Атрибуты сегмента содержат информацию, относящуюся к рабочим нагрузкам ИИ/машинного обучения (например, стоимость токенов для операции, а также подсказки ввода и вывода). OpenLLMetry следует семантическим соглашениям OpenTelemetry для GenAI, поэтому легко найти соответствующие ключи атрибутов.
На странице Концепции распределенной трассировки более подробно объясняется концепция трассировки.
Traceloop span kind
Traceloop помечает участки трассировки, относящиеся к фреймворку LLM, определенным атрибутом traceloop.span.kind. Этот атрибут помогает организовать и понять структуру трассировок вашего приложения, упрощая анализ и отладку сложных систем на основе LLM.
Атрибут traceloop.span.kind может принимать одно из четырех возможных значений:
workflows: Представляет собой высокоуровневый процесс или цепочку операций.task: Обозначает конкретную операцию или этап в рамках рабочего процесса.agent: Обозначает автономный компонент, способный принимать решения или выполнять действия.tool: Представляет собой вспомогательную функцию, используемую в приложении.
