OpenLLMetry

OpenLLMetry обеспечивает мониторинг моделей ИИ, собирая и нормализуя ключевые показатели эффективности (KPI) из различных фреймворков ИИ. Используя дополнительный слой SDK OpenTelemetry, эти данные беспрепятственно передаются в среду Ключ-АСТРОМ, предлагая расширенную аналитику и целостное представление о стеке развертывания ИИ.

Учитывая широкое распространение Python в разработке моделей ИИ, OpenTelemetry служит надежным стандартом для сбора данных, включая трассировки, метрики и логи. Хотя автоматическая инструментация OpenTelemetry предоставляет информацию о диапазонах и основных атрибутах ресурсов, она не позволяет получить доступ к конкретным ключевым показателям эффективности (KPI), критически важным для моделей ИИ, таким как название модели, версия, токены подсказок и завершения, а также параметры температуры.

OpenLLMetry устраняет этот пробел, поддерживая популярные фреймворки ИИ, такие как OpenAI, HuggingFace, Pinecone и LangChain. Стандартизация сбора основных KPI модели с помощью OpenTelemetry обеспечивает всестороннюю наблюдаемость. Открытый SDK OpenLLMetry, построенный на основе OpenTelemetry, позволяет получить анализ вашего приложения LLM.

Благодаря интеграции собранных данных со средой Ключ-АСТРОМ, пользователи могут анализировать метрики, трассировки и логи LLM в контексте всех трассировок и информации на уровне кода. Поддерживаемый Traceloop под лицензией Apache 2.0, OpenLLMetry становится ценной частью для владельцев продуктов, обеспечивая прозрачное представление производительности моделей ИИ.

Приведенный ниже пример демонстрирует, как собирать информацию о модели OpenAI LLM, построенной на основе фреймворка LangChain.

Пример: модель OpenAI LLM с использованием LangChain

В этом примере мы демонстрируем реализацию настраиваемой модели LLM с использованием облачного сервиса OpenAI и фреймворка LangChain. Этот компактный пример демонстрирует интеграцию LangChain для создания шаблонного слоя для модели LLM.

Основная задача модели ИИ — предоставить краткое изложение целей бизнеса компании. LangChain добавляет уровень гибкости, позволяя пользователям динамически изменять компанию и определять максимальную длину ответа, сгенерированного ИИ.

Для беспрепятственного экспорта и анализа собранных данных следуйте инструкциям в руководстве по началу работы, чтобы создать токен Ключ-АСТРОМ.

Процесс начинается с инициализации SDK Traceloop OpenLLMetry. Затем мы аннотируем ключевые задачи модели для повышения наблюдаемости, как показано в предоставленном фрагменте кода.

Этот комплексный подход не только демонстрирует практическую реализацию модели LLM, но и подчеркивает важность настройки Ключ-АСТРОМ OpenTelemetry для эффективного экспорта и анализа данных, обеспечивая предприятиям надежную систему для оценки производительности моделей ИИ.

import os import openai from langchain.llms import OpenAI from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from traceloop.sdk import Traceloop from traceloop.sdk.decorators import workflow, task os.environ['OTEL_EXPORTER_OTLP_METRICS_TEMPORALITY_PREFERENCE'] = "delta" headers = { "Authorization": "Api-Token <YOUR_DT_API_TOKEN>" } Traceloop.init(     app_name="<your-service>",     api_endpoint="https://<YOUR_ENV>.live.astromkey.com/api/v2/otlp",     headers=headers,     disable_batch=True ) openai.api_key = os.getenv("OPENAI_API_KEY") @task(name="add_prompt_context") def add_prompt_context():     prompt = ChatPromptTemplate.from_template("explain the business of company {company} in a max of {length} words")     model = ChatOpenAI()     chain = prompt | model     return chain @task(name="prep_prompt_chain") def prep_prompt_chain():     return add_prompt_context() @workflow(name="ask_question") def prompt_question():     chain = prep_prompt_chain()     return chain.invoke({"company": "astromkey", "length" : 50}) if  __name__ == "__main__":     print(prompt_question())

Далее мы запускаем нашу модель ИИ и запрашиваем информацию о компании Ключ-АСТРОМ, получая в ответ 50 токенов, как описано ниже.

>python chaining.py Traceloop exporting traces to https://<MY_ENV>.live.astromkey.com/api/v2/otlp, authenticating with custom headers content='astromkey is a software intelligence company that provides monitoring and analytics solutions for modern cloud environments. They offer a platform that helps businesses optimize their software performance, improve customer experience, and accelerate digital transformation by leveraging AI-driven insights and automation.'

В среде Ключ-АСТРОМ вы можете отслеживать свою модель ИИ в режиме реального времени, изучать ее атрибуты и оценивать надежность и задержку каждой конкретной задачи LangChain.