IKuznetsov: Новая страница: «'''OpenLLMetry''' обеспечивает мониторинг моделей ИИ, собирая и нормализуя ключевые показатели...»

2026-01-29T08:22:39Z

Новая страница: «'''OpenLLMetry''' обеспечивает мониторинг моделей ИИ, собирая и нормализуя ключевые показатели...»

Новая страница

'''OpenLLMetry''' обеспечивает мониторинг моделей ИИ, собирая и нормализуя ключевые показатели эффективности ('''KPI''') из различных фреймворков ИИ. Используя дополнительный слой '''SDK OpenTelemetry''', эти данные беспрепятственно передаются в среду Ключ-АСТРОМ, предлагая расширенную аналитику и целостное представление о стеке развертывания ИИ.

Учитывая широкое распространение '''Python''' в разработке моделей ИИ, '''OpenTelemetry''' служит надежным стандартом для сбора данных, включая трассировки, метрики и логи. Хотя автоматическая инструментация '''OpenTelemetry''' предоставляет информацию о диапазонах и основных атрибутах ресурсов, она не позволяет получить доступ к конкретным ключевым показателям эффективности ('''KPI'''), критически важным для моделей ИИ, таким как название модели, версия, токены подсказок и завершения, а также параметры температуры.

'''OpenLLMetry''' устраняет этот пробел, поддерживая популярные фреймворки ИИ, такие как '''OpenAI''', '''HuggingFace''', '''Pinecone''' и '''LangChain'''. Стандартизация сбора основных '''KPI''' модели с помощью '''OpenTelemetry''' обеспечивает всестороннюю наблюдаемость. Открытый '''SDK OpenLLMetry''', построенный на основе '''OpenTelemetry''', позволяет получить анализ вашего приложения '''LLM'''.

Благодаря интеграции собранных данных со средой Ключ-АСТРОМ, пользователи могут анализировать метрики, трассировки и логи '''LLM''' в контексте всех трассировок и информации на уровне кода. Поддерживаемый '''Traceloop''' под лицензией '''Apache 2.0''', '''OpenLLMetry''' становится ценной частью для владельцев продуктов, обеспечивая прозрачное представление производительности моделей ИИ.

Приведенный ниже пример демонстрирует, как собирать информацию о модели '''OpenAI''' '''LLM''', построенной на основе фреймворка '''LangChain'''.

== Пример: модель OpenAI LLM с использованием LangChain ==
В этом примере мы демонстрируем реализацию настраиваемой модели '''LLM''' с использованием облачного сервиса '''OpenAI''' и фреймворка '''LangChain'''. Этот компактный пример демонстрирует интеграцию '''LangChain''' для создания шаблонного слоя для модели '''LLM'''.

Основная задача модели ИИ — предоставить краткое изложение целей бизнеса компании. '''LangChain''' добавляет уровень гибкости, позволяя пользователям динамически изменять компанию и определять максимальную длину ответа, сгенерированного ИИ.

Для беспрепятственного экспорта и анализа собранных данных следуйте инструкциям в руководстве по [[Начало работы с наблюдаемостью ИИ и LLM|началу работы]], чтобы создать токен Ключ-АСТРОМ.

Процесс начинается с инициализации '''SDK Traceloop OpenLLMetry'''. Затем мы аннотируем ключевые задачи модели для повышения наблюдаемости, как показано в предоставленном фрагменте кода.

Этот комплексный подход не только демонстрирует практическую реализацию модели '''LLM''', но и подчеркивает важность настройки Ключ-АСТРОМ '''OpenTelemetry''' для эффективного экспорта и анализа данных, обеспечивая предприятиям надежную систему для оценки производительности моделей ИИ.
{| class="wikitable"
|import os

import openai

from langchain.llms import OpenAI

from langchain.chat_models import ChatOpenAI

from langchain.prompts import ChatPromptTemplate

from traceloop.sdk import Traceloop

from traceloop.sdk.decorators import workflow, task

os.environ['OTEL_EXPORTER_OTLP_METRICS_TEMPORALITY_PREFERENCE'] = "delta"

headers = { "Authorization": "Api-Token <YOUR_DT_API_TOKEN>" }

Traceloop.init(

app_name="<your-service>",

api_endpoint="https://<YOUR_ENV>.live.astromkey.com/api/v2/otlp",

headers=headers,

disable_batch=True

)

openai.api_key = os.getenv("OPENAI_API_KEY")

@task(name="add_prompt_context")

def add_prompt_context():

prompt = ChatPromptTemplate.from_template("explain the business of company {company} in a max of {length} words")

model = ChatOpenAI()

chain = prompt | model

return chain

@task(name="prep_prompt_chain")

def prep_prompt_chain():

return add_prompt_context()

@workflow(name="ask_question")

def prompt_question():

chain = prep_prompt_chain()

return chain.invoke({"company": "astromkey", "length" : 50})

if __name__ == "__main__":

print(prompt_question())
|}
Далее мы запускаем нашу модель ИИ и запрашиваем информацию о компании Ключ-АСТРОМ, получая в ответ 50 токенов, как описано ниже.
{| class="wikitable"
|>python chaining.py

Traceloop exporting traces to https://<MY_ENV>.live.astromkey.com/api/v2/otlp, authenticating with custom headers

content='astromkey is a software intelligence company that provides monitoring and analytics solutions for modern cloud environments. They offer a platform that helps businesses optimize their software performance, improve customer experience, and accelerate digital transformation by leveraging AI-driven insights and automation.'
|}
В среде Ключ-АСТРОМ вы можете отслеживать свою модель ИИ в режиме реального времени, изучать ее атрибуты и оценивать надежность и задержку каждой конкретной задачи '''LangChain.'''

OpenLLMetry - История изменений

IKuznetsov: Новая страница: «'''OpenLLMetry''' обеспечивает мониторинг моделей ИИ, собирая и нормализуя ключевые показатели...»