Ollama

Ollama — это платформа, позволяющая пользователям запускать и управлять моделями ИИ локально на своих компьютерах. Она предоставляет инструменты для развертывания, взаимодействия и тонкой настройки различных моделей ИИ, особенно тех, которые связаны с обработкой естественного языка.

Мониторинг ваших моделей Ollama с помощью Ключ-АСТРОМ позволяет получать записи о подсказках и завершении, отслеживать ошибки, просматривать показатели производительности ваших ИИ-сервисов и многое другое.

Spans

Для GenAI Spans доступны следующие атрибуты.

Атрибут	Тип	Описание
gen_ai.completion.0.content	string	Полный ответ, полученный от модели GenAI.
gen_ai.completion.0.role	string	Роль, используемая моделью GenAI.
gen_ai.prompt.0.content	string	Полный текст запроса, отправленного модели GenAI.
gen_ai.prompt.0.role	string	Настройка роли для запроса GenAI.
gen_ai.request.model	string	Название модели GenAI, к которой направляется запрос.
gen_ai.response.model	string	Название модели, которая сгенерировала ответ.
gen_ai.system	string	Продукт GenAI, идентифицированный с помощью клиентского или серверного программного обеспечения.
gen_ai.usage.completion_tokens	integer	Количество токенов, использованных в ответе GenAI (завершение).
gen_ai.usage.prompt_tokens	integer	Количество токенов, использованных во входных данных GenAI (подсказке).
llm.request.type	string	Тип выполняемой операции.