https://doc.ruscomtech.ru/index.php?action=history&feed=atom&title=%D0%9E%D0%B3%D1%80%D0%B0%D0%BD%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_OpenPipelineОграничения OpenPipeline - История изменений2026-05-02T13:07:56ZИстория изменений этой страницы в викиMediaWiki 1.36.1https://doc.ruscomtech.ru/index.php?title=%D0%9E%D0%B3%D1%80%D0%B0%D0%BD%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_OpenPipeline&diff=5648&oldid=prevIKuznetsov: Новая страница: «На следующей странице перечислены ограничения Ключ-АСТРОМ '''OpenPipeline''' по умолчанию. == Ог...»2025-09-08T19:33:54Z<p>Новая страница: «На следующей странице перечислены ограничения Ключ-АСТРОМ '''OpenPipeline''' по умолчанию. == Ог...»</p>
<p><b>Новая страница</b></p><div>На следующей странице перечислены ограничения Ключ-АСТРОМ '''OpenPipeline''' по умолчанию.<br />
<br />
== Ограничения по типам данных ==<br />
Ограничения, специфичные для типа данных, могут перекрывать общие ограничения '''OpenPipeline'''. Сведения об ограничениях, специфичных для типа данных, см.<br />
<br />
* [[Ограничения по умолчанию для управления логами и аналитики]], а также [[Ограничения по умолчанию для управления логами и аналитики|проверка схемы для логов]]<br />
* [[Ограничения OpenPipeline|Поля с ограничениями для метрик (ниже)]]<br />
* [[Ограничения OpenPipeline|Поля с ограничениями на диапазоны (ниже)]]<br />
<br />
== Ограничения, специфичные для полей ==<br />
<br />
=== Поля с ограничениями для всех типов данных ===<br />
Следующие поля доступны только для просмотра; редактирование через '''OpenPipeline''' не поддерживается.<br />
<br />
* <code>dt.ingest.*</code><br />
* <code>dt.openpipeline.*</code><br />
* <code>dt.retain.*</code><br />
* <code>dt.system.*</code><br />
<br />
=== Поля с ограничениями для метрик ===<br />
Использование следующих полей для метрик в '''OpenPipeline''' ограничено.<br />
<br />
* Поля, исключенные из условий динамического сопоставления маршрута и на этапе обработки<br />
** <code>dt.entity.*</code><br />
* Поля, исключенные из этапа обработки<br />
** <code>dt.system.monitoring_source</code><br />
** <code>metric.key</code><br />
** <code>metric.type</code><br />
** <code>timestamp</code><br />
** <code>value</code><br />
<br />
=== Поля с ограничениями на диапазоны ===<br />
Использование следующих полей для интервалов в '''OpenPipeline''' ограничено.<br />
<br />
* Поля, исключенные из условий динамического сопоставления маршрута и на этапе обработки<br />
** <code>dt.entity.service</code><br />
** <code>endpoint.name</code><br />
** <code>failure_detection.*</code><br />
** <code>request.is_failed</code><br />
** <code>request.is_root_span</code><br />
** <code>service_mesh.is_proxy</code><br />
** <code>service_mesh.is_failed</code><br />
** <code>supportability.*</code><br />
* Поля, исключенные из этапа обработки<br />
** <code>dt.ingest.size</code><br />
** <code>dt.retain.size</code><br />
** <code>duration</code><br />
** <code>end_time</code><br />
** <code>span.id</code><br />
** <code>start_time</code><br />
** <code>trace.id</code><br />
<br />
=== Поля, связанные с сущностями ===<br />
Следующие поля добавляются после этапа обработки, когда Ключ-АСТРОМ выполняет обнаружение сущностей. Поскольку они недоступны до этого, их нельзя использовать на этапах предварительной обработки, маршрутизации или обработки. Их можно использовать на этапах извлечения метрик, извлечения данных, разрешений и конвейера хранения.<br />
<br />
* <code>dt.entity.aws_lambda_function</code><br />
* <code>dt.entity.cloud_application</code><br />
* <code>dt.entity.cloud_application_instance</code><br />
* <code>dt.entity.cloud_application_names</code><br />
* <code>dt.entity.custom_device</code><br />
* <code>dt.entity.<genericEntityType></code><br />
* <code>dt.entity.kubernetes_cluster</code><br />
* <code>dt.entity.kubernetes_node</code><br />
* <code>dt.entity.kubernetes_service</code><br />
* <code>dt.entity.service</code><br />
* <code>dt.env_vars.dt_tags</code><br />
* <code>dt.kubernetes.cluster.id</code><br />
* <code>dt.kubernetes.cluster.name</code><br />
* <code>dt.loadtest.custom_entity.enriched_custom_device_name</code><br />
* <code>dt.process.name</code><sup>1</sup><br />
* <code>dt.source_entity</code><br />
* <code>k8s.cluster.name</code><sup>2</sup><br />
<br />
<sup>1</sup> Для получения эквивалентных результатов до этапа обработки можно использовать <code>dt.process_group.detected_name</code> вместо этого.<br />
<br />
<sup>2</sup> <code>ЕдиныйАгент версии 1.309</code> <code>Ключ-АСТРОМ Operator версии 1.4.2+</code> Поле доступно до этапа обработки, если модуль логов ЕдиногоАгента работает в автономном режиме.<br />
<br />
== Внедрение ==<br />
<br />
=== Запись максимальной временной метки ===<br />
Если временная метка находится более чем на 10 минут в будущем, она корректируется в соответствии со временем сервера приема плюс 10 минут.<br />
<br />
=== Минимальная временная метка записи ===<br />
{| class="wikitable"<br />
!Элемент<br />
!Самая ранняя временная метка<br />
|-<br />
|Логи, События, Бизнес-события, Системные события<br />
|Время приема минус 24 часа<br />
|-<br />
|Метрики, извлеченные метрики и события ИИ<br />
|Время приема минус 1 час<br />
|}<br />
Записи вне этих временных рамок отбрасываются.<br />
<br />
== API для приема ==<br />
<br />
=== Значение метки времени ===<br />
Поддерживаются числовые и строковые значения временных меток. '''OpenPipeline''' анализирует временные метки следующим образом.<br />
<br />
* Числовые значения<br />
** До <code>100_000_000_000</code> анализируются как <code>SECONDS</code>.<br />
** До <code>100_000_000_000_000</code> анализируются как <code>MILLISECONDS</code>.<br />
** До <code>9_999_999_999_999_999</code> анализируются как <code>MICROSECONDS</code>.<br />
* Строковые значения анализируются либо как<br />
** <code>UNIX epoch</code> миллисекунды или секунды<br />
** <code>RFC3339</code> форматы<br />
** <code>RFC3164</code> форматы<br />
* Для других значений, которые не могут быть проанализированы <code>timestamp</code>, перезаписывается временем приема.<br />
<br />
Если в записи нет поля <code>timestamp</code>, поле устанавливается на время загрузки <code>timestamp</code>.<br />
<br />
== Обработка ==<br />
<br />
=== Размер рабочей памяти при обработке одной записи ===<br />
Каждая запись может занимать максимум 16 МБ памяти. Каждое изменение записи (например, анализ поля) уменьшает доступную память. После исчерпания доступной памяти запись удаляется.<br />
<br />
=== Размер записи после обработки ===<br />
Максимальный размер записи после обработки — 16 МБ.<br />
<br />
=== Размер извлеченных атрибутов логов ===<br />
Размер атрибутов логов может достигать 32 КБ. При добавлении атрибутов логов в шаблон события размер каждого атрибута сокращается до 4096 байт.<br />
<br />
=== Количество извлечений для одной записи ===<br />
Вы можете извлекать данные из одной записи максимум через пять различных конвейеров (<code>dt. open pipeline.pipelines</code>). После превышения порогового значения извлечение данных из этой записи прекращается. Обработка и сохранение записи продолжается.<br />
<br />
=== Проверка схемы для логов ===<br />
Обработанные логи сохраняются, если выполнены следующие условия.<br />
{| class="wikitable"<br />
!Поле<br />
!Существует<br />
!Тип<br />
!Ограничение<br />
|-<br />
|<code>timestamp</code><br />
|Да<br />
|<code>String</code>,<code>Numerical</code><br />
|В пределах диапазона приема<br />
|-<br />
|<code>content</code><br />
|Да<br />
|<code>String</code><br />
|Не оценено<br />
|}<br />
Если схема недействительна, логи удаляются.<br />
<br />
== Конфигурация ==<br />
{| class="wikitable"<br />
!Элемент<br />
!Максимальный предел<br />
|-<br />
|Запрос размера полезной нагрузки<br />
|10 МБ<br />
|-<br />
|Значение канала связи<br />
|100<br />
|-<br />
|Размер этапа<br />
|512 КБ на этап<br />
|-<br />
|Значение процессора<br />
|1000 на этап<br />
|-<br />
|Значение конечной точки<br />
|100 на тип данных<br />
|-<br />
|Динамическое количество маршрутов<br />
|100 на тип данных<br />
|-<br />
|Длина условия соответствия<br />
|1000 байтов в кодировке UTF-8 на условие<br />
|-<br />
|Длина скрипта процессора DQL<br />
|8192 байта в кодировке UTF-8 на скрипт<br />
|}<br />
<br />
=== Допустимые символы в пути конечной точки ===<br />
Путь к конечной точке — это уникальное имя, начинающееся с литерала, определяющего конечную точку. Оно нечувствительно к регистру и поддерживает буквы, цифры и точку (<code>.</code>). Например: <code>Endpoint.1</code>.<br />
<br />
Путь конечной точки не поддерживает:<br />
<br />
* Точка (<code>.</code>) как последний символ<br />
* Пробелы<br />
* Последовательные точки ( <code>..</code>)<br />
* <code>Null</code> или пустой ввод</div>IKuznetsov