https://doc.ruscomtech.ru/index.php?action=history&feed=atom&title=%D0%94%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B0_%D0%B8_%D0%BD%D0%B0%D0%B4%D1%91%D0%B6%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%BB%D0%BE%D0%B3%D0%BE%D0%B2 2026-10-06T15:52:06Z История изменений этой страницы в вики MediaWiki 1.43.9 https://doc.ruscomtech.ru/index.php?title=%D0%94%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B0_%D0%B8_%D0%BD%D0%B0%D0%B4%D1%91%D0%B6%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%BB%D0%BE%D0%B3%D0%BE%D0%B2&diff=6994&oldid=prev 2026-10-05T20:03:05Z

<p>Новая страница: « = Доставка и надёжность логов = Эта страница описывает доставку и надёжность логов при их прохождении через следующие три компонента: * &#039;&#039;&#039;Хранилище данных&#039;&#039;&#039;: уровень хранения. * &#039;&#039;&#039;Модуль логов ЕдиногоАгента&#039;&#039;&#039;: агент сбора на хосте. * &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;...»</p> <p><b>Новая страница</b></p><div><br /> = Доставка и надёжность логов =<br /> Эта страница описывает доставку и надёжность логов при их прохождении через следующие три компонента:<br /> <br /> * &#039;&#039;&#039;Хранилище данных&#039;&#039;&#039;: уровень хранения.<br /> * &#039;&#039;&#039;Модуль логов ЕдиногоАгента&#039;&#039;&#039;: агент сбора на хосте.<br /> * &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;&#039;: опциональный компонент маршрутизации или конечная точка API.<br /> <br /> Каждый компонент имеет собственное поведение буферизации и ограничения. Другие пути загрузки логов — включая пересылку облачных логов, &#039;&#039;&#039;Коллектор OpenTelemetry&#039;&#039;&#039; Ключ-АСТРОМ, &#039;&#039;&#039;Расширения Ключ-АСТРОМ&#039;&#039;&#039; и сторонние пограничные компоненты, подключающиеся к &#039;&#039;&#039;API загрузки логов&#039;&#039;&#039;, — выходят за рамки этой страницы. Полный список вариантов загрузки см. в разделе &#039;&#039;&#039;Загрузка логов&#039;&#039;&#039;.<br /> <br /> == Обзор ==<br /> Понимание полного пути доставки помогает спроектировать сбор логов, который будет одновременно устойчивым и в пределах ограничений платформы. Эта страница описывает, как каждый компонент обрабатывает загрузку, постановку в очередь и восстановление после сбоев.<br /> <br /> == Хранилище данных ==<br /> Запись лога отбрасывается при загрузке, если её временная метка старше допустимого временного диапазона. Это означает, что даже при мощном механизме очередей логи, находящиеся в очереди дольше этого окна, будут отброшены. Точный диапазон см. в разделе &#039;&#039;&#039;Ограничения по умолчанию для управления логами и аналитики&#039;&#039;&#039;.<br /> <br /> Хранилище данных и поддерживающие его компоненты включают механизмы масштабирования для обработки внезапных всплесков загрузки, например из-за очередей, которые необходимо загрузить после проблем с подключением. Жёсткого ограничения на количество записей логов, которые можно отправить в хранилище данных за определённый период, нет. Дополнительную информацию об общеплатформенных ограничениях см. в разделе &#039;&#039;&#039;Ограничения по умолчанию для управления логами и аналитики&#039;&#039;&#039;.<br /> <br /> == ЕдиныйАгент ==<br /> Подробности о том, как &#039;&#039;&#039;ЕдиныйАгент&#039;&#039;&#039; читает, буферизует и доставляет логи — включая интервалы опроса, уровни буферизации и подключение, — см. в разделе &#039;&#039;&#039;Модуль логов ЕдиногоАгента&#039;&#039;&#039;.<br /> <br /> == АктивныйШлюз среды ==<br /> &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;&#039; поддерживает несколько источников логов. Каждый из них имеет свою логику организации очередей.<br /> <br /> === Логи от ЕдиногоАгента ===<br /> Логи, полученные от &#039;&#039;&#039;ЕдиногоАгента&#039;&#039;&#039;, немедленно пересылаются в вашу среду Ключ-АСТРОМ. &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;&#039; не ставит их в локальную очередь. Если среда Ключ-АСТРОМ недоступна, логи не сохраняются на &#039;&#039;&#039;АктивномШлюзе среды&#039;&#039;&#039; для последующей доставки. Механизм надёжности работает на стороне &#039;&#039;&#039;ЕдиногоАгента&#039;&#039;&#039;: &#039;&#039;&#039;ЕдиныйАгент&#039;&#039;&#039; ожидает &#039;&#039;&#039;подтверждения&#039;&#039;&#039; от &#039;&#039;&#039;АктивногоШлюза среды&#039;&#039;&#039; и отправляет повторно, если подтверждение не получено вовремя. Методы дедупликации и восстановления после сбоев предотвращают потерю или дублирование данных, если &#039;&#039;&#039;ЕдиныйАгент&#039;&#039;&#039; перезапускается во время передачи.<br /> <br /> &#039;&#039;&#039;Ограничения и сценарии потери данных&#039;&#039;&#039;<br /> <br /> * Если &#039;&#039;&#039;АктивныйШлюз&#039;&#039;&#039; не доставляет подтверждение в течение 24 часов, сообщение отбрасывается.<br /> * Записи логов с временной меткой старше двух часов не создают точки метрик на основе логов.<br /> * Если хост создаёт больше логов, чем &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;&#039; может обработать за длительный период, очередь неподтверждённых записей растёт на стороне &#039;&#039;&#039;ЕдиногоАгента&#039;&#039;&#039;. Чтобы ограничить использование памяти, &#039;&#039;&#039;ЕдиныйАгент&#039;&#039;&#039; прекращает чтение новых записей логов, пока предыдущие не будут подтверждены. В этом состоянии исходные файлы логов служат очередью. Если эти файлы будут ротированы или удалены до того, как &#039;&#039;&#039;ЕдиныйАгент&#039;&#039;&#039; их прочитает, произойдёт потеря данных.<br /> <br /> === Логи с конечной точки API ===<br /> Логи, полученные на конечных точках &lt;code&gt;/api/v2/logs/ingest&lt;/code&gt; и &lt;code&gt;/api/v2/otlp/v1/logs&lt;/code&gt;, ставятся в очередь на диске на &#039;&#039;&#039;АктивномШлюзе среды&#039;&#039;&#039;. По умолчанию диске очередь хранится в общесистемной временной папке и ограничена 300 МБ. Оба параметра можно переопределить с помощью свойств &lt;code&gt;disk_queue_path&lt;/code&gt; и &lt;code&gt;disk_queue_max_size_mb&lt;/code&gt; в секции &lt;code&gt;[generic_ingest]&lt;/code&gt; конфигурации &#039;&#039;&#039;АктивногоШлюза&#039;&#039;&#039;. Подробности см. в разделе &#039;&#039;&#039;Свойства и параметры конфигурации АктивногоШлюза&#039;&#039;&#039;. Очередь использует сжатие; для текстовых логов типичная степень сжатия составляет примерно 10:1, поэтому очередь в 300 МБ может эффективно хранить около 3 ГБ несжатых данных логов. Когда диске очередь достигает ёмкости, &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;&#039; возвращает ошибку &lt;code&gt;HTTP 503&lt;/code&gt;. Подробности см. в разделе &#039;&#039;&#039;Коды ответов API мониторинга логов v2&#039;&#039;&#039;. Механизм повторных попыток между компонентами Ключ-АСТРОМ не реализует стратегию задержки. Когда &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;&#039; повторяет поставленные в очередь сообщения после сбоя хранилища данных, может возникнуть всплеск трафика, совпадающий с новыми входящими сообщениями. Планируйте ёмкость соответственно.<br /> <br /> === Логи от расширений ===<br /> Логи, полученные в расширениях (например, &#039;&#039;&#039;Syslog&#039;&#039;&#039;), управляются &#039;&#039;&#039;Контроллером выполнения расширений (EEC)&#039;&#039;&#039;, который имеет размер буфера по умолчанию 1,5 ГБ. Этот лимит настраивается. Поведение повторной отправки по умолчанию на стороне &#039;&#039;&#039;EEC&#039;&#039;&#039;:<br /> <br /> * Логи отправляются повторно каждые две минуты, если не подтверждены.<br /> * Логи, не подтверждённые в течение 20 минут, отбрасываются.<br /> <br /> Оба интервала настраиваются. Рекомендации по выбору размера см. в разделе &#039;&#039;&#039;Аппаратные и системные требования для АктивныхШлюзов на Linux&#039;&#039;&#039;.<br /> <br /> === Возможности высокой доступности ===<br /> <br /> ==== Сегментация сети ====<br /> &#039;&#039;&#039;Сетевые зоны&#039;&#039;&#039; — это сущности Ключ-АСТРОМ, которые отражают топологию вашей сети и обеспечивают эффективную маршрутизацию трафика, минимизируя передачу данных между регионами. При развёртывании &#039;&#039;&#039;ЕдиногоАгента&#039;&#039;&#039; вместе с &#039;&#039;&#039;АктивнымШлюзом среды&#039;&#039;&#039; настройка сетевых зон рекомендуется для производственных сред. Подробности см. в разделах &#039;&#039;&#039;Сетевые зоны&#039;&#039;&#039;, &#039;&#039;&#039;Подключение ЕдиногоАгента в сетевых зонах&#039;&#039;&#039; и &#039;&#039;&#039;Подключение АктивногоШлюза в сетевых зонах&#039;&#039;&#039;.<br /> <br /> ==== Сетевой прокси ====<br /> Если между &#039;&#039;&#039;ЕдинымАгентом&#039;&#039;&#039; и &#039;&#039;&#039;АктивнымШлюзом среды&#039;&#039;&#039; расположен сетевой прокси, настройте URL-адрес прокси на &#039;&#039;&#039;АктивномШлюзе среды&#039;&#039;&#039;, чтобы &#039;&#039;&#039;ЕдиныеАгенты&#039;&#039;&#039; могли маршрутизировать свой трафик через него. Подробности см. в разделе &#039;&#039;&#039;Настройка обратного прокси для ЕдиногоАгента&#039;&#039;&#039;.<br /> <br /> ==== Балансировка нагрузки для трафика ЕдиногоАгента ====<br /> &#039;&#039;&#039;ЕдиныйАгент&#039;&#039;&#039; автоматически выбирает доступный &#039;&#039;&#039;АктивныйШлюз&#039;&#039;&#039; среды для связи. При настроенных сетевых зонах &#039;&#039;&#039;ЕдиныйАгент&#039;&#039;&#039; отдаёт приоритет &#039;&#039;&#039;АктивномуШлюзу&#039;&#039;&#039; в той же зоне. При масштабировании количества &#039;&#039;&#039;АктивныхШлюзов&#039;&#039;&#039; вверх или вниз &#039;&#039;&#039;ЕдиныеАгенты&#039;&#039;&#039; автоматически перераспределяют трафик по активному набору — в том числе во время обслуживания, сбоя или временной недоступности &#039;&#039;&#039;АктивногоШлюза&#039;&#039;&#039;. Подробности об алгоритме подключения см. в разделе &#039;&#039;&#039;Подключение ЕдиногоАгента в сетевых зонах&#039;&#039;&#039;.<br /> <br /> ==== Балансировка нагрузки для загрузки логов через API ====<br /> Ключ-АСТРОМ не предоставляет встроенной балансировки нагрузки для загрузки логов через &#039;&#039;&#039;REST API&#039;&#039;&#039; на &#039;&#039;&#039;АктивныхШлюзах среды&#039;&#039;&#039;. Чтобы обеспечить высокую доступность и сбалансированное распределение трафика, настройте балансировку нагрузки на основе &#039;&#039;&#039;DNS&#039;&#039;&#039; или разверните аппаратный балансировщик нагрузки перед вашим развёртыванием &#039;&#039;&#039;АктивныхШлюзов&#039;&#039;&#039;.<br /> <br /> ==== Мониторинг и восстановление процессов ====<br /> Процесс &#039;&#039;&#039;АктивногоШлюза среды&#039;&#039;&#039; непрерывно контролируется выделенным процессом-сторожевым таймером. Если &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;&#039; аварийно завершается или перестаёт отвечать, сторожевой таймер автоматически перезапускает его. Полный список параметров конфигурации см. в разделе &#039;&#039;&#039;Настройка АктивногоШлюза&#039;&#039;&#039;.<br /> <br /> == Ограничения ==<br /> Общеплатформенные ограничения загрузки, применяемые на всём пути доставки, см. в разделе &#039;&#039;&#039;Ограничения по умолчанию для управления логами и аналитики&#039;&#039;&#039;.<br /> <br /> == Рекомендации по выбору размера ==<br /> Размер диске очереди &#039;&#039;&#039;АктивногоШлюза&#039;&#039;&#039; и настройки сохранения напрямую влияют на то, какой объём данных логов можно буферизовать во время сбоев. <br /> <br /> == Диагностика ==<br /> Готовый дашборд &#039;&#039;&#039;Обзор загрузки логов&#039;&#039;&#039; предоставляет сквозной обзор, визуализацию и поток для диагностики проблем загрузки логов по всем компонентам загрузки: &#039;&#039;&#039;ЕдиныйАгент&#039;&#039;&#039;, конечные точки &#039;&#039;&#039;API&#039;&#039;&#039;, &#039;&#039;&#039;АктивныйШлюз среды&#039;&#039;&#039; и &#039;&#039;&#039;OpenPipeline&#039;&#039;&#039;. Используйте следующие ресурсы для исследования возможных возникающих проблем.</div>

IKuznetsov