IKuznetsov: Новая страница: «Телеметрические данные часто могут включать конфиденциальные данные (например, wikipedia:Pe...»

2025-10-08T05:07:45Z

Новая страница: «Телеметрические данные часто могут включать конфиденциальные данные (например, wikipedia:Pe...»

Новая страница

Телеметрические данные часто могут включать конфиденциальные данные (например, [[wikipedia:Personal_data|персональные данные]]), которые может потребоваться редактировать по соображениям безопасности и нормативным требованиям. Хотя это можно реализовать на стороне приложения, обычно лучше всего обрабатывать это централизованно, используя шлюзы, такие как '''Collector'''. Это позволяет централизованно управлять правилами редактирования во всех ваших приложениях и сервисах, без необходимости обновлять код каждый раз, когда требуется новое правило редактирования.

На этой странице показаны примеры конфигураций '''Collector''' для редактирования определенных конфиденциальных данных (например, номеров кредитных карт или адресов электронной почты), которые могут появляться в телеметрических данных и которые следует маскировать/редактировать перед тем, как они покинут вашу сеть.

== Предустановка ==

* Один из следующих дистрибутивов '''Collector''' с процессорами [https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/v0.136.0/processor/transformprocessor преобразования] и/или [https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/v0.136.0/processor/redactionprocessor редактирования] :
*
** [[Collector Ключ-АСТРОМ|'''Collector''' Ключ-АСТРОМ]]
** [[Collector Ключ-АСТРОМ|OpenTelemetry Contrib]]
** [[Collector Ключ-АСТРОМ|Пользовательская версия Builder]]
* [[Экспорт с помощью OTLP|URL-адрес конечной точки API Ключ-АСТРОМ]], на которую следует экспортировать данные.
* [[Экспорт с помощью OTLP|Токен API]] с соответствующей областью доступа (требуется только для '''SaaS''' и АктивногоШлюза)

Информацию о настройке '''Collector''' с использованием указанной ниже конфигурации см. в разделах [[Развертывание Collector|Развертывание коллектора]] и [[Настройка Collector|Конфигурация коллектора]].

== Процессор редактирования в сравнении процессора преобразования ==
В следующих примерах используются эти два [https://opentelemetry.io/docs/collector/architecture/#processors процессора] '''Collector''' :

* процессор [https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/v0.136.0/processor/transformprocessor преобразования]
* процессор [https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/v0.136.0/processor/redactionprocessor редактирования]

Хотя в следующих примерах оба процессора используются для маскирования данных, каждый из них имеет свою собственную цель. Процессор редактирования прост и принимает список значений, на основе которого соответствующие данные будут полностью отредактированы. С другой стороны, цель процессора преобразования более универсальна и выходит за рамки простого редактирования данных.

Для редактирования данных обычно можно использовать любой из процессоров, и вы можете выбрать наиболее подходящий для вашего случая. Например, для полного редактирования данных процессор редактирования может быть проще в использовании. С другой стороны, частичное редактирование данных можно выполнить только с помощью процессора преобразования. Кроме того, процессор преобразования может фильтровать данные по телу логов, тогда как процессор редактирования имеет доступ только к атрибутам.

== Демо конфигурация ==
Этот документ '''YAML''' представляет собой базовый скелет конфигурации '''Collector''', содержащий базовые общие компоненты (то есть приемники, экспортеры и определение конвейера).
{| class="wikitable"
|receivers:

otlp:

protocols:

grpc:

endpoint: 0.0.0.0:4317

http:

endpoint: 0.0.0.0:4318

processors:

PLACEHOLDER-FOR-PROCESSOR-CONFIGURATIONS

exporters:

otlphttp:

endpoint: ${env:DT_ENDPOINT}

headers:

"Authorization": "Api-Token ${env:DT_API_TOKEN}"

service:

pipelines:

traces:

receivers: [otlp]

processors: [PLACEHOLDER-FOR-PROCESSOR-REFERENCES]

exporters: [otlphttp]

metrics:

receivers: [otlp]

processors: [PLACEHOLDER-FOR-PROCESSOR-REFERENCES]

exporters: [otlphttp]

logs:

receivers: [otlp]

processors: [PLACEHOLDER-FOR-PROCESSOR-REFERENCES]

exporters: [otlphttp]
|}
Обязательно замените значения заполнителей в документе соответствующими конфигурациями:

* <code>PLACEHOLDER-FOR-PROCESSOR-CONFIGURATIONS</code>: соответствующая конфигурация процессора
* <code>PLACEHOLDER-FOR-PROCESSOR-REFERENCES</code>: ссылки на соответствующие объекты процессора для отдельных типов сигналов

=== IP-адреса ===
Используя процессор преобразования, мы маскируем атрибут <code>client.address</code> с помощью [https://github.com/open-telemetry/opentelemetry-collector-contrib/blob/v0.136.0/pkg/ottl/ottlfuncs/README.md#set оператора <code>set</code>].
{| class="wikitable"
|transform:

error_mode: ignore

trace_statements:

- context: span

statements: &filter-statements

# this will not only mask end user client IP addresses,

# but also the address of a server acting as a client when establishing a connection to another server

- set(attributes["client.address"], "<masked-clientip-ot>")

metric_statements:

- context: datapoint

statements: *filter-statements

log_statements:

- context: log

statements: *filter-statements
|}

=== Адреса электронной почты ===
Используя процессор преобразования, мы маскируем атрибут <code>user.email</code> с помощью [https://github.com/open-telemetry/opentelemetry-collector-contrib/blob/v0.136.0/pkg/ottl/ottlfuncs/README.md#set оператора <code>set</code>].
{| class="wikitable"
|transform:

error_mode: ignore

trace_statements:

- context: span

statements: &filter-statements

- set(attributes["user.email"], "<masked-email-ot>")

metric_statements:

- context: datapoint

statements: *filter-statements

log_statements:

- context: log

statements: *filter-statements
|}

=== API-токены Ключ-АСТРОМ ===
Используя процессор редактирования, мы применяем регулярное выражение <code>dt0[a-z]0[1-9]\.[A-Za-z0-9]{24}\.([A-Za-z0-9]{64})</code> для маскировки всех вхождений токенов API Ключ-АСТРОМ в наших телеметрических данных.
{| class="wikitable"
|redaction:

allow_all_keys: true

blocked_values:

- dt0[a-z]0[1-9]\.[A-Za-z0-9]{24}\.([A-Za-z0-9]{64})

summary: info
|}

=== Имена пользователей ===
Используя процессор преобразования, мы маскируем атрибуты <code>user.id</code>, <code>user.name</code>, и <code>user.full_name</code> с помощью [https://github.com/open-telemetry/opentelemetry-collector-contrib/blob/v0.136.0/pkg/ottl/ottlfuncs/README.md#set оператора <code>set</code>].
{| class="wikitable"
|transform:

error_mode: ignore

trace_statements:

- context: span

statements: &filter-statements

- set(attributes["user.id"], "<masked-userid-ot>")

- set(attributes["user.name"], "<masked-username-ot>")

- set(attributes["user.full_name"], "<masked-userfullname-ot>")

metric_statements:

- context: datapoint

statements: *filter-statements

log_statements:

- context: log

statements: *filter-statements
|}

=== Номера кредитных карт ===
Используя процессор преобразования, мы настраиваем три [https://github.com/open-telemetry/opentelemetry-collector-contrib/blob/v0.136.0/pkg/ottl/ottlfuncs/README.md#replace_all_patterns оператора <code>replace_all_patterns</code>] для маскировки любых вхождений номеров кредитных карт и маскировки всего, кроме последних четырех цифр.
{| class="wikitable"
|transform:

error_mode: ignore

trace_statements:

- context: span

statements: &filter-statements

- replace_all_patterns(attributes, "value", "^3\\s*[47](\\s*[0-9]){9}((\\s*[0-9]){4})$", "<masked-pcard$$2-ot>") where IsValidLuhn(attributes["value"])

- replace_all_patterns(attributes, "value", "^(5[1-5]([0-9]){2}|222[1-9]|22[3-9]\\d|2[3-6]\\d{2}|27[0-1]\\d|2720)(\\s*[0-9]){8}\\s*([0-9]{4})$", "<masked-pcard$$4-ot>") where IsValidLuhn(attributes["value"])

- replace_all_patterns(attributes, "value", "^4(\\s*[0-9]){8,14}\\s*(([0-9]\\s*){4})$", "<masked-pcard$$2-ot>") where IsValidLuhn(attributes["value"])

metric_statements:

- context: datapoint

statements: *filter-statements

log_statements:

- context: log

statements: *filter-statements
|}

=== Номера IBAN ===
Используя процессор редактирования, мы используем регулярное выражение <code>^[A-Z]{2}[0-9]{2}(\\s*[A-Z0-9]){8,30}$</code> для маскировки всех вхождений '''IBAN''' в наших телеметрических данных.
{| class="wikitable"
|redaction:

allow_all_keys: true

blocked_values:

- "^[A-Z]{2}[0-9]{2}(\\s*[A-Z0-9]){8,30}$"

summary: info
|}

== Компоненты ==
Для нашей конфигурации мы используем следующие компоненты.

=== Приемники ===
В разделе <code>receivers</code> мы указываем стандартный приемник <code>otlp</code>, как активный компонент приемника для нашего экземпляра '''Collector'''.

=== Процессоры ===
В разделе <code>processors</code> мы размещаем конфигурацию для соответствующих экземпляров процессора.

=== Экспортеры ===
В разделе <code>exporters</code> мы указываем [https://github.com/open-telemetry/opentelemetry-collector/tree/v0.136.0/exporter/otlphttpexporter экспортер <code>otlphttp</code>] по умолчанию и настраиваем его с помощью URL-адреса нашего API Ключ-АСТРОМ и требуемого токена аутентификации.

Для этой цели мы устанавливаем следующие две переменные среды и ссылаемся на них в значениях конфигурации для <code>endpoint</code> и <code>Authorization</code>.

* <code>DT_ENDPOINT</code> содержит базовый URL-адрес конечной точки API Ключ-АСТРОМ (например, <code><nowiki>https://{your-environment-id}.live.astromkey.com/api/v2/otlp</nowiki></code>)
* <code>DT_API_TOKEN</code> содержит токен API

=== Сервисные контейнеры ===
В <code>service</code> в конечном итоге мы собираем все настроенные объекты в контейнеры для отдельных телеметрических сигналов (трассы и т. д.) и заставляем экземпляр '''Collector''' выполнять настроенные задачи.

Маскировка конфиденциальных данных - История изменений

IKuznetsov: Новая страница: «Телеметрические данные часто могут включать конфиденциальные данные (например, wikipedia:Pe...»