IKuznetsov: /* Примеры: */

2024-12-01T18:59:51Z

Примеры:

← Предыдущая		Версия 18:59, 1 декабря 2024
Строка 156:		Строка 156:
	==== Примеры: ====		==== Примеры: ====

	* В следующем примере мы отбрасываем записи, в которых <code>_raw_text</code> (исходный необработанный текст записи) содержит строку <code>vpns</code> или <code>_raw_text</code> является <code>NULL</code> {\| class="wikitable" \|FILTER_OUT(contains(_raw_text, '/vpns/')) \|}		* В следующем примере мы отбрасываем записи, в которых <code>_raw_text</code> (исходный необработанный текст записи) содержит строку <code>vpns</code> или <code>_raw_text</code> является <code>NULL</code> <br />{\| class="wikitable" \|FILTER_OUT(contains(_raw_text, '/vpns/')) \|}
	* В следующем примере мы отбрасываем записи, где тип строкового поля равен <code>logout</code> или тип равен <code>NULL</code> {\| class="wikitable" \|FILTER_OUT(type = 'logout') \|}		* В следующем примере мы отбрасываем записи, где тип строкового поля равен <code>logout</code> или тип равен <code>NULL</code> <br />{\| class="wikitable" \|FILTER_OUT(type = 'logout') \|}
	* В следующем примере мы отбрасываем записи, в которых поле временной метки <code>last_modified</code> больше 7 дней назад или <code>last_modified</code> равно <code>NULL</code> {\| class="wikitable" \|FILTER_OUT(last_modified >= now()[-7 day]) \|}		* В следующем примере мы отбрасываем записи, в которых поле временной метки <code>last_modified</code> больше 7 дней назад или <code>last_modified</code> равно <code>NULL</code> <br />{\| class="wikitable" \|FILTER_OUT(last_modified >= now()[-7 day]) \|}

IKuznetsov: Новая страница: «Команды обработки логов и событий представляют собой операторы и предложения DQL. Опреде...»

2024-12-01T18:59:10Z

Новая страница: «Команды обработки логов и событий представляют собой операторы и предложения DQL. Опреде...»

Новая страница

Команды обработки логов и событий представляют собой операторы и предложения DQL. Определение правила позволяет определить последовательность команд для достижения желаемой цели правила обработки.

Определение правила обработки состоит из последовательности команд обработки слева направо, соединенных вместе с помощью символа вертикальной черты (<code>|</code>). Концептуально это похоже на конвейеризацию команд Unix, где вывод команды слева от вертикальной черты становится вводом команды справа от вертикальной черты. Конвейер всегда должен начинаться с команды, создающей структурированный поток данных для последующих команд.

=== PARSE ===
Команда <code>PARSE</code> анализирует выбранное поле с помощью предоставленного выражения шаблона (Ключ-АСРОМ Pattern Language), дополняя запись лога экспортированными значениями.

==== Примеры: ====

* Анализ атрибутов из разных форматов в рамках одного шаблонного выражения.
* Выделение определенных полей из содержимого JSON.

=== USING ===
Команда USING определяет входные данные для данного преобразования, перечисляя поля с параметрами, которые могут быть переданы из входящего события в преобразование. Эта команда должна быть первой командой, используемой в определении процессора.

Формат объявления полей: <code>USING(<field_expression>, <field_expression>, ...)</code>

Формат выражения поля: <code>[IN|INOUT] name: [type[]?]</code>

Команда <code>USING</code> в определении процессора является эквивалентом <code>USING(IN content:STRING)</code> оператора.

Параметры:

* <code>IN</code>— поле только для чтения, опция по умолчанию.
* <code>INOUT</code>— записываемое поле.
* <code>type</code>—один из следующих типов: <code>STRING</code>, <code>BOOLEAN</code>, <code>INTEGER</code>, <code>LONG</code>, <code>DOUBLE</code>, <code>DURATION</code>, <code>TIMESTAMP</code>, <code>IPADDR</code>.
* <code>[]</code>— помечает поле как массив, что означает, что будет передано несколько значений атрибута.
* <code>?</code>— помечает поле как необязательное, что означает, что преобразование будет выполнено даже если в событии нет такого атрибута.

Пример:
{| class="wikitable"
|<nowiki>USING(content, event.type:STRING?, INOUT attribute:INT[]) | ...</nowiki>
|}

В этом случае из входящего события в преобразование передаются три поля:

<code>content</code>— строковое поле, доступное только для чтения

<code>event.type</code>; — необязательная строка, доступная только для чтения

<code>attribute</code>; — записываемый массив целых чисел.

=== FIELDS_ADD ===
Команда <code>FIELDS_ADD</code> указывает разделенный запятыми список литералов, функций, имен полей и выражений, которые необходимо вычислить.

Формат:
{| class="wikitable"
|FIELDS_ADD( [ alias':' ]
{ *

| alias.*

| '@'position

| function

| expression

| literal

}

[ , ... ]

)
|}

Каждое выражение можно переименовать с помощью псевдонима. Псевдонимы, определенные в команде select, можно использовать в следующих командах по конвейеру.

==== Пример: ====
В следующем примере мы вычисляем сумму <code>field1</code>и <code>field2</code>и помещаем результат в поле с именем <code>mySum</code>.
{| class="wikitable"
|<code>field1</code>
|<code>field2</code>
|-
|300
|650
|}
{| class="wikitable"
|FIELDS_ADD(mySum:(field1 + field2))
|}
{| class="wikitable"
|<code>field1</code>
|<code>field2</code>
|<code>mySum</code>
|-
|300
|650
|950
|}

=== FIELDS_RENAME ===
Команда <code>FIELDS_RENAME</code> переименовывает указанные поля записи. Она сохраняет порядок полей и другие поля.

Формат: <code>FIELDS_RENAME(newName:field, name2:field2, ...)</code>

==== Пример: ====
В следующем примере мы переименовываем поле <code>ip</code> в <code>src_addr</code> и переименовываем поле <code>f</code> в <code>value</code>.
{| class="wikitable"
|t
|ip
|s
|f
|-
|2020-09-23 15:14:42.947 +0300
|0.0.0.0
|0ho0
|0.0
|}
{| class="wikitable"
|FIELDS_RENAME(src_addr:ip, value:f)
|}
{| class="wikitable"
|t
|src_addr
|s
|value
|-
|2020-09-23 15:14:42.947 +0300
|0.0.0.0
|0ho0
|0.0
|}

=== FIELDS_REMOV ===
Команда <code>FIELDS_REMOVE</code> удаляет указанные поля из выходного потока. Команда полезна в скриптах, удаляющих чувствительные поля.

Формат: <code>FIELDS_REMOVE(field, field, ...)</code>

==== Пример: ====
В следующем примере мы добавляем поля <code>t</code>, <code>ip</code> и <code>s</code>, <code>f</code>. Затем мы удаляем поля <code>s</code> и <code>ip</code>, оставляя нам поля <code>t</code> и <code>f</code>.
{| class="wikitable"
|FIELDS_REMOVE(s, ip)
|}
{| class="wikitable"
|t
|f
|-
|2020-09-23 15:17:39.497 +0300
|0.0
|-
|2020-09-23 15:17:39.498 +0300
|1.0
|-
|2020-09-23 15:17:39.499 +0300
|2.0
|}

=== FILTER_OUT ===
Команда <code>FILTER_OUT</code> отбрасывает всю запись, используя выражение, возвращающее логическое значение (boolean_expression). Это команда отрицательного фильтра. Она может состоять из нескольких логических выражений, объединенных с помощью операторов AND, OR и NOT. Если условие выполнено, вся запись отбрасывается и не будет передана на следующий этап. Например, вы можете отбросить все записи с атрибутом уровня лога <code>DEBUG</code> или <code>debug</code>.

Формат: <code>FILTER_OUT(loglevel IN ['DEBUG', 'debug'])</code>

==== Примеры: ====

* В следующем примере мы отбрасываем записи, в которых <code>_raw_text</code> (исходный необработанный текст записи) содержит строку <code>vpns</code> или <code>_raw_text</code> является <code>NULL</code> {| class="wikitable" |FILTER_OUT(contains(_raw_text, '/vpns/')) |}
* В следующем примере мы отбрасываем записи, где тип строкового поля равен <code>logout</code> или тип равен <code>NULL</code> {| class="wikitable" |FILTER_OUT(type = 'logout') |}
* В следующем примере мы отбрасываем записи, в которых поле временной метки <code>last_modified</code> больше 7 дней назад или <code>last_modified</code> равно <code>NULL</code> {| class="wikitable" |FILTER_OUT(last_modified >= now()[-7 day]) |}

Команды обработки логов - История изменений

IKuznetsov: /* Примеры: */

IKuznetsov: Новая страница: «Команды обработки логов и событий представляют собой операторы и предложения DQL. Опреде...»