DDU для лога мониторинга: различия между версиями

Материал из Документация Ключ-АСТРОМ
 
Строка 1: Строка 1:
На этой странице объясняется концепция мониторинга журналов, как мы рассчитываем DDU для мониторинга журналов и как вы можете оценивать и отслеживать потребление DDU, если вы используете мониторинг журналов.
На этой странице объясняется концепция мониторинга журналов, как мы рассчитываем ВИД для мониторинга журналов и как вы можете оценивать и отслеживать потребление ВИД, если вы используете мониторинг журналов.


== Что такое мониторинг журналов? ==
== Что такое мониторинг журналов? ==
Используя мониторинг журналов как часть платформы Ключ-АСТРОМ, вы получаете прямой доступ к содержимому журналов всех ваших критически важных процессов. Вы можете создавать собственные показатели журнала для более разумного и быстрого устранения неполадок. Вы сможете понять данные журнала в контексте вашего полного стека, включая реальные воздействия на пользователя.
Используя мониторинг журналов как часть платформы Ключ-АСТРОМ, вы получаете прямой доступ к содержимому журналов всех ваших критически важных процессов. Вы можете создавать собственные показатели журнала для более разумного и быстрого устранения неполадок. Вы сможете понять данные журнала в контексте вашего полного стека, включая реальные воздействия на пользователя.


== Как Ключ-АСТРОМ рассчитывает потребление DDU для мониторинга журналов? ==
== Как Ключ-АСТРОМ рассчитывает потребление ВИД для мониторинга журналов? ==
Модель единиц данных Дэвиса (DDU) подсчитывает все входящие записи журнала (записи) из ваших данных журнала. Каждая запись журнала (строка, сообщение, запись) вычитается <code>0.0005 DDU</code>из доступной квоты. Например, 1 миллион записей журнала, умноженный на вес DDU, равный 0,0005, потребляет всего 500 DDU.
ВИД подсчитывает все входящие записи журнала (записи) из ваших данных журнала. Каждая запись журнала (строка, сообщение, запись) вычитается <code>0.0005 ВИД</code>из доступной квоты. Например, 1 миллион записей журнала, умноженный на вес ВИД, равный 0,0005, потребляет всего 500 ВИД.


Запись журнала распознается двумя способами:
Запись журнала распознается двумя способами:
Строка 32: Строка 32:
       -H  "Content-Type: text/plain; charset=utf-8"  
       -H  "Content-Type: text/plain; charset=utf-8"  
       -d "Oct 18 05:56:11 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1Oct 18 05:56:12 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1Oct 18 05:56:13 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1551s4:Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSvOct 18 05:56:16 INFO ip-10-176-34-132 [get_meta] Trying to get <nowiki>http://169.23.2.3Oct</nowiki> 18 05:56:18 INFO ip-10-176-34-132 [rewrite_aliases] Rewriting aliasesOct 18 06:22:06 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67Oct 18 06:22:07 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1 (xid=0x3a182c8c)Oct 18 06:22:10 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1364s"</code>
       -d "Oct 18 05:56:11 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1Oct 18 05:56:12 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1Oct 18 05:56:13 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1551s4:Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSvOct 18 05:56:16 INFO ip-10-176-34-132 [get_meta] Trying to get <nowiki>http://169.23.2.3Oct</nowiki> 18 05:56:18 INFO ip-10-176-34-132 [rewrite_aliases] Rewriting aliasesOct 18 06:22:06 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67Oct 18 06:22:07 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1 (xid=0x3a182c8c)Oct 18 06:22:10 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1364s"</code>
Стоимость DDU - это <code>9</code>строки журнала / записи x <code>0.0005</code>вес журнала = <code>0.0045</code>DDU.
<code>9</code>строк журнала / записи x <code>0.0005</code>вес журнала = <code>0.0045 ВИД</code>


=== Объект JSON ===
=== Объект JSON ===
Строка 56: Строка 56:
   }
   }
  ]</code>
  ]</code>
Общий проглатывание
 
  <code>curl -X POST "<nowiki>https://my.activegate/api/v2/logs/ingest</nowiki>"  
  <code>curl -X POST "<nowiki>https://my.activegate/api/v2/logs/ingest</nowiki>"  
       -H  "accept: application/json; charset=utf-8"  
       -H  "accept: application/json; charset=utf-8"  
       -H  "Content-Type: application/json; charset=utf-8"  
       -H  "Content-Type: application/json; charset=utf-8"  
       -d "[{\"timestamp\":\"2021-07-29T10:54:40.962165022Z\",\"level\":\"error\",\"log.source\":\"/var/log/syslog\",\"application.id\":\"PaymentService-Prod\",\"content\":\"DHCPREQUEST on eth0 to 10.176.34.1\"},{\"log.source\":\"/var/log/syslog\",\"content\":\"[get_meta] Getting token for IMDSv\"},{\"content\":\"DHCPACK from 10.176.34.1 (xid=0x3a182c8c)\"}]"</code>
       -d "[{\"timestamp\":\"2021-07-29T10:54:40.962165022Z\",\"level\":\"error\",\"log.source\":\"/var/log/syslog\",\"application.id\":\"PaymentService-Prod\",\"content\":\"DHCPREQUEST on eth0 to 10.176.34.1\"},{\"log.source\":\"/var/log/syslog\",\"content\":\"[get_meta] Getting token for IMDSv\"},{\"content\":\"DHCPACK from 10.176.34.1 (xid=0x3a182c8c)\"}]"</code>
Стоимость DDU - это <code>3</code>строки журнала / записи x <code>0.0005</code>вес журнала = <code>0.0015</code>DDU.
<code>3</code>строки журнала / записи x <code>0.0005</code>вес журнала = <code>0.0015</code>DDU.


== Как мониторинг журналов может повлиять на потребление DDU ==
== Как мониторинг журналов может повлиять на потребление ВИД ==
Ключ-АСТРОМ считает записи журнала на основе отметки времени, даже если запись журнала содержит присоединенную трассировку стека.
Ключ-АСТРОМ считает записи журнала на основе отметки времени, даже если запись журнала содержит присоединенную трассировку стека.


Например, оба следующих журнала ( Log1 и Log2 ) содержат 14 строк данных журнала. Ключ-АСТРОМ вычисляет записи журнала, которые используют DDU с действительной меткой времени. В результате Log1 генерировал стоимость <code>0.007</code>DDU, а Log2 генерировал стоимость <code>0.001</code>DDU.
Например, оба следующих журнала ( Log1 и Log2 ) содержат 14 строк данных журнала. Ключ-АСТРОМ вычисляет записи журнала, которые используют ВИД с действительной меткой времени. В результате Log1 генерировал стоимость <code>0.007 ВИД</code>, а Log2 генерировал стоимость <code>0.001 ВИД</code>.


Журнал1
Журнал1
Строка 83: Строка 83:
  13: Oct 18 14:51:22 ERROR ip-10-176-34-32 classOne: Index out of range
  13: Oct 18 14:51:22 ERROR ip-10-176-34-32 classOne: Index out of range
  14: Oct 18 16:52:10 ERROR ip-10-176-34-32 classOne: Index out of range</code>
  14: Oct 18 16:52:10 ERROR ip-10-176-34-32 classOne: Index out of range</code>
Стоимость DDU - это <code>14</code>записи <code>0.0005</code>журнала x вес журнала = <code>0.007</code>DDU.
<code>14</code>записей <code>0.0005</code>журнала x вес журнала = <code>0.007 ВИД</code>.


Журнал2
Журнал2
Строка 100: Строка 100:
  13:    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  13:    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  14:    at sun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethodAccessorImpl.java:62)</code>
  14:    at sun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethodAccessorImpl.java:62)</code>
Стоимость DDU - это <code>2</code>записи <code>0.0005</code>журнала x вес журнала = <code>0.001</code>DDU.
<code>2</code>записи <code>0.0005</code>журнала x вес журнала = <code>0.001</code>DDU.
 
== FAQs ==
Могу ли я изменить срок хранения для мониторинга журналов?
 
Начиная с версии Ключ-АСТРОМ 1.208+, больше нет возможности изменять сроки хранения в SaaS. Однако это возможно для учетных записей Ключ-АСТРОМ Managed.
 
Где я могу проверить потребление журналов для DDU?
 
Вы можете проверить потребление DDU на странице обзора единиц данных Дэвиса ( Настройки > Учет > Обзор единиц данных Дэвиса ). Убедитесь, что вы выбрали правильный источник из списка.
 
Каков вес одной записи журнала?
 
Каждая запись журнала потребляет 0,0005 DDU.
 
Каков размер одной записи журнала?
 
Ключ-АСТРОМ распознает запись журнала как отдельную запись журнала, которая содержит действительную метку времени или описана в объекте JSON. Эта запись журнала может содержать несколько строк данных журнала, и, в зависимости от степени детализации журнала, один и тот же объем данных журнала может содержать разное количество записей журнала, использующих DDU.
 
Доступны ли какие-либо DDU, включенные в хост, для мониторинга журналов?
 
Нет. Ключ-АСТРОМ предлагает только метрики, включенные в хост. При загрузке журналов всегда используются DDU, которые вычитаются из доступной квоты.

Текущая версия на 15:14, 18 мая 2023

На этой странице объясняется концепция мониторинга журналов, как мы рассчитываем ВИД для мониторинга журналов и как вы можете оценивать и отслеживать потребление ВИД, если вы используете мониторинг журналов.

Что такое мониторинг журналов?

Используя мониторинг журналов как часть платформы Ключ-АСТРОМ, вы получаете прямой доступ к содержимому журналов всех ваших критически важных процессов. Вы можете создавать собственные показатели журнала для более разумного и быстрого устранения неполадок. Вы сможете понять данные журнала в контексте вашего полного стека, включая реальные воздействия на пользователя.

Как Ключ-АСТРОМ рассчитывает потребление ВИД для мониторинга журналов?

ВИД подсчитывает все входящие записи журнала (записи) из ваших данных журнала. Каждая запись журнала (строка, сообщение, запись) вычитается 0.0005 ВИДиз доступной квоты. Например, 1 миллион записей журнала, умноженный на вес ВИД, равный 0,0005, потребляет всего 500 ВИД.

Запись журнала распознается двумя способами:

  • Отметка времени
  • Объект JSON

Отметка времени

Ключ-АСТРОМ предполагает, что отметка времени является началом новой записи журнала.

Например, в следующих данных журнала (потребляемых с помощью файла журнала или общего приема) Ключ-АСТРОМ насчитывает девять записей журнала на основе появления метки времени:

Ввод файла журнала 

1: Oct 18 05:56:11 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1
2: Oct 18 05:56:12 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1
3: Oct 18 05:56:13 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1551s4:
4: Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSv
5: Oct 18 05:56:16 INFO ip-10-176-34-132 [get_meta] Trying to get http://169.23.2.3
6: Oct 18 05:56:18 INFO ip-10-176-34-132 [rewrite_aliases] Rewriting aliases
7: Oct 18 06:22:06 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67
8: Oct 18 06:22:07 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1 (xid=0x3a182c8c)
9: Oct 18 06:22:10 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1364s

Общие входные данные для приема 

curl -X POST "https://my.activegate/api/v2/logs/ingest" 
     -H  "accept: application/json; charset=utf-8" 
     -H  "Content-Type: text/plain; charset=utf-8" 
     -d "Oct 18 05:56:11 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1Oct 18 05:56:12 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1Oct 18 05:56:13 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1551s4:Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSvOct 18 05:56:16 INFO ip-10-176-34-132 [get_meta] Trying to get http://169.23.2.3Oct 18 05:56:18 INFO ip-10-176-34-132 [rewrite_aliases] Rewriting aliasesOct 18 06:22:06 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67Oct 18 06:22:07 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1 (xid=0x3a182c8c)Oct 18 06:22:10 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1364s"

9строк журнала / записи x 0.0005вес журнала = 0.0045 ВИД

Объект JSON

Ключ-АСТРОМ предполагает, что отдельный объект JSON является записью журнала. Файл JSON может содержать несколько объектов, которые считаются записью журнала.

Например, в следующих данных журнала Ключ-АСТРОМ подсчитывает три записи журнала на основе вхождения объекта JSON:

Лог-файл 

[
  {
  "timestamp": "2021-07-29T10:54:40.962165022Z",
  "level": "error",
  "log.source": "/var/log/syslog",
  "application.id": "PaymentService-Prod",
  "content": "DHCPREQUEST on eth0 to 10.176.34.1"
  },
  {
  "log.source": "/var/log/syslog",
  "content": "[get_meta] Getting token for IMDSv"
  },
  {
  "content": "DHCPACK from 10.176.34.1 (xid=0x3a182c8c)"
  }
]

curl -X POST "https://my.activegate/api/v2/logs/ingest" 
     -H  "accept: application/json; charset=utf-8" 
     -H  "Content-Type: application/json; charset=utf-8" 
     -d "[{\"timestamp\":\"2021-07-29T10:54:40.962165022Z\",\"level\":\"error\",\"log.source\":\"/var/log/syslog\",\"application.id\":\"PaymentService-Prod\",\"content\":\"DHCPREQUEST on eth0 to 10.176.34.1\"},{\"log.source\":\"/var/log/syslog\",\"content\":\"[get_meta] Getting token for IMDSv\"},{\"content\":\"DHCPACK from 10.176.34.1 (xid=0x3a182c8c)\"}]"

3строки журнала / записи x 0.0005вес журнала = 0.0015DDU.

Как мониторинг журналов может повлиять на потребление ВИД

Ключ-АСТРОМ считает записи журнала на основе отметки времени, даже если запись журнала содержит присоединенную трассировку стека.

Например, оба следующих журнала ( Log1 и Log2 ) содержат 14 строк данных журнала. Ключ-АСТРОМ вычисляет записи журнала, которые используют ВИД с действительной меткой времени. В результате Log1 генерировал стоимость 0.007 ВИД, а Log2 генерировал стоимость 0.001 ВИД.

Журнал1 

1:  Oct 18 05:56:11 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1
2:  Oct 18 05:56:12 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1
3:  Oct 18 05:56:13 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1551s4:
4:  Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSv
5:  Oct 18 05:56:16 INFO ip-10-176-34-132 [get_meta] Trying to get http://169.23.2.3
6:  Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSv
7:  Oct 18 06:16:16 INFO ip-10-176-34-132 [get_meta] Trying to get http://169.23.2.3
8:  Oct 18 06:16:18 INFO ip-10-176-34-132 [rewrite_aliases] Rewriting aliases
9:  Oct 18 06:21:26 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67
10: Oct 18 06:22:06 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67
11: Oct 18 06:22:07 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1 (xid=0x3a182c8c)
12: Oct 18 06:22:10 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1364s
13: Oct 18 14:51:22 ERROR ip-10-176-34-32 classOne: Index out of range
14: Oct 18 16:52:10 ERROR ip-10-176-34-32 classOne: Index out of range

14записей 0.0005журнала x вес журнала = 0.007 ВИД.

Журнал2 

1: Oct 18 14:51:22 ERROR ip-10-176-34-32 classOne: Index out of range
2:     java.lang.StringIndexOutOfBoundsException: String index out of range: 18
3:     at java.lang.String.charAt(String.java:658)
4:     at com.example.app.loggingApp.classOne.getResult(classOne.java:15)
5:     at com.example.app.loggingApp.AppController.tester(AppController.java:27)
6:     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
7:     at sun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethodAccessorImpl.java:62)
8: Oct 18 16:52:10 ERROR ip-10-176-34-32 classOne: Index out of range
9:     java.lang.StringIndexOutOfBoundsException: String index out of range: 18
10:    at java.lang.String.charAt(String.java:658)
11:    at com.example.app.loggingApp.classOne.getResult(classOne.java:15)
12:    at com.example.app.loggingApp.AppController.tester(AppController.java:27)
13:    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
14:    at sun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethodAccessorImpl.java:62)

2записи 0.0005журнала x вес журнала = 0.001DDU.

Источник — https://doc.ruscomtech.ru/index.php?title=DDU_для_лога_мониторинга&oldid=2752