IKuznetsov: Полностью удалено содержимое страницы

2026-02-27T01:35:28Z

Полностью удалено содержимое страницы

IKuznetsov: Новая страница: «'''Центр данных Grail,''' лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную ан...»

2025-09-08T19:07:48Z

Новая страница: «'''Центр данных Grail,''' лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную ан...»

Новая страница

'''Центр данных Grail,''' лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную аналитику в рамках унифицированных данных о наблюдении, безопасности и бизнес-данных. Он специально разработан для данных, наблюдаемых и собираемых из цифровых сервисов в эксабайтном масштабе.

'''Grail''' — это хранилище данных, которое сочетает в себе преимущества экономической эффективности баз данных с аналитическими возможностями хранилищ данных и обеспечивает исключительную производительность за счет массивной параллельной обработки.

'''Grail''' обеспечивает:

* Ответы на вопросы, которые вы раньше не могли получить с помощью контекстной аналитики.
* Унифицированные данные о наблюдении, безопасности и бизнес-данных — экономически эффективно и в эксабайтном масштабе.
* Аналитика в режиме реального времени с возможностью задавать любые вопросы в любое время и с постоянно обновляемым хранилищем данных без задержки (холодное/горячее хранение).
* Повышение производительности за счет технологии искажения данных без индекса и схемы при чтении существенно сокращает усилия по подготовке данных.
* Упрощенное соответствие требованиям, поскольку '''Grail''' безопасно интегрируется с '''ИИ''', '''AppEngine''', '''AutomationEngine''' и другими решениями в рамках платформы Ключ-АСТРОМ.

== Контекстная аналитика ==
'''Grail''' даёт ответы на вопросы, которые раньше казались невозможными, объединяя наблюдаемость, безопасность и бизнес-данные, но, что ещё важнее, поддерживает графовую структуру с причинно-следственными зависимостями между данными. Это возможно только благодаря уникальному сочетанию подходов, основанных на графах, событиях, временных рядах и '''NoSQL'''-базах данных.

Контекстная аналитика одинаково эффективно обрабатывает разные данные, включая метрики, логи, трассировки, поведение пользователей, сеансы, профили, уязвимости, метаданные и многое другое, и помещает их в контекст. Контекстуализация данных выполняется полностью автоматически, без необходимости добавления тегов или определения схем при получении данных или во время хранения.

Контекстная аналитика использует причинно-следственный ИИ для отслеживания зависимостей и, следовательно, позволяет проводить уникальную аналитику, такую как:

* Понимание точной причины проблемы в распределенном микросервисном облачном приложении.
* Отслеживание пути атаки в ходе аналитики нарушений безопасности с целью оценки риска.
* Сегментация бизнес-данных по выручке.
* Автоматическое отображение и анализ окружающих данных логов и трассировки при аналитике таких проблем, как ухудшение работы пользователей при оформлении заказов.

== Масштаб эксабайт ==
'''Grail''' преодолевает ограничения обычных индексных баз данных и, таким образом, обладает уникальной способностью объединять все типы данных в одном месте и устранять проблемы разного формата информации, сохраняя при этом полную детализацию. Это достигается следующими способами:

* Обработка и хранение до 1000 ТБ данных в день в зависимости от каналов получения данных (например, ЕдиныйАгент или API) и характера сигналов. Для обеспечения оптимальной производительности необходима индивидуальная стратегия масштабирования. Чтобы узнать фактические ограничения, см. раздел [[Ограничения OpenPipeline]].
* Предоставление механизма запросов на основе массивной параллельной обработки ('''MPP'''), позволяющего быстро обрабатывать любые запросы в любое время, без необходимости каких-либо предварительных определений.
* Использование технологии datawarping для извлечения данных из постоянно обновляемого хранилища с нулевой задержкой (холодное/горячее хранение), при этом устраняя накладные расходы и ограничения масштабируемости индексов.

== Постоянно обновляемое хранилище с нулевой задержкой (холодное/горячее хранение) ==
'''Grail''' революционизирует управление данными, предоставляя нативной технологией бесшовный '''data-lake''', устраняя традиционные процессы и необходимость экспорта данных во внешние решения для хранения, такие как '''AWS S3''', что позволяет снизить затраты и оптимизировать операции.

'''Grail''' оснащён передовой автоматической системой управления холодными и горячими данными, которая обеспечивает полный доступ к данным с нулевой задержкой, фактически предлагая постоянно обновляемые данные.

* '''Always-hydrated''' означает, что данные всегда доступны с нулевой задержкой, устраняя необходимость регидратации.
* '''Grail''' не требует никаких индексов, что устраняет дорогостоящие накладные расходы и негибкость предопределённых схем.
* Пользователи не заметят разницы между холодными и горячими данными благодаря массово параллельной обработке и '''datawarping'''.
* '''Grail''' автоматически управляет данными на основе шаблонов доступа.
* '''Grail''' устраняет необходимость экспорта данных во внешнее облачное хранилище и выполнения длительных и дорогостоящих операций регидратации, тем самым исключая потребность в отдельном '''data lake'''.

== Возможности Grail ==
При использовании '''Grail''' вы получаете такие возможности, как:

* '''Интеграция данных''': объединение всех разнородных данных в одном хранилище.
* '''Обработка данных''' в режиме реального времени при массовом поступлении.
* '''Гибкое преобразование''' данных при загрузке через '''OpenPipeline'''.
* '''Простое управление''' хранением данных.
* '''Организация данных без схемы''': данные всегда хранятся в контексте без необходимости определения какой-либо схемы.
* '''Задавайте любые вопросы''' в любое время.
* '''Получение аналитической информации''' в режиме реального времени без накладных расходов на индексы, что позволяет искать и анализировать любые данные — текст, символы или шаблоны, независимо от того, проиндексированы они или нет.
* '''Аналитика и автоматизация''' на основе искусственного интеллекта с использованием '''AI''', '''Smartscape''' и '''AutomationEngine'''.
* '''Исследовательская аналитика данных''': выполнение сложных запросов в дашбордах или блокнотах с использованием оптимизированного механизма запросов.
* '''Управление данными''': контроль доступа к данным и приложениям с помощью единой унифицированной системы.
* '''Наблюдаемость данных''': обеспечение доступности, надёжности и качества данных.

== Соблюдение требований законодательства и конфиденциальности данных ==
В Ключ-АСТРОМ мы серьёзно относимся к своей ответственности по защите ваших данных. Мы реализовали различные уровни защиты данных и строго придерживаемся принципов «'''конфиденциальность через проектирование'''» и «'''конфиденциальность по умолчанию'''».

* '''Grail''' обеспечивает истинное безвозвратное удаление данных для соблюдения самых строгих требований конфиденциальности.
* '''Grail''' предлагает детальный контроль доступа на уровне таблиц, сегментов и логов, включая разрешения на основе полей, чтобы исключить отображение полей, содержащих конфиденциальную информацию.
* С помощью ЕдиногоАгента и OpenPipeline Ключ-АСТРОМ предоставляет маскировку и фильтрацию данных при сборе и загрузке.
* '''Grail''' гарантирует использование ключей, специфичных для среды, для изоляции данных и защиты от несанкционированного доступа.
* Прямой доступ пользователей к сохранённым данным не разрешён, что обеспечивает целостность и безопасность данных. Вместо этого извлечение данных и запросы могут проводиться только с помощью запросов '''DQL''' через слой обработки запросов, который выступает в качестве безопасного шлюза, гарантируя эффективность, сверхбыструю скорость и безопасность извлечения данных.

== Неизменяемое хранилище данных ==
Неизменяемое хранилище данных в '''Grail''' разработано на основе принципиально неизменяемой архитектуры данных. Это означает, что после получения данные не могут быть изменены. Все данные — будь то логи, события, интервалы или метрики — хранятся в виде записей, каждая из которых рассматривается как атомарная, неизменяемая единица.

Эти записи группируются в упорядоченные по времени пакеты данных, каждый размером примерно 1 ГБ. Эти пакеты хранятся в облачном объектном хранилище, таком как '''Amazon S3''', '''Azure Blob''' или '''Google Cloud Storage'''. При запросе данных '''Grail''' загружает весь пакет в память и анализирует отдельные записи оттуда.

Благодаря этой архитектуре:

* Изменение отдельной записи невозможно.
* Для удаления записи необходимо переписать весь пакет.
* Только авторизованные пользователи могут использовать API удаления для удаления отдельных записей или целых пакетов.
* Каждая операция удаления полностью протоколируется и регистрируется.
* Сам Ключ-АСТРОМ не изменяет и не удаляет данные клиентов. Удаление данных Ключ-АСТРОМ может происходить только по явным запросам службы поддержки клиентов, и даже в этом случае могут быть удалены только целые пакеты, но не отдельные записи внутри них. Такой подход обеспечивает целостность данных, возможность аудита и соответствие требованиям, делая '''Grail''' безопасной и надёжной основой для мониторинга и аналитики.

== Руководство: использование Grail вместо традиционных баз данных ==
'''Grail''' оптимизирован для экстремальной пропускной способности и больших объёмов неизменяемых данных, собранных в едином хранилище для экономичного хранения и высокопроизводительных запросов. Он включает в себя элементы '''ACID''' и '''BASE''', обеспечивая полную гибкость и контекстную аналитику.
{| class="wikitable"
!Сценарий
!Grail
!Другие базы данных
|-
|От тера- до эксабайтного масштаба неизменяемых данных
|Да
|
|-
|Для разных данных в контексте
|Да
|
|-
|Для мгновенного запроса в режиме реального времени по любому вопросу в любое время
|Да
|
|-
|Наблюдаемость, данные безопасности и бизнес-данные из цифровых систем
|Да
|
|-
|Для экономической эффективности в качестве data lake
|Да
|
|-
|Минимизируйте интерфейсы данных и потоки данных
|Да
|
|-
|ACID транзакционные гарантии
|
|Да
|-
|Когда вам нужны очень частые обновления записей данных
|
|Да
|}

Традиционные базы данных либо созданы для обработки транзакционных данных небольшого объема в соответствии с парадигмой '''ACID''', либо реализуют парадигму '''BASE''', известную по базам данных '''NoSQL'''.

'''ACID''' означает:

* '''Атомарность''': гарантирует, что транзакция либо полностью завершится, либо полностью прервётся. Частичные изменения не происходят.
* '''Согласованность''': гарантирует, что данные остаются согласованными, соблюдая все ограничения даже во время транзакционных изменений.
* '''Изоляция''': предотвращает взаимные помехи между параллельными транзакциями. Каждая транзакция воспринимается как выполняемая последовательно.
* '''Долговечность''': после завершения транзакции ее изменения регистрируются навсегда.

Базы данных '''ACID''' используются в сценариях, где целостность и надёжность данных имеют первостепенное значение. Большинство реляционных систем управления базами данных (таких как '''Oracle''', '''MySQL''' и '''PostgreSQL''') поддерживают парадигму '''ACID'''.

'''BASE''' является альтернативой '''ACID''' и особенно подходит для распределенных систем, где требуется высокая доступность, отказоустойчивость и масштабируемость.

'''BASE''' означает:

* '''Всегда доступно''': система продолжает работать даже в случае сбоев, хотя ее функциональность может быть ограничена.
* '''Софт состояние''': состояние системы может меняться со временем из-за конечной согласованности.
* '''Согласованность''': обновления распространяются по системе в своевременно, но не обязательно немедленно.

Базы данных '''NoSQL''', такие как '''Cassandra''', '''Redis''' и '''Amazon''' '''DynamoDB''', являются примерами систем хранения, разработанных на основе парадигмы '''BASE'''.

Что такое Ключ-АСТРОМ Grail - История изменений

IKuznetsov: Полностью удалено содержимое страницы

IKuznetsov: Новая страница: «'''Центр данных Grail,''' лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную ан...»