|
|
| Строка 1: |
Строка 1: |
| '''Центр данных Grail,''' лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную аналитику в рамках унифицированных данных о наблюдении, безопасности и бизнес-данных. Он специально разработан для данных, наблюдаемых и собираемых из цифровых сервисов в эксабайтном масштабе.
| |
|
| |
|
| '''Grail''' — это хранилище данных, которое сочетает в себе преимущества экономической эффективности баз данных с аналитическими возможностями хранилищ данных и обеспечивает исключительную производительность за счет массивной параллельной обработки.
| |
|
| |
| '''Grail''' обеспечивает:
| |
|
| |
| * Ответы на вопросы, которые вы раньше не могли получить с помощью контекстной аналитики.
| |
| * Унифицированные данные о наблюдении, безопасности и бизнес-данных — экономически эффективно и в эксабайтном масштабе.
| |
| * Аналитика в режиме реального времени с возможностью задавать любые вопросы в любое время и с постоянно обновляемым хранилищем данных без задержки (холодное/горячее хранение).
| |
| * Повышение производительности за счет технологии искажения данных без индекса и схемы при чтении существенно сокращает усилия по подготовке данных.
| |
| * Упрощенное соответствие требованиям, поскольку '''Grail''' безопасно интегрируется с '''ИИ''', '''AppEngine''', '''AutomationEngine''' и другими решениями в рамках платформы Ключ-АСТРОМ.
| |
|
| |
| == Контекстная аналитика ==
| |
| '''Grail''' даёт ответы на вопросы, которые раньше казались невозможными, объединяя наблюдаемость, безопасность и бизнес-данные, но, что ещё важнее, поддерживает графовую структуру с причинно-следственными зависимостями между данными. Это возможно только благодаря уникальному сочетанию подходов, основанных на графах, событиях, временных рядах и '''NoSQL'''-базах данных.
| |
|
| |
| Контекстная аналитика одинаково эффективно обрабатывает разные данные, включая метрики, логи, трассировки, поведение пользователей, сеансы, профили, уязвимости, метаданные и многое другое, и помещает их в контекст. Контекстуализация данных выполняется полностью автоматически, без необходимости добавления тегов или определения схем при получении данных или во время хранения.
| |
|
| |
| Контекстная аналитика использует причинно-следственный ИИ для отслеживания зависимостей и, следовательно, позволяет проводить уникальную аналитику, такую как:
| |
|
| |
| * Понимание точной причины проблемы в распределенном микросервисном облачном приложении.
| |
| * Отслеживание пути атаки в ходе аналитики нарушений безопасности с целью оценки риска.
| |
| * Сегментация бизнес-данных по выручке.
| |
| * Автоматическое отображение и анализ окружающих данных логов и трассировки при аналитике таких проблем, как ухудшение работы пользователей при оформлении заказов.
| |
|
| |
| == Масштаб эксабайт ==
| |
| '''Grail''' преодолевает ограничения обычных индексных баз данных и, таким образом, обладает уникальной способностью объединять все типы данных в одном месте и устранять проблемы разного формата информации, сохраняя при этом полную детализацию. Это достигается следующими способами:
| |
|
| |
| * Обработка и хранение до 1000 ТБ данных в день в зависимости от каналов получения данных (например, ЕдиныйАгент или API) и характера сигналов. Для обеспечения оптимальной производительности необходима индивидуальная стратегия масштабирования. Чтобы узнать фактические ограничения, см. раздел [[Ограничения OpenPipeline]].
| |
| * Предоставление механизма запросов на основе массивной параллельной обработки ('''MPP'''), позволяющего быстро обрабатывать любые запросы в любое время, без необходимости каких-либо предварительных определений.
| |
| * Использование технологии datawarping для извлечения данных из постоянно обновляемого хранилища с нулевой задержкой (холодное/горячее хранение), при этом устраняя накладные расходы и ограничения масштабируемости индексов.
| |
|
| |
| == Постоянно обновляемое хранилище с нулевой задержкой (холодное/горячее хранение) ==
| |
| '''Grail''' революционизирует управление данными, предоставляя нативной технологией бесшовный '''data-lake''', устраняя традиционные процессы и необходимость экспорта данных во внешние решения для хранения, такие как '''AWS S3''', что позволяет снизить затраты и оптимизировать операции.
| |
|
| |
| '''Grail''' оснащён передовой автоматической системой управления холодными и горячими данными, которая обеспечивает полный доступ к данным с нулевой задержкой, фактически предлагая постоянно обновляемые данные.
| |
|
| |
| * '''Always-hydrated''' означает, что данные всегда доступны с нулевой задержкой, устраняя необходимость регидратации.
| |
| * '''Grail''' не требует никаких индексов, что устраняет дорогостоящие накладные расходы и негибкость предопределённых схем.
| |
| * Пользователи не заметят разницы между холодными и горячими данными благодаря массово параллельной обработке и '''datawarping'''.
| |
| * '''Grail''' автоматически управляет данными на основе шаблонов доступа.
| |
| * '''Grail''' устраняет необходимость экспорта данных во внешнее облачное хранилище и выполнения длительных и дорогостоящих операций регидратации, тем самым исключая потребность в отдельном '''data lake'''.
| |
|
| |
| == Возможности Grail ==
| |
| При использовании '''Grail''' вы получаете такие возможности, как:
| |
|
| |
| * '''Интеграция данных''': объединение всех разнородных данных в одном хранилище.
| |
| * '''Обработка данных''' в режиме реального времени при массовом поступлении.
| |
| * '''Гибкое преобразование''' данных при загрузке через '''OpenPipeline'''.
| |
| * '''Простое управление''' хранением данных.
| |
| * '''Организация данных без схемы''': данные всегда хранятся в контексте без необходимости определения какой-либо схемы.
| |
| * '''Задавайте любые вопросы''' в любое время.
| |
| * '''Получение аналитической информации''' в режиме реального времени без накладных расходов на индексы, что позволяет искать и анализировать любые данные — текст, символы или шаблоны, независимо от того, проиндексированы они или нет.
| |
| * '''Аналитика и автоматизация''' на основе искусственного интеллекта с использованием '''AI''', '''Smartscape''' и '''AutomationEngine'''.
| |
| * '''Исследовательская аналитика данных''': выполнение сложных запросов в дашбордах или блокнотах с использованием оптимизированного механизма запросов.
| |
| * '''Управление данными''': контроль доступа к данным и приложениям с помощью единой унифицированной системы.
| |
| * '''Наблюдаемость данных''': обеспечение доступности, надёжности и качества данных.
| |
|
| |
| == Соблюдение требований законодательства и конфиденциальности данных ==
| |
| В Ключ-АСТРОМ мы серьёзно относимся к своей ответственности по защите ваших данных. Мы реализовали различные уровни защиты данных и строго придерживаемся принципов «'''конфиденциальность через проектирование'''» и «'''конфиденциальность по умолчанию'''».
| |
|
| |
| * '''Grail''' обеспечивает истинное безвозвратное удаление данных для соблюдения самых строгих требований конфиденциальности.
| |
| * '''Grail''' предлагает детальный контроль доступа на уровне таблиц, сегментов и логов, включая разрешения на основе полей, чтобы исключить отображение полей, содержащих конфиденциальную информацию.
| |
| * С помощью ЕдиногоАгента и OpenPipeline Ключ-АСТРОМ предоставляет маскировку и фильтрацию данных при сборе и загрузке.
| |
| * '''Grail''' гарантирует использование ключей, специфичных для среды, для изоляции данных и защиты от несанкционированного доступа.
| |
| * Прямой доступ пользователей к сохранённым данным не разрешён, что обеспечивает целостность и безопасность данных. Вместо этого извлечение данных и запросы могут проводиться только с помощью запросов '''DQL''' через слой обработки запросов, который выступает в качестве безопасного шлюза, гарантируя эффективность, сверхбыструю скорость и безопасность извлечения данных.
| |
|
| |
| == Неизменяемое хранилище данных ==
| |
| Неизменяемое хранилище данных в '''Grail''' разработано на основе принципиально неизменяемой архитектуры данных. Это означает, что после получения данные не могут быть изменены. Все данные — будь то логи, события, интервалы или метрики — хранятся в виде записей, каждая из которых рассматривается как атомарная, неизменяемая единица.
| |
|
| |
| Эти записи группируются в упорядоченные по времени пакеты данных, каждый размером примерно 1 ГБ. Эти пакеты хранятся в облачном объектном хранилище, таком как '''Amazon S3''', '''Azure Blob''' или '''Google Cloud Storage'''. При запросе данных '''Grail''' загружает весь пакет в память и анализирует отдельные записи оттуда.
| |
|
| |
| Благодаря этой архитектуре:
| |
|
| |
| * Изменение отдельной записи невозможно.
| |
| * Для удаления записи необходимо переписать весь пакет.
| |
| * Только авторизованные пользователи могут использовать API удаления для удаления отдельных записей или целых пакетов.
| |
| * Каждая операция удаления полностью протоколируется и регистрируется.
| |
| * Сам Ключ-АСТРОМ не изменяет и не удаляет данные клиентов. Удаление данных Ключ-АСТРОМ может происходить только по явным запросам службы поддержки клиентов, и даже в этом случае могут быть удалены только целые пакеты, но не отдельные записи внутри них. Такой подход обеспечивает целостность данных, возможность аудита и соответствие требованиям, делая '''Grail''' безопасной и надёжной основой для мониторинга и аналитики.
| |
|
| |
| == Руководство: использование Grail вместо традиционных баз данных ==
| |
| '''Grail''' оптимизирован для экстремальной пропускной способности и больших объёмов неизменяемых данных, собранных в едином хранилище для экономичного хранения и высокопроизводительных запросов. Он включает в себя элементы '''ACID''' и '''BASE''', обеспечивая полную гибкость и контекстную аналитику.
| |
| {| class="wikitable"
| |
| !Сценарий
| |
| !Grail
| |
| !Другие базы данных
| |
| |-
| |
| |От тера- до эксабайтного масштаба неизменяемых данных
| |
| |Да
| |
| |
| |
| |-
| |
| |Для разных данных в контексте
| |
| |Да
| |
| |
| |
| |-
| |
| |Для мгновенного запроса в режиме реального времени по любому вопросу в любое время
| |
| |Да
| |
| |
| |
| |-
| |
| |Наблюдаемость, данные безопасности и бизнес-данные из цифровых систем
| |
| |Да
| |
| |
| |
| |-
| |
| |Для экономической эффективности в качестве data lake
| |
| |Да
| |
| |
| |
| |-
| |
| |Минимизируйте интерфейсы данных и потоки данных
| |
| |Да
| |
| |
| |
| |-
| |
| |ACID транзакционные гарантии
| |
| |
| |
| |Да
| |
| |-
| |
| |Когда вам нужны очень частые обновления записей данных
| |
| |
| |
| |Да
| |
| |}
| |
|
| |
|
| |
| Традиционные базы данных либо созданы для обработки транзакционных данных небольшого объема в соответствии с парадигмой '''ACID''', либо реализуют парадигму '''BASE''', известную по базам данных '''NoSQL'''.
| |
|
| |
| '''ACID''' означает:
| |
|
| |
| * '''Атомарность''': гарантирует, что транзакция либо полностью завершится, либо полностью прервётся. Частичные изменения не происходят.
| |
| * '''Согласованность''': гарантирует, что данные остаются согласованными, соблюдая все ограничения даже во время транзакционных изменений.
| |
| * '''Изоляция''': предотвращает взаимные помехи между параллельными транзакциями. Каждая транзакция воспринимается как выполняемая последовательно.
| |
| * '''Долговечность''': после завершения транзакции ее изменения регистрируются навсегда.
| |
|
| |
| Базы данных '''ACID''' используются в сценариях, где целостность и надёжность данных имеют первостепенное значение. Большинство реляционных систем управления базами данных (таких как '''Oracle''', '''MySQL''' и '''PostgreSQL''') поддерживают парадигму '''ACID'''.
| |
|
| |
| '''BASE''' является альтернативой '''ACID''' и особенно подходит для распределенных систем, где требуется высокая доступность, отказоустойчивость и масштабируемость.
| |
|
| |
| '''BASE''' означает:
| |
|
| |
| * '''Всегда доступно''': система продолжает работать даже в случае сбоев, хотя ее функциональность может быть ограничена.
| |
| * '''Софт состояние''': состояние системы может меняться со временем из-за конечной согласованности.
| |
| * '''Согласованность''': обновления распространяются по системе в своевременно, но не обязательно немедленно.
| |
|
| |
| Базы данных '''NoSQL''', такие как '''Cassandra''', '''Redis''' и '''Amazon''' '''DynamoDB''', являются примерами систем хранения, разработанных на основе парадигмы '''BASE'''.
| |
