https://doc.ruscomtech.ru/index.php?action=history&feed=atom&title=%D0%A7%D1%82%D0%BE_%D1%82%D0%B0%D0%BA%D0%BE%D0%B5_%D0%9A%D0%BB%D1%8E%D1%87-%D0%90%D0%A1%D0%A2%D0%A0%D0%9E%D0%9C_GrailЧто такое Ключ-АСТРОМ Grail - История изменений2026-09-16T12:44:01ZИстория изменений этой страницы в викиMediaWiki 1.43.9https://doc.ruscomtech.ru/index.php?title=%D0%A7%D1%82%D0%BE_%D1%82%D0%B0%D0%BA%D0%BE%D0%B5_%D0%9A%D0%BB%D1%8E%D1%87-%D0%90%D0%A1%D0%A2%D0%A0%D0%9E%D0%9C_Grail&diff=6287&oldid=prevIKuznetsov: Полностью удалено содержимое страницы2026-02-27T01:35:28Z<p>Полностью удалено содержимое страницы</p>
<a href="https://doc.ruscomtech.ru/index.php?title=%D0%A7%D1%82%D0%BE_%D1%82%D0%B0%D0%BA%D0%BE%D0%B5_%D0%9A%D0%BB%D1%8E%D1%87-%D0%90%D0%A1%D0%A2%D0%A0%D0%9E%D0%9C_Grail&diff=6287&oldid=5647">Внесённые изменения</a>IKuznetsovhttps://doc.ruscomtech.ru/index.php?title=%D0%A7%D1%82%D0%BE_%D1%82%D0%B0%D0%BA%D0%BE%D0%B5_%D0%9A%D0%BB%D1%8E%D1%87-%D0%90%D0%A1%D0%A2%D0%A0%D0%9E%D0%9C_Grail&diff=5647&oldid=prevIKuznetsov: Новая страница: «'''Центр данных Grail,''' лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную ан...»2025-09-08T19:07:48Z<p>Новая страница: «'''Центр данных Grail,''' лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную ан...»</p>
<p><b>Новая страница</b></p><div>'''Центр данных Grail,''' лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную аналитику в рамках унифицированных данных о наблюдении, безопасности и бизнес-данных. Он специально разработан для данных, наблюдаемых и собираемых из цифровых сервисов в эксабайтном масштабе.<br />
<br />
'''Grail''' — это хранилище данных, которое сочетает в себе преимущества экономической эффективности баз данных с аналитическими возможностями хранилищ данных и обеспечивает исключительную производительность за счет массивной параллельной обработки.<br />
<br />
'''Grail''' обеспечивает:<br />
<br />
* Ответы на вопросы, которые вы раньше не могли получить с помощью контекстной аналитики.<br />
* Унифицированные данные о наблюдении, безопасности и бизнес-данных — экономически эффективно и в эксабайтном масштабе.<br />
* Аналитика в режиме реального времени с возможностью задавать любые вопросы в любое время и с постоянно обновляемым хранилищем данных без задержки (холодное/горячее хранение).<br />
* Повышение производительности за счет технологии искажения данных без индекса и схемы при чтении существенно сокращает усилия по подготовке данных.<br />
* Упрощенное соответствие требованиям, поскольку '''Grail''' безопасно интегрируется с '''ИИ''', '''AppEngine''', '''AutomationEngine''' и другими решениями в рамках платформы Ключ-АСТРОМ.<br />
<br />
== Контекстная аналитика ==<br />
'''Grail''' даёт ответы на вопросы, которые раньше казались невозможными, объединяя наблюдаемость, безопасность и бизнес-данные, но, что ещё важнее, поддерживает графовую структуру с причинно-следственными зависимостями между данными. Это возможно только благодаря уникальному сочетанию подходов, основанных на графах, событиях, временных рядах и '''NoSQL'''-базах данных.<br />
<br />
Контекстная аналитика одинаково эффективно обрабатывает разные данные, включая метрики, логи, трассировки, поведение пользователей, сеансы, профили, уязвимости, метаданные и многое другое, и помещает их в контекст. Контекстуализация данных выполняется полностью автоматически, без необходимости добавления тегов или определения схем при получении данных или во время хранения.<br />
<br />
Контекстная аналитика использует причинно-следственный ИИ для отслеживания зависимостей и, следовательно, позволяет проводить уникальную аналитику, такую как:<br />
<br />
* Понимание точной причины проблемы в распределенном микросервисном облачном приложении.<br />
* Отслеживание пути атаки в ходе аналитики нарушений безопасности с целью оценки риска.<br />
* Сегментация бизнес-данных по выручке.<br />
* Автоматическое отображение и анализ окружающих данных логов и трассировки при аналитике таких проблем, как ухудшение работы пользователей при оформлении заказов.<br />
<br />
== Масштаб эксабайт ==<br />
'''Grail''' преодолевает ограничения обычных индексных баз данных и, таким образом, обладает уникальной способностью объединять все типы данных в одном месте и устранять проблемы разного формата информации, сохраняя при этом полную детализацию. Это достигается следующими способами:<br />
<br />
* Обработка и хранение до 1000 ТБ данных в день в зависимости от каналов получения данных (например, ЕдиныйАгент или API) и характера сигналов. Для обеспечения оптимальной производительности необходима индивидуальная стратегия масштабирования. Чтобы узнать фактические ограничения, см. раздел [[Ограничения OpenPipeline]].<br />
* Предоставление механизма запросов на основе массивной параллельной обработки ('''MPP'''), позволяющего быстро обрабатывать любые запросы в любое время, без необходимости каких-либо предварительных определений.<br />
* Использование технологии datawarping для извлечения данных из постоянно обновляемого хранилища с нулевой задержкой (холодное/горячее хранение), при этом устраняя накладные расходы и ограничения масштабируемости индексов.<br />
<br />
== Постоянно обновляемое хранилище с нулевой задержкой (холодное/горячее хранение) ==<br />
'''Grail''' революционизирует управление данными, предоставляя нативной технологией бесшовный '''data-lake''', устраняя традиционные процессы и необходимость экспорта данных во внешние решения для хранения, такие как '''AWS S3''', что позволяет снизить затраты и оптимизировать операции.<br />
<br />
'''Grail''' оснащён передовой автоматической системой управления холодными и горячими данными, которая обеспечивает полный доступ к данным с нулевой задержкой, фактически предлагая постоянно обновляемые данные.<br />
<br />
* '''Always-hydrated''' означает, что данные всегда доступны с нулевой задержкой, устраняя необходимость регидратации.<br />
* '''Grail''' не требует никаких индексов, что устраняет дорогостоящие накладные расходы и негибкость предопределённых схем.<br />
* Пользователи не заметят разницы между холодными и горячими данными благодаря массово параллельной обработке и '''datawarping'''.<br />
* '''Grail''' автоматически управляет данными на основе шаблонов доступа.<br />
* '''Grail''' устраняет необходимость экспорта данных во внешнее облачное хранилище и выполнения длительных и дорогостоящих операций регидратации, тем самым исключая потребность в отдельном '''data lake'''.<br />
<br />
== Возможности Grail ==<br />
При использовании '''Grail''' вы получаете такие возможности, как:<br />
<br />
* '''Интеграция данных''': объединение всех разнородных данных в одном хранилище.<br />
* '''Обработка данных''' в режиме реального времени при массовом поступлении.<br />
* '''Гибкое преобразование''' данных при загрузке через '''OpenPipeline'''.<br />
* '''Простое управление''' хранением данных.<br />
* '''Организация данных без схемы''': данные всегда хранятся в контексте без необходимости определения какой-либо схемы.<br />
* '''Задавайте любые вопросы''' в любое время.<br />
* '''Получение аналитической информации''' в режиме реального времени без накладных расходов на индексы, что позволяет искать и анализировать любые данные — текст, символы или шаблоны, независимо от того, проиндексированы они или нет.<br />
* '''Аналитика и автоматизация''' на основе искусственного интеллекта с использованием '''AI''', '''Smartscape''' и '''AutomationEngine'''.<br />
* '''Исследовательская аналитика данных''': выполнение сложных запросов в дашбордах или блокнотах с использованием оптимизированного механизма запросов.<br />
* '''Управление данными''': контроль доступа к данным и приложениям с помощью единой унифицированной системы.<br />
* '''Наблюдаемость данных''': обеспечение доступности, надёжности и качества данных.<br />
<br />
== Соблюдение требований законодательства и конфиденциальности данных ==<br />
В Ключ-АСТРОМ мы серьёзно относимся к своей ответственности по защите ваших данных. Мы реализовали различные уровни защиты данных и строго придерживаемся принципов «'''конфиденциальность через проектирование'''» и «'''конфиденциальность по умолчанию'''».<br />
<br />
* '''Grail''' обеспечивает истинное безвозвратное удаление данных для соблюдения самых строгих требований конфиденциальности.<br />
* '''Grail''' предлагает детальный контроль доступа на уровне таблиц, сегментов и логов, включая разрешения на основе полей, чтобы исключить отображение полей, содержащих конфиденциальную информацию.<br />
* С помощью ЕдиногоАгента и OpenPipeline Ключ-АСТРОМ предоставляет маскировку и фильтрацию данных при сборе и загрузке.<br />
* '''Grail''' гарантирует использование ключей, специфичных для среды, для изоляции данных и защиты от несанкционированного доступа.<br />
* Прямой доступ пользователей к сохранённым данным не разрешён, что обеспечивает целостность и безопасность данных. Вместо этого извлечение данных и запросы могут проводиться только с помощью запросов '''DQL''' через слой обработки запросов, который выступает в качестве безопасного шлюза, гарантируя эффективность, сверхбыструю скорость и безопасность извлечения данных.<br />
<br />
== Неизменяемое хранилище данных ==<br />
Неизменяемое хранилище данных в '''Grail''' разработано на основе принципиально неизменяемой архитектуры данных. Это означает, что после получения данные не могут быть изменены. Все данные — будь то логи, события, интервалы или метрики — хранятся в виде записей, каждая из которых рассматривается как атомарная, неизменяемая единица.<br />
<br />
Эти записи группируются в упорядоченные по времени пакеты данных, каждый размером примерно 1 ГБ. Эти пакеты хранятся в облачном объектном хранилище, таком как '''Amazon S3''', '''Azure Blob''' или '''Google Cloud Storage'''. При запросе данных '''Grail''' загружает весь пакет в память и анализирует отдельные записи оттуда.<br />
<br />
Благодаря этой архитектуре:<br />
<br />
* Изменение отдельной записи невозможно.<br />
* Для удаления записи необходимо переписать весь пакет.<br />
* Только авторизованные пользователи могут использовать API удаления для удаления отдельных записей или целых пакетов.<br />
* Каждая операция удаления полностью протоколируется и регистрируется.<br />
* Сам Ключ-АСТРОМ не изменяет и не удаляет данные клиентов. Удаление данных Ключ-АСТРОМ может происходить только по явным запросам службы поддержки клиентов, и даже в этом случае могут быть удалены только целые пакеты, но не отдельные записи внутри них. Такой подход обеспечивает целостность данных, возможность аудита и соответствие требованиям, делая '''Grail''' безопасной и надёжной основой для мониторинга и аналитики.<br />
<br />
== Руководство: использование Grail вместо традиционных баз данных ==<br />
'''Grail''' оптимизирован для экстремальной пропускной способности и больших объёмов неизменяемых данных, собранных в едином хранилище для экономичного хранения и высокопроизводительных запросов. Он включает в себя элементы '''ACID''' и '''BASE''', обеспечивая полную гибкость и контекстную аналитику.<br />
{| class="wikitable"<br />
!Сценарий<br />
!Grail<br />
!Другие базы данных<br />
|-<br />
|От тера- до эксабайтного масштаба неизменяемых данных<br />
|Да<br />
|<br />
|-<br />
|Для разных данных в контексте<br />
|Да<br />
|<br />
|-<br />
|Для мгновенного запроса в режиме реального времени по любому вопросу в любое время<br />
|Да<br />
|<br />
|-<br />
|Наблюдаемость, данные безопасности и бизнес-данные из цифровых систем<br />
|Да<br />
|<br />
|-<br />
|Для экономической эффективности в качестве data lake<br />
|Да<br />
|<br />
|-<br />
|Минимизируйте интерфейсы данных и потоки данных<br />
|Да<br />
|<br />
|-<br />
|ACID транзакционные гарантии<br />
|<br />
|Да<br />
|-<br />
|Когда вам нужны очень частые обновления записей данных<br />
|<br />
|Да<br />
|}<br />
<br />
<br />
Традиционные базы данных либо созданы для обработки транзакционных данных небольшого объема в соответствии с парадигмой '''ACID''', либо реализуют парадигму '''BASE''', известную по базам данных '''NoSQL'''.<br />
<br />
'''ACID''' означает:<br />
<br />
* '''Атомарность''': гарантирует, что транзакция либо полностью завершится, либо полностью прервётся. Частичные изменения не происходят.<br />
* '''Согласованность''': гарантирует, что данные остаются согласованными, соблюдая все ограничения даже во время транзакционных изменений.<br />
* '''Изоляция''': предотвращает взаимные помехи между параллельными транзакциями. Каждая транзакция воспринимается как выполняемая последовательно.<br />
* '''Долговечность''': после завершения транзакции ее изменения регистрируются навсегда.<br />
<br />
Базы данных '''ACID''' используются в сценариях, где целостность и надёжность данных имеют первостепенное значение. Большинство реляционных систем управления базами данных (таких как '''Oracle''', '''MySQL''' и '''PostgreSQL''') поддерживают парадигму '''ACID'''.<br />
<br />
'''BASE''' является альтернативой '''ACID''' и особенно подходит для распределенных систем, где требуется высокая доступность, отказоустойчивость и масштабируемость.<br />
<br />
'''BASE''' означает:<br />
<br />
* '''Всегда доступно''': система продолжает работать даже в случае сбоев, хотя ее функциональность может быть ограничена.<br />
* '''Софт состояние''': состояние системы может меняться со временем из-за конечной согласованности.<br />
* '''Согласованность''': обновления распространяются по системе в своевременно, но не обязательно немедленно.<br />
<br />
Базы данных '''NoSQL''', такие как '''Cassandra''', '''Redis''' и '''Amazon''' '''DynamoDB''', являются примерами систем хранения, разработанных на основе парадигмы '''BASE'''.</div>IKuznetsov