Что такое in-memory технологии, для каких задач их использует бизнес и какие решения доступны сегодня на российском рынке, рассказывает Александр Виноградов, руководитель Tarantool.

Что такое in-memory-технологии 

In-memory computing буквально переводится как «вычисления в оперативной памяти». Технология in-memory позволяет хранить и обрабатывать данные в оперативной памяти, а не на жестком диске.

Впервые возможности in-memory начали тестировать финансовые компании в 90-е годы, более широкое распространение решений началось в 2000-х с развитием цифровых сервисов и ростом потребности в быстрой обработке данных.

Сегодня in-memory активно используются бизнесом:

• в финансовой отрасли,
• ритейле,
• телекоме и других индустриях. 

Главное, зачем используют in-memory в современных приложениях — это скорость. Технология ускоряет доступ к данным и их обработку. Так, традиционная база данных выдерживает нагрузку до пары десятков тысяч запросов в секунду, платформа in-memory-вычислений обрабатывает от 100 тыс. запросов за то же время.

Сценарии применения in-memory в бизнесе

Ускорение устаревших систем

Одна из проблем крупных компаний — устаревшие системы или легаси. Часто они отвечают за ключевые для компании бизнес-процессы, но не способны поддерживать работу онлайн-сервисов.

Когда пользователи одновременно обращаются через онлайн-сервис к одному набору данных, скорость отклика системы снижается. Медленная загрузка страниц может привести к репутационным и финансовым потерям. 

Модернизация устаревших систем — сложный и длительный процесс, который в некоторых случаях предполагает временную остановку бизнеса. In-memory-технологии позволяют преодолеть ограничения легаси.

В ИТ-инфраструктуре на базе in-memory можно создать промежуточный слой между корневыми системами и цифровыми сервисами. Он хранит и обрабатывает часто используемые данные, что значительно ускоряет работу сервисов. 

Например, ВТБ запустил витрину управления данными клиентов на базе платформы in-memory-вычислений. Пользователи онлайн-сервисов банка получили возможность просматривать информацию о себе, которую хранит банк, и при необходимости вносить в нее изменения.

Кроме этого, банковские системы интегрированы с государственными сервисами, включая портал «Госуслуги». Пользователи мобильного и веб-приложения банка могут актуализировать свои персональные данные, просто запустив синхронизацию со сведениями из государственных информационных систем.

Создание «золотого профиля» 

Развитие цифровых сервисов меняет потребности бизнеса. Компании развивают новые ИТ-системы, которые используют собственные базы данных.

Так, внутри одного бизнеса часто работает несколько систем с похожими клиентскими данными. Информация дублируется и не всегда понятно, где данные актуальны и какую базу стоит использовать в качестве первоисточника. 

Один из способов решения этой проблемы — создание единой записи о клиенте как стандарта для компании. 

Банки, телеком-операторы, ритейлеры создают «золотой профиль» клиента с применением in-memory. Для этой задачи платформы аккумулируют разрозненные данные из десятков и сотен источников в режиме реального времени и отображают их в едином формате.

Так, в «Газпромбанке» запустили приложение для сотрудников контакт-центра и офиса, где собираются данные из автоматизированной банковской системы (информация по картам, вкладам, счетам, кредитам клиентов). У компании была задача обеспечить мгновенный доступ специалистов банка к этой информации.

Решение, реализованное на базе in-memory-платформы, позволило ей снизить время загрузки полных данных с 5 до 0,1 секунды.

Маркетинг в режиме реального времени

Компании увеличивают продажи, стараясь сделать пользователю персонализированное предложение — исходя из его потребностей «прямо сейчас».

Например, анализируют действия клиента в моменте, чтобы вовремя дать скидку, обратить внимание на сопутствующий товар или сделать спецпредложение. Если клиент положил в корзину детский купальник, можно предложить ему приобрести надувной круг, маску для плавания или мяч.

Весь процесс — от фиксации действия, анализа контекста и реакции — должен занимать считанные секунды. In-memory-технологии обеспечивают скорость принятия решений в проектах маркетинга в режиме реального времени. 

Витрина данных

Исследования показывают, что задержка загрузки информации в каналах онлайн-продаж в секунду может привести к снижению конверсии на 7%. Если сервис работает медленно, 23% покупателей отвлекаются на другие дела и не завершают покупку.

Компаниям важно обеспечить быструю работу мобильных и веб-приложений.

Для ускорения обработки запросов строят витрины данных — это хранилища, где в структурированном виде содержатся все необходимые для конкретного сервиса сведения. Витрину данных можно реализовать на основе in-memory-технологий.

Такую архитектуру выбрал «Магнит» для интеграции с сервисом доставки, чтобы моментально передавать в него данные из системы учета ритейлера. In-memory-платформа собирает информацию об остатках товаров из внутренних систем «Магнита», получает фотографии из центрального хранилища, сводит эти данные и отображает результат на виртуальной витрине сервиса доставки.

Хранение данных

На рынке сохраняется стереотип о том, что при хранении в оперативной памяти есть риски потери данных. Однако это уже не так: современные in-memory-решения давно преодолели этот недостаток за счет продвинутых инструментов репликации данных — копирования информации на нескольких кластерах.

Кроме того, разработчики in-memory-решений активно работают над безопасностью и персистентностью хранения данных.

Например, если решение отвечает требованиям ACID в области работы с информацией, это значит, что все транзакции в базе данных записаны, согласованы между собой и сохранены. При этом изменение одних транзакций не влияет на другие данные.

Таким образом, in-memory-платформы могут выступать в качестве полноценного хранилища или первоисточника данных: такое решение обрабатывает до 1 млн запросов в секунду на чтение.

В некоторых in-memory-решениях есть возможность сжать данные: объем занимаемой памяти сокращается не менее чем на 15%. 

Рынок in-memory

Исторически наибольшее распространение получили in-memory-базы данных, развивающиеся по модели Open Source. Из зарубежных проектов с открытым кодом можно отметить Apache Ignite, GridGane, Aerospike, Hazelcast, Redis.

В России есть собственная разработка VK, наша платформа. Ее исходный код доступен другим разработчикам по модели Open Source. 

Спрос на решения in-memory растет как на глобальном, так и на российском рынках. В новых условиях рынка с их помощью компании могут как ускорить существующую ИТ-инфраструктуру без ее перестройки, так и создавать новые цифровые сервисы и заменить решения, которые специалисты не могут поддерживать.

Резюмируя

Можно выделить пять основных сценариев применения in-memory-вычислений в бизнесе:

1. In-memory-технологии становятся промежуточным слоем между корневыми системами и цифровыми сервисами, что помогает преодолеть ограничения легаси-систем.
2. При создании «золотого профиля» клиента платформа in-memory-вычислений собирает данные из разрозненных систем и отображает их в едином формате.
3. В проектах маркетинга в режиме реального времени in-memory-технологии обеспечивают скорость принятия решения.
4. На базе in-memory строят витрины данных — быстрые хранилища, где собраны все необходимые сведения для работы конкретного приложения.
5. In-memory-платформы могут выступать в качестве основного хранилища данных вместо традиционных СУБД. 

Источник: Rusbase