Что такое OLAP?

Объяснение того, что такое онлайн-аналитическая обработка

OLAP расшифровывается как онлайн-аналитическая обработка. Это широкий термин, который можно рассматривать с двух точек зрения: технической и бизнесовой. Но на самом базовом уровне можно просто прочитать эти слова в обратном порядке:

Обработка : Исходные данные обрабатываются…

Аналитическая : …чтобы получить аналитические отчеты и выводы…

Онлайн : …в реальном времени.

​

OLAP с точки зрения бизнеса

В последние годы бизнес начал осознавать ценность данных. Компании, принимающие решения вслепую, чаще всего не выдерживают конкуренции. Подход, основанный на данных, вынуждает успешные компании собирать все данные, которые могут оказаться хоть сколько-нибудь полезными для принятия бизнес-решений, и им требуются механизмы для их своевременного анализа. Именно здесь на помощь приходят OLAP-системы управления базами данных (СУБД).

С точки зрения бизнеса OLAP позволяет компаниям непрерывно планировать, анализировать и формировать отчётность по операционной деятельности, тем самым повышая эффективность, снижая затраты и в конечном счёте увеличивая свою долю рынка. Это можно реализовать либо во внутренней системе компании, либо передать SaaS-провайдерам, таким как сервисы веб-/мобильной аналитики, CRM-сервисы и т. д. OLAP лежит в основе многих BI-приложений (Business Intelligence).

ClickHouse — это OLAP-система управления базами данных, которая довольно часто используется как backend для подобных SaaS-решений по анализу предметно-ориентированных данных. Однако некоторые компании по-прежнему не готовы делиться своими данными со сторонними провайдерами, поэтому вариант с собственным хранилищем данных также вполне жизнеспособен.

​

OLAP с технической точки зрения

Все системы управления базами данных можно разделить на две группы: OLAP (онлайн-аналитическая обработка) и OLTP (Online Transactional Processing). Первая ориентирована на построение отчетов, каждый из которых основан на больших объемах исторических данных, но формируется сравнительно редко. Вторая же обычно обрабатывает непрерывный поток транзакций, постоянно изменяя текущее состояние данных.

На практике OLAP и OLTP — это не категории, а скорее спектр. Большинство реальных систем обычно сосредоточены на одном из этих подходов, но при этом предлагают те или иные решения или обходные пути, если требуется и противоположный тип рабочей нагрузки. Такая ситуация нередко вынуждает компании использовать несколько интегрированных систем хранения, что само по себе может быть не такой уж большой проблемой, но чем больше систем, тем дороже их поддерживать. Поэтому тренд последних лет — HTAP (Hybrid Transactional/Analytical Processing), когда оба типа рабочей нагрузки одинаково хорошо обрабатываются одной системой управления базами данных.

Даже если СУБД изначально создавалась как чистая OLAP- или чистая OLTP-система, ей приходится двигаться в сторону HTAP, чтобы не отставать от конкурентов. И ClickHouse — не исключение: изначально он проектировался как максимально быстрая OLAP-система и до сих пор не имеет полноценной поддержки транзакций, но некоторые возможности, такие как согласованные чтение и запись и Мутации для обновления и удаления данных, пришлось добавить.

Фундаментальный компромисс между системами OLAP и OLTP остается неизменным:

• Чтобы эффективно строить аналитические отчеты, крайне важно иметь возможность читать столбцы по отдельности, поэтому большинство OLAP-баз данных являются столбцовыми,
• В то время как хранение столбцов по отдельности увеличивает стоимость операций со строками, таких как добавление или изменение на месте, пропорционально числу столбцов (которых может быть очень много, если системы стараются собирать все детали события на всякий случай). Поэтому большинство OLTP-систем хранят данные построчно.