Запланированное масштабирование

Статья о возможности запланированного масштабирования в ClickHouse Cloud

Сервисы ClickHouse Cloud автоматически масштабируются в зависимости от загрузки CPU и памяти, но для многих рабочих нагрузок характерны предсказуемые паттерны — ежедневные всплески ингестии, батч-задачи, выполняемые по ночам, или резкое падение трафика по выходным. Для таких сценариев запланированное масштабирование позволяет точно определить, когда ваш сервис должен масштабироваться вверх или вниз, независимо от метрик в реальном времени.

С помощью запланированного масштабирования вы настраиваете набор правил по времени прямо в консоли ClickHouse Cloud. Каждое правило задаёт дни, в которые оно активно, часы начала и окончания в UTC, а также параметры, применяемые в этот период, — число реплик (горизонтальное масштабирование), минимальный и максимальный объём памяти на реплику (вертикальное масштабирование) и возможность перехода сервиса в бездействующий режим. В течение активного периода ClickHouse Cloud применяет эти параметры, а после его окончания возвращается к конфигурации масштабирования по умолчанию, чтобы сервис был масштабирован должным образом ещё до роста нагрузки, а не реагировал на неё постфактум.

Это отличается от автомасштабирования на основе метрик, которое динамически реагирует на нагрузку CPU и памяти. Запланированное масштабирование детерминировано: вы точно знаете, когда произойдёт масштабирование и до какого размера. Эти два подхода дополняют друг друга — у сервиса может быть базовое расписание масштабирования, и при этом он всё равно может выигрывать от автомасштабирования в этих рамках, если рабочая нагрузка неожиданно меняется.

Сейчас запланированное масштабирование доступно в бета-версии.

​

Настройка расписания масштабирования

Чтобы настроить расписание, перейдите к своему сервису в консоли ClickHouse Cloud и откройте настройки. Затем выберите Schedule Override и добавьте новое правило.

Для каждого правила нужно указать:

• Активные дни: дни недели, к которым применяется правило
• Время начала и окончания: период действия правила, указанный в UTC с точностью до целого часа. Период, в котором час окончания раньше часа начала, продолжается ночью до следующего дня
• Применяемые настройки: количество реплик, минимальный и максимальный объём памяти на реплику, а также минимальное время бездействия (или отсутствие перехода в режим бездействия), используемые в течение действия периода

Несколько правил можно объединить в полное недельное расписание, если их периоды не пересекаются. Например, одно правило, охватывающее понедельник—пятницу с 06:00 до 20:00 UTC, может поддерживать сервис в большем размере в течение рабочего дня, а за пределами этого периода будет применяться конфигурация по умолчанию.

​

Сценарии использования

Батч- и ETL-нагрузки: Увеличивайте масштаб перед запуском ночной задачи по приёму данных и уменьшайте его после её завершения, чтобы избежать избыточного выделения ресурсов в дневные часы простоя.

Предсказуемые паттерны трафика: Сервисы со стабильными периодами пиковой нагрузки (например, с трафиком запросов в рабочие часы) можно заранее масштабировать под ожидаемую нагрузку, а не ждать, пока среагирует автомасштабирование.

Уменьшение масштаба на выходных: Снижайте число реплик или уровень памяти на выходных, когда спрос ниже, а затем восстанавливайте ресурсы перед утренним всплеском в понедельник.

Контроль затрат: Для команд, контролирующих затраты на ClickHouse Cloud, запланированное уменьшение масштаба в периоды заведомо низкой нагрузки может заметно сократить потребление ресурсов без какого-либо ручного вмешательства.

Действие запланированного масштабирования и одновременная рекомендация по автомасштабированию могут взаимодействовать — в момент срабатывания приоритет у расписания.

​

Обработка всплесков рабочей нагрузки

Если вы ожидаете всплеск рабочей нагрузки, можно использовать ClickHouse Cloud API, чтобы заранее увеличить масштаб сервиса, а после снижения нагрузки — уменьшить его.

Чтобы понять, сколько ядер CPU и памяти сейчас используется для каждой из ваших реплик, выполните запрос ниже:

SELECT *
FROM clusterAllReplicas('default', view(
    SELECT
        hostname() AS server,
        anyIf(value, metric = 'CGroupMaxCPU') AS cpu_cores,
        formatReadableSize(anyIf(value, metric = 'CGroupMemoryTotal')) AS memory
    FROM system.asynchronous_metrics
))
ORDER BY server ASC
SETTINGS skip_unavailable_shards = 1