escalado programado

Artículo sobre la funcionalidad escalado programado de ClickHouse Cloud

Los servicios de ClickHouse Cloud escalan automáticamente en función del uso de CPU y memoria, pero muchas cargas de trabajo siguen patrones predecibles: picos diarios de ingestión, trabajos por lotes que se ejecutan por la noche o tráfico que disminuye drásticamente los fines de semana. Para estos casos de uso, escalado programado le permite definir exactamente cuándo debe escalar su servicio, ya sea hacia arriba o hacia abajo, independientemente de las métricas en tiempo real.

Con escalado programado, configura un conjunto de reglas basadas en el tiempo directamente en la consola de ClickHouse Cloud. Cada regla especifica los días en que está activa, una hora de inicio y otra de finalización en UTC, y la configuración que se aplicará durante esa ventana: el número de réplicas (horizontal), la memoria mínima y máxima por réplica (vertical) y si se permite que el servicio permanezca inactivo. Mientras la ventana está activa, ClickHouse Cloud aplica esa configuración y, cuando termina, vuelve a su configuración de escalado predeterminada, de modo que su servicio tenga el tamaño adecuado antes de que llegue la demanda, en lugar de reaccionar a ella después.

Esto es distinto del escalado automático basado en métricas, que responde dinámicamente a la presión sobre la CPU y la memoria. El escalado programado es determinista: sabe exactamente cuándo se producirá el escalado y a qué tamaño. Ambos enfoques son complementarios: un servicio puede tener una programación de escalado base y seguir beneficiándose del escalado automático dentro de esa ventana si las cargas de trabajo fluctúan de forma inesperada.

Actualmente, el escalado programado está disponible en Beta.

​

Configurar una programación de escalado

Para configurar una programación, ve a tu servicio en la consola de ClickHouse Cloud y entra en la configuración. Desde allí, selecciona Schedule Override y añade una regla nueva.

Cada regla requiere:

• Días activos: los días de la semana a los que se aplica la regla
• Hora de inicio y fin: la ventana durante la cual se aplica la regla, indicado en UTC y en horas completas. Una ventana cuya hora de finalización sea anterior a la hora de inicio se extiende durante la noche hasta el día siguiente
• Configuración que se aplicará: el número de réplicas, la memoria mínima y máxima por réplica, y el tiempo mínimo de inactividad (o sin entrar en estado inactivo) que se utilizarán mientras la ventana esté activa

Se pueden combinar varias reglas para crear una programación semanal completa, siempre que sus ventanas no se solapen. Por ejemplo, una única regla que abarque de lunes a viernes de 06:00 a 20:00 UTC puede mantener tu servicio en un tamaño mayor durante la jornada laboral, y tu configuración predeterminada se aplicará fuera de esa ventana.

​

Casos de uso

Cargas de trabajo por lotes y ETL: Aumente la capacidad antes de que se ejecute un trabajo nocturno de ingesta y redúzcala de nuevo cuando finalice, para evitar el sobreaprovisionamiento durante las horas diurnas de baja actividad.

Patrones de tráfico predecibles: Los servicios con horas pico constantes (p. ej., tráfico de consultas en horario laboral) pueden escalarse con antelación para absorber la carga antes de que llegue, en lugar de esperar a que reaccione el escalado automático.

Reducción de capacidad los fines de semana: Reduzca el número de réplicas o el nivel de memoria durante los fines de semana, cuando la demanda es menor, y restaure la capacidad antes del repunte del lunes por la mañana.

Control de costos: Para los equipos que gestionan el gasto en ClickHouse Cloud, las reducciones programadas de capacidad durante períodos de baja utilización conocidos pueden reducir de forma significativa el consumo de recursos sin ninguna intervención manual.

Una acción de escalado programado y una recomendación simultánea de escalado automático pueden interactuar; la programación tiene prioridad en el momento en que se activa.

​

Cómo gestionar picos en la carga de trabajo

Si prevés un pico en tu carga de trabajo, puedes usar la ClickHouse Cloud API para ampliar de forma preventiva tu servicio a fin de absorber ese pico y reducirlo de nuevo cuando la demanda disminuya.

Para conocer los núcleos de CPU y la memoria que se usan actualmente en cada una de tus réplicas, puedes ejecutar la consulta siguiente:

SELECT *
FROM clusterAllReplicas('default', view(
    SELECT
        hostname() AS server,
        anyIf(value, metric = 'CGroupMaxCPU') AS cpu_cores,
        formatReadableSize(anyIf(value, metric = 'CGroupMemoryTotal')) AS memory
    FROM system.asynchronous_metrics
))
ORDER BY server ASC
SETTINGS skip_unavailable_shards = 1