Scheduled scaling

Article sur la fonctionnalité Scheduled Scaling de ClickHouse Cloud

Les services ClickHouse Cloud s’adaptent automatiquement en fonction de l’utilisation du CPU et de la mémoire, mais de nombreuses charges de travail suivent des schémas prévisibles : pics quotidiens d’ingestion, traitements par lots exécutés la nuit ou trafic en forte baisse le week-end. Pour ces cas d’usage, Scheduled Scaling vous permet de définir précisément quand votre service doit augmenter ou réduire sa capacité, indépendamment des métriques en temps réel.

Avec Scheduled Scaling, vous configurez directement dans la console ClickHouse Cloud un ensemble de règles basées sur le temps. Chaque règle spécifie les jours où elle est active, une heure de début et de fin en UTC, ainsi que les paramètres à appliquer pendant cette période : le nombre de réplicas (horizontal), la mémoire minimale et maximale par réplique (vertical) et si le service peut rester inactif. Pendant que cette période est active, ClickHouse Cloud applique ces paramètres, puis revient à votre configuration de mise à l’échelle par défaut lorsqu’elle prend fin afin que votre service soit correctement dimensionné avant l’arrivée de la demande, plutôt que de réagir après coup.

Cela se distingue de l’autoscaling basé sur les métriques, qui réagit dynamiquement à la pression sur le CPU et la mémoire. Scheduled Scaling est déterministe : vous savez exactement quand la mise à l’échelle aura lieu et à quelle taille. Les deux approches sont complémentaires — un service peut avoir une planification de mise à l’échelle de référence tout en bénéficiant de l’autoscaling dans cette période si les charges de travail fluctuent de manière inattendue.

Scheduled Scaling est actuellement disponible en Beta.

​

Configurer une planification de mise à l’échelle

Pour configurer une planification, accédez à votre service dans la console ClickHouse Cloud, puis ouvrez les paramètres. Sélectionnez ensuite Schedule Override et ajoutez une nouvelle règle.

Chaque règle nécessite :

• Jours actifs : les jours de la semaine auxquels la règle s’applique
• Heure de début et de fin : la période pendant laquelle la règle s’applique, indiquée en UTC et sur des heures entières. Une période dont l’heure de fin est antérieure à l’heure de début se prolonge pendant la nuit jusqu’au jour suivant
• Paramètres à appliquer : le nombre de réplicas, la mémoire minimale et maximale par réplique, ainsi que la durée minimale d’inactivité (ou l’absence de mise en veille) à utiliser lorsque la période est active

Plusieurs règles peuvent être combinées pour former une planification hebdomadaire complète, à condition que leurs périodes ne se chevauchent pas. Par exemple, une seule règle couvrant du lundi au vendredi, de 06:00 à 20:00 UTC, peut maintenir votre service à une taille plus importante pendant la journée de travail, votre configuration par défaut s’appliquant en dehors de cette période.

​

Cas d’usage

Charges de travail batch et ETL : augmentez la capacité avant l’exécution d’une tâche d’ingestion nocturne, puis réduisez-la une fois celle-ci terminée, afin d’éviter le surprovisionnement pendant les heures creuses de la journée.

Schémas de trafic prévisibles : les services avec des heures de pointe régulières (par ex. un trafic de requêtes pendant les heures ouvrées) peuvent être mis à l’échelle à l’avance pour absorber la charge avant qu’elle n’arrive, plutôt que d’attendre que l’autoscaling réagisse.

Réduction de capacité le week-end : réduisez le nombre de réplicas ou le palier mémoire le week-end lorsque la demande est plus faible, puis rétablissez la capacité avant le pic du lundi matin.

Contrôle des coûts : pour les équipes qui gèrent les dépenses ClickHouse Cloud, des réductions de capacité planifiées pendant les périodes connues de faible utilisation peuvent réduire sensiblement la consommation de ressources sans aucune intervention manuelle.

Une action de Scheduled Scaling et une recommandation d’autoscaling concurrente peuvent interagir — la planification prévaut au moment du déclenchement.

​

Gérer les pics de charge

Si vous anticipez un pic de charge, vous pouvez utiliser la ClickHouse Cloud API pour augmenter préventivement la capacité de votre service afin d’absorber ce pic, puis la réduire une fois que la demande retombe.

Pour connaître le nombre actuel de cœurs de CPU et la quantité de mémoire utilisés pour chacun de vos réplicas, vous pouvez exécuter la requête ci-dessous :

SELECT *
FROM clusterAllReplicas('default', view(
    SELECT
        hostname() AS server,
        anyIf(value, metric = 'CGroupMaxCPU') AS cpu_cores,
        formatReadableSize(anyIf(value, metric = 'CGroupMemoryTotal')) AS memory
    FROM system.asynchronous_metrics
))
ORDER BY server ASC
SETTINGS skip_unavailable_shards = 1