Monitoring autogéré

Guide du monitoring autogéré

Ce guide fournit aux équipes d’entreprise qui évaluent la version open-source de ClickHouse des informations détaillées sur les capacités de monitoring et d’observabilité pour les déploiements de production. Les clients Enterprise demandent fréquemment quelles fonctionnalités de monitoring sont disponibles prêtes à l’emploi, quelles sont les possibilités d’intégration avec les stacks d’observabilité existantes, notamment avec des outils comme Datadog et AWS CloudWatch, et comment le monitoring de ClickHouse se compare à celui des déploiements auto-hébergés.

​

Architecture d’intégration basée sur Prometheus

ClickHouse expose des métriques compatibles Prometheus via différents endpoints selon votre modèle de déploiement, chacun présentant des caractéristiques opérationnelles distinctes :

ClickHouse auto-géré/OSS

Endpoint Prometheus direct du serveur, accessible via l’endpoint standard /metrics sur votre serveur ClickHouse. Cette approche offre :

• Exposition complète des métriques : ensemble complet des métriques ClickHouse disponibles, sans filtrage intégré
• Métriques en temps réel : générées directement à partir des tables système lors du scrape

Accès direct au système

Interroge les tables système de production, ce qui ajoute une charge de monitoring et empêche les états d’inactivité permettant de réduire les coûts

​

Exemples d’intégration

L’intégration externe permet aux organisations de conserver leurs workflows de supervision établis, de tirer parti de l’expertise existante des équipes avec des outils familiers et d’intégrer la supervision de ClickHouse à l’observabilité globale de l’infrastructure, sans perturber les processus en place ni nécessiter d’importants investissements en formation. Les équipes peuvent appliquer leurs règles d’alerte et procédures d’escalade existantes aux métriques ClickHouse, tout en corrélant les performances de la base de données avec l’état de santé des applications et de l’infrastructure au sein d’une plateforme d’observabilité unifiée. Cette approche maximise le retour sur investissement des dispositifs de supervision actuels et accélère le dépannage grâce à des tableaux de bord consolidés et à des interfaces d’outillage familières.

​

Supervision Grafana Cloud

Grafana permet de superviser ClickHouse à la fois via une intégration directe par plugin et via des approches fondées sur Prometheus. L’intégration de l’endpoint Prometheus maintient une séparation opérationnelle entre la supervision et les workloads de production, tout en permettant la visualisation au sein de l’infrastructure Grafana Cloud existante. Consultez la documentation ClickHouse de Grafana pour savoir comment la configurer.

​

Supervision avec Datadog

Datadog développe une intégration API dédiée qui assurera une supervision adéquate du service Cloud tout en respectant son comportement de mise en veille. En attendant, les équipes peuvent utiliser l’approche d’intégration OpenMetrics via les endpoints Prometheus de ClickHouse afin de garantir une séparation opérationnelle et une supervision à moindre coût. Pour obtenir des conseils de configuration, consultez la documentation de Datadog sur l’intégration Prometheus et OpenMetrics.

​

ClickStack

ClickStack est la solution d’observabilité recommandée par ClickHouse pour l’analyse approfondie des systèmes et le débogage. Elle fournit une plateforme unifiée pour les logs, les métriques et les traces, avec ClickHouse comme moteur de stockage. Cette approche repose sur HyperDX, la ClickStack UI, qui se connecte directement aux tables système de votre instance ClickHouse. HyperDX inclut un tableau de bord centré sur ClickHouse, avec des onglets pour Selects, Inserts et Infrastructure. Les équipes peuvent également utiliser la syntaxe Lucene ou SQL pour rechercher dans les tables système et les logs, ainsi que créer des visualisations personnalisées via Chart Explorer pour une analyse détaillée du système. Cette approche est idéale pour le débogage de problèmes complexes, l’analyse des performances et l’introspection approfondie du système, plutôt que pour les alertes en production en temps réel.

Notez que cette approche réveillera les services inactifs, car HyperDX interroge directement les tables système.

​

Options de déploiement de ClickStack

• Helm : recommandé pour les environnements de débogage basés sur Kubernetes. Permet une configuration propre à l’environnement, des limites de ressources et la mise à l’échelle via values.yaml.
• Docker Compose : déploie chaque composant (ClickHouse, HyperDX, OTel collector, MongoDB) individuellement.
• HyperDX uniquement : conteneur HyperDX autonome.

Pour consulter l’ensemble des options de déploiement et les détails de l’architecture, reportez-vous à la documentation ClickStack et au guide d’ingestion des données.

​

Intégration directe avec le plugin Grafana

Le plugin de source de données ClickHouse pour Grafana permet de visualiser et d’explorer les données directement dans ClickHouse à l’aide des tables système. Cette approche est bien adaptée à la surveillance des performances et à la création de tableaux de bord personnalisés pour une analyse détaillée du système. Pour en savoir plus sur l’installation et la configuration du plugin, consultez le plugin de source de données ClickHouse. Pour une configuration de supervision complète utilisant le mix-in Prometheus-Grafana avec des tableaux de bord préconfigurés et des règles d’alerte, consultez Monitor ClickHouse with the new Prometheus-Grafana mix-in.

​

Intégration directe avec Datadog

Datadog propose pour son agent un plugin de supervision ClickHouse qui interroge directement les tables système. Cette intégration offre une supervision complète de la base de données avec prise en charge du cluster grâce à la fonctionnalité clusterAllReplicas.

Cette intégration n’est pas recommandée pour les déploiements ClickHouse Cloud en raison de son incompatibilité avec le comportement de mise en veille optimisé pour les coûts et des limitations opérationnelles de la couche proxy du cloud.

​

Utiliser directement les tables système

Vous pouvez effectuer une analyse approfondie des performances des requêtes en vous connectant directement aux tables système de ClickHouse, en particulier à system.query_log. À l’aide de la Console SQL ou du clickhouse client, les équipes peuvent identifier les requêtes lentes, analyser l’utilisation des ressources et suivre les tendances d’utilisation à l’échelle de l’organisation.

Analyse des performances des requêtes

Vous pouvez utiliser les journaux de requêtes de la table système pour analyser les performances des requêtes.

Exemple de requête : trouver les 5 requêtes dont l’exécution est la plus longue sur l’ensemble des répliques du cluster :

SELECT
    type,
    event_time, 
    query_duration_ms,
    query,
    read_rows,
    tables
FROM clusterAllReplicas(default, system.query_log)
WHERE event_time >= (now() - toIntervalMinute(60)) AND type='QueryFinish'
ORDER BY query_duration_ms DESC
LIMIT 5
FORMAT VERTICAL

​

Solutions de monitoring communautaire

La communauté ClickHouse a développé des solutions de monitoring complètes qui s’intègrent aux stacks d’observabilité les plus répandues. ClickHouse Monitoring fournit une solution de monitoring complète avec des tableaux de bord prêts à l’emploi. Ce projet open source propose une approche de démarrage rapide aux équipes qui souhaitent mettre en place le monitoring de ClickHouse en s’appuyant sur des bonnes pratiques éprouvées et des configurations de tableaux de bord validées.

Comme les autres approches de monitoring direct de la base de données, cette solution interroge directement les tables système de ClickHouse, ce qui empêche les instances de se mettre en veille et nuit à l’optimisation des coûts.