Surveillance de ClickPipes

Surveillez ClickPipes à l’aide des métriques Prometheus.

En plus de la surveillance dans la Console, ClickPipes expose des métriques via un endpoint compatible Prometheus pour le scraping. Ces métriques sont publiées avec les autres métriques du service ClickHouse Cloud et vous permettent d’intégrer la surveillance de ClickPipes à votre stack d’observabilité existante (par ex. Grafana, Datadog).

​

Labels de métriques

Les métriques ClickPipes utilisent les labels standard de niveau service (clickhouse_org, clickhouse_service, clickhouse_service_name), ainsi que les labels spécifiques à ClickPipes suivants :

Label	Description
clickpipe_id	L’identifiant unique du ClickPipe
clickpipe_name	Le nom du ClickPipe
clickpipe_source	Le type de source (par ex. kafka, postgres, s3)
clickpipe_state	L’état du ClickPipe (par ex. Stopped, Provisioning, Running)

​

Exemple de réponse

Voici à quoi ressemblent les métriques ClickPipes dans une réponse de scraping Prometheus pour un Kafka ClickPipe. L’ensemble des métriques exposées varie selon le type de pipe — voir Available metrics pour connaître les métriques applicables à chaque type de pipe :

# HELP ClickPipes_Info Always equal to 1. Label "clickpipe_state" contains the current state of the pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Total number of records fetched from the source.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Total number of records sent to ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total uncompressed bytes fetched from the source.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total uncompressed bytes sent to ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total errors ingesting data.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Time in milliseconds between when the record was produced to when it was written to ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

​

Métriques disponibles

Toutes les métriques ne sont pas émises pour chaque type de pipe. En particulier, les ClickPipes CDC exposent un sous-ensemble de métriques différent de celui des ClickPipes de streaming et de stockage d’objets.

• Streaming, stockage d’objets — Kafka, Kinesis, Pub/Sub, S3 et GCS
• CDC — Postgres, MySQL, MongoDB et BigQuery
• Tous — tous les types de pipe

​

Transfert de données

Métrique	Type	Disponible pour	Description
ClickPipes_FetchedBytes_Total	Compteur	Streaming, stockage d’objets	Nombre total d’octets non compressés récupérés depuis la source.
ClickPipes_FetchedBytesCompressed_Total	Compteur	Tous	Nombre total d’octets récupérés depuis la source, tels que lus sur le réseau. Si les données source ne sont pas compressées, cette métrique équivaut à ClickPipes_FetchedBytes_Total. Pour les ClickPipes CDC, cela exclut les octets récupérés lors du chargement initial, qui sont comptabilisés séparément dans ClickPipes_FetchedBytesInitialLoad_Total.
ClickPipes_FetchedBytesInitialLoad_Total	Compteur	CDC	Nombre total d’octets récupérés pendant la phase de chargement initial, y compris les resynchronisations.
ClickPipes_SentBytes_Total	Compteur	Streaming, stockage d’objets	Nombre total d’octets non compressés envoyés à ClickHouse.
ClickPipes_SentBytesCompressed_Total	Compteur	Streaming, stockage d’objets	Nombre total d’octets compressés envoyés à ClickHouse.

​

Événements et enregistrements

Métrique	Type	Disponible pour	Description
ClickPipes_FetchedEvents_Total	Compteur	Streaming, stockage d’objets	Nombre total d’enregistrements récupérés depuis la source.
ClickPipes_SentEvents_Total	Compteur	Streaming, stockage d’objets	Nombre total d’enregistrements envoyés à ClickHouse.
ClickPipes_FetchedEvents_PerTable	Gauge	CDC	Nombre d’enregistrements récupérés par table de destination et par type d’événement. Utilise des labels supplémentaires destination_table et event_type.

​

Erreurs

Métrique	Type	Disponible pour	Description
ClickPipes_Errors_Total	Compteur	Tous	Nombre total d’erreurs survenues lors de l’ingestion.

​

Latence

Métrique	Type	Disponible pour	Description
ClickPipes_Latency	Gauge (avg)	Tous	Temps écoulé, en millisecondes, entre le moment où un enregistrement est produit à la source et celui où il est écrit dans ClickHouse.
ClickPipes_SourceReplicationLatency_MiB	Gauge (avg)	CDC (Postgres uniquement)	Retard du slot de réplication à la source, en Mio. Émis uniquement par les ClickPipes Postgres.
ClickPipes_CDC_SourceLatency	Gauge (avg)	CDC	Délai, en millisecondes, entre l’horodatage d’un événement à la source et son traitement par ClickPipes.
ClickPipes_CDC_DestinationLatency	Gauge (avg)	CDC	Délai, en millisecondes, entre la réception d’un événement dans un ClickPipe et son écriture dans une table ClickHouse.

​

Utilisation des ressources

Les métriques ClickPipes_Replica_* indiquent l’utilisation des ressources pour les ClickPipes de streaming et de stockage d’objets. Chaque ClickPipe dispose de ressources de calcul dédiées ; ces valeurs reflètent donc l’utilisation de chaque ClickPipe individuellement.

Metric	Type	Available for	Description
ClickPipes_Replica_CPUUsage	Gauge (avg)	Streaming, stockage d’objets	Utilisation moyenne du CPU des répliques d’ingestion, en millicœurs.
ClickPipes_Replica_CPULimit	Gauge (last)	Streaming, stockage d’objets	Limite CPU configurée pour les répliques d’ingestion, en millicœurs.
ClickPipes_Replica_MemoryUsage	Gauge (avg)	Streaming, stockage d’objets	Utilisation moyenne de la mémoire des répliques d’ingestion, en octets.
ClickPipes_Replica_MemoryLimit	Gauge (last)	Streaming, stockage d’objets	Limite mémoire configurée pour les répliques d’ingestion, en octets.

Les métriques ClickPipes_CDC_* indiquent l’utilisation des ressources pour les ClickPipes CDC. Tous les ClickPipes CDC d’un même service partagent les ressources de calcul ; ces valeurs reflètent donc l’utilisation combinée de tous les ClickPipes CDC du service.

Metric	Type	Available for	Description
ClickPipes_CDC_CPUUsage	Gauge (avg)	CDC	Utilisation moyenne du CPU, en millicœurs. Partagée entre tous les ClickPipes CDC du service.
ClickPipes_CDC_CPULimit	Gauge (last)	CDC	Limite CPU configurée, en millicœurs. Partagée entre tous les ClickPipes CDC du service.
ClickPipes_CDC_MemoryUsage	Gauge (avg)	CDC	Utilisation moyenne de la mémoire, en octets. Partagée entre tous les ClickPipes CDC du service.
ClickPipes_CDC_MemoryLimit	Gauge (last)	CDC	Limite mémoire configurée, en octets. Partagée entre tous les ClickPipes CDC du service.
ClickPipes_CDC_NetworkReceiveBytes	Gauge	CDC	Débit réseau entrant, en octets (delta par intervalle de scrutation). Partagé entre tous les ClickPipes CDC du service.

​

État et progression

Métrique	Type	Disponible pour	Description
ClickPipes_Info	Gauge	Tous	Toujours égal à 1. Utilisez le label clickpipe_state pour filtrer ou déclencher une alerte selon l’état du pipe.
ClickPipes_LastFetchedBatchId	Gauge	CDC	ID du dernier batch récupéré depuis la source.
ClickPipes_LastSentBatchId	Gauge	CDC	ID du dernier batch envoyé à ClickHouse.

​

Pages connexes

• Endpoint Prometheus — Référence de l’endpoint, authentification et configuration pour les outils externes (p. ex., Grafana, Datadog)
• Signalement des erreurs — Emplacement de stockage des erreurs liées aux enregistrements et des erreurs système