paimonCluster

Une extension de la fonction de table paimon qui permet de traiter en parallèle les fichiers d’Apache Paimon sur plusieurs nœuds d’un cluster spécifié.

Il s’agit d’une extension de la fonction de table paimon.

Elle permet de traiter en parallèle les fichiers d’Apache Paimon sur plusieurs nœuds d’un cluster spécifié. Sur l’initiateur, elle établit une connexion avec tous les nœuds du cluster et répartit dynamiquement les fichiers. Sur le nœud worker, elle demande à l’initiateur la prochaine tâche à traiter, puis l’exécute. Ce processus se répète jusqu’à ce que toutes les tâches soient terminées.

​

Syntaxe

paimonS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])

paimonAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])

paimonHDFSCluster(cluster_name, path_to_table, [,format] [,compression_method])

​

Arguments

• cluster_name — Nom d’un cluster servant à constituer un ensemble d’adresses et de paramètres de connexion aux serveurs distants et locaux.
• La description de tous les autres arguments est identique à celle des arguments de la fonction de table paimon équivalente.
• Un paramètre optionnel extra_credentials peut être utilisé pour transmettre un role_arn pour l’accès basé sur les rôles dans ClickHouse Cloud. Consultez Secure S3 pour les étapes de configuration.

Valeur de retour

Une table de la structure spécifiée pour lire les données du cluster dans la table Paimon indiquée.

​

Colonnes virtuelles

• _path — Chemin du fichier. Type : LowCardinality(String).
• _file — Nom du fichier. Type : LowCardinality(String).
• _size — Taille du fichier en octets. Type : Nullable(UInt64). Si la taille du fichier est inconnue, la valeur est NULL.
• _time — Date et heure de la dernière modification du fichier. Type : Nullable(DateTime). Si cette date et heure sont inconnues, la valeur est NULL.
• _etag — ETag du fichier. Type : LowCardinality(String). Si l’ETag est inconnu, la valeur est NULL.

Voir aussi

• fonction de table Paimon