s3_base
URL de base utilisée pour résoudre les URL relatives dans la fonction de table s3 et le moteur de table S3, ainsi que dans les fonctions de table partageant leur configuration (s3Cluster, gcs, oss).
Lorsqu’elle est définie, une URL sans schéma est résolue par rapport à s3_base conformément à la RFC 3986, selon les mêmes règles que url_base. Les URL contenant déjà un schéma sont utilisées telles quelles.
Par exemple, si s3_base est défini sur s3://clickhouse-public-datasets/, alors s3('hits_compatible/hits.csv') lit s3://clickhouse-public-datasets/hits_compatible/hits.csv.
L’URL de base peut prendre toute forme acceptée par la fonction de table s3, par exemple s3://bucket/, https://bucket.s3.amazonaws.com/ ou https://endpoint/bucket/.
s3_check_objects_after_upload
Vérifiez chaque objet téléversé vers S3 à l’aide d’une requête head pour vous assurer que le téléversement a bien réussis3_connect_timeout_ms
Délai d’expiration de connexion à l’hôte pour les disques S3.s3_create_new_file_on_insert
Active ou désactive la création d’un nouveau fichier à chaque insertion dans les tables du moteur S3. Si cette option est activée, un nouvel objet S3 est créé à chaque insertion avec cette clé, selon un schéma comme celui-ci : initial :data.Parquet.gz -> data.1.Parquet.gz -> data.2.Parquet.gz, etc.
Valeurs possibles :
- 0 — la requête
INSERTcrée un nouveau fichier, ou échoue si le fichier existe et que s3_truncate_on_insert n’est pas défini. - 1 — la requête
INSERTcrée un nouveau fichier à chaque insertion en utilisant un suffixe (à partir du deuxième) si s3_truncate_on_insert n’est pas défini.
s3_ignore_file_doesnt_exist
Ignorer l’absence d’un fichier lors de la lecture de certaines clés. Valeurs possibles :- 1 —
SELECTrenvoie un résultat vide. - 0 —
SELECTlève une exception.
s3_list_object_keys_size
Nombre maximal de fichiers pouvant être renvoyés en lot par la requête ListObjects3_min_upload_part_size
La taille minimale de la partie à téléverser lors d’un téléversement multipartite vers S3.s3_path_filter_limit
Nombre maximal de valeurs_path pouvant être extraites des filtres de requête pour parcourir les fichiers
au lieu d’utiliser un listage par glob. 0 signifie désactivé.
s3_request_timeout_ms
Délai d’expiration d’inactivité pour l’envoi et la réception de données vers/depuis S3. L’opération échoue si un seul appel TCP de lecture ou d’écriture reste bloqué aussi longtemps.s3_skip_empty_files
Active ou désactive l’ignorance des fichiers vides dans les tables utilisant le moteur S3. Valeurs possibles :- 0 —
SELECTlève une exception si le fichier vide n’est pas compatible avec le format demandé. - 1 —
SELECTrenvoie un résultat vide pour un fichier vide.
s3_slow_all_threads_after_network_error
Lorsque cette option est définie surtrue, tous les threads exécutant des requêtes S3 vers le même endpoint de sauvegarde sont ralentis
dès qu’une seule requête S3 rencontre une erreur réseau pouvant donner lieu à un réessai, comme un timeout de socket.
Lorsque cette option est définie sur false, chaque thread gère le backoff des requêtes S3 indépendamment des autres.
s3_strict_upload_part_size
La taille exacte de la partie à téléverser lors d’un téléversement multipartite vers S3 (certaines implémentations ne prennent pas en charge les parties de taille variable).s3_throw_on_zero_files_match
Déclenche une erreur lorsque la requête ListObjects ne correspond à aucun fichiers3_truncate_on_insert
Active ou désactive la troncature avant les insertions dans les tables utilisant le moteur S3. Si cette option est désactivée, une exception sera levée lors d’une tentative d’insertion si un objet S3 existe déjà. Valeurs possibles :- 0 — la requête
INSERTcrée un nouveau fichier, ou échoue si le fichier existe et que s3_create_new_file_on_insert n’est pas défini. - 1 — la requête
INSERTremplace le contenu existant du fichier par les nouvelles données.
s3_uri_style
Force le style de l’endpoint S3. Valeurs possibles : auto, virtual_hosted, path.s3_use_adaptive_timeouts
Lorsque ce paramètre est défini surtrue, les deux premières tentatives de toutes les requêtes S3 utilisent des délais d’envoi et de réception courts.
Lorsque ce paramètre est défini sur false, toutes les tentatives utilisent des délais identiques.