iceberg_delete_data_on_drop
Indique s’il faut ou non supprimer tous les fichiers Iceberg lors d’un drop.iceberg_file_entries_queue_size
Capacité de la file d’attente entre les tâches de décodage des manifests de données Iceberg et la requête, exprimée en entrées de fichiers de données. Les tâches de décodage se mettent en pause dès que la file d’attente est pleine et que la requête ne consomme plus, ce qui limite du même coup la lecture anticipée. Doit être supérieure à zéro.iceberg_manifest_decode_concurrency
Aliases :iceberg_delete_manifest_decode_concurrency
Nombre maximal de fichiers manifest Iceberg décodés simultanément lors de la lecture d’une table.
Les manifestes de suppression sont tous décodés avant la lecture du moindre fichier de données ; les manifestes de données, eux, sont décodés pendant la production de la liste des fichiers de données de la requête, et de nouveaux ne sont décodés qu’à mesure que la requête consomme les entrées déjà décodées. Décoder plusieurs manifestes à la fois permet de recouvrir les allers-retours vers l’object storage et le travail de pruning effectué pour chaque entrée.
Des valeurs plus élevées augmentent le pic de mémoire lorsque le cache des Iceberg metadata files est désactivé ou plein, car chaque manifeste in-flight conserve alors son propre contenu décodé.
Doit être supérieur à zéro ; 1 décode les manifestes un par un.
iceberg_manifest_min_count_to_compact
Nombre minimal de fichiers manifest requis pour déclencher une compaction des seuls fichiers manifest via OPTIMIZE TABLE … MANIFEST. Si le nombre actuel de fichiers manifest est inférieur ou égal à ce seuil, la compaction est ignorée. Nécessite que allow_experimental_iceberg_compaction soit activé. La valeur par défaut reprend la valeur par défaut documentée de la propriété de table Icebergcommit.manifest.min-count-to-merge (100),
voir https://iceberg.apache.org/docs/1.5.2/configuration/.
iceberg_max_number_datafiles_to_compact
Seuil des fichiers de données de compaction dans Iceberg.iceberg_orphan_files_older_than_seconds
Seuil d’ancienneté par défaut, en secondes, pour la suppression des fichiers orphelins dans les tables Iceberg. Les fichiers plus récents que ce seuil ne sont pas considérés comme orphelins. Utilisé lorsque l’argument older_than est omis de l’appel à la procédure remove_orphan_files(). La valeur par défaut est 259200 (3 jours).iceberg_snapshot_id
Interrogez une table Iceberg à l’aide de l’identifiant de snapshot spécifié.iceberg_timestamp_ms
Interroge une table Iceberg en utilisant le snapshot correspondant à un horodatage donné.iceberg_tolerate_conflicting_manifest_schemas
Si ce paramètre est activé et que la cléschema de l’en-tête d’un fichier manifest Iceberg contient un schéma différent de celui déjà enregistré pour le même schéma-id dans metadata.json, le schéma de metadata.json est utilisé et la copie présente dans l’en-tête du manifest est ignorée, avec émission d’un avertissement. S’il est désactivé, un tel conflit fait échouer la requête avec une error ICEBERG_SPECIFICATION_VIOLATION.
Le schéma de l’en-tête du manifest n’est qu’une copie du schéma de table au moment où le manifest a été written ; or, certains rédacteurs (par exemple les jobs de maintenance d’AWS S3 Tables) y stockent parfois des copies dégradées. Les autres moteurs de requêtes résolvent les schémas à partir de metadata.json et ignorent les copies divergentes des en-têtes : le comportement par défaut s’aligne donc sur le leur. En revanche, un conflit entre deux définitions de schéma issues de metadata.json fait toujours échouer la requête.