iceberg_compaction_commit_batch_size
Nombre de fichiers de données fusionnés que la compaction Iceberg en arrière-plan accumule avant de les publier dans un nouvel instantané. Les résultats de la compaction sont publiés dès qu’il ne reste plus aucun candidat à compacter. Ce paramètre limite donc uniquement la durée pendant laquelle les fichiers déjà fusionnés restent non publiés alors que la compaction continue de trouver de nouvelles tâches.0 rétablit l’ancien comportement, qui consiste à ne publier que lorsque la compaction n’a plus de candidats — un état qui n’est jamais atteint tant que la table continue de recevoir de nouveaux fichiers de données. Chaque résultat fusionné est alors écrit dans le stockage d’objets sans jamais être référencé par un instantané.
iceberg_compaction_data_cleanup
Le délai après lequel les données seront supprimées.iceberg_compaction_delay_bias
Délai minimal entre deux opérations de compaction en arrière-plan.iceberg_compaction_max_bytes_in_data_file
Nombre maximal d’octets d’un iceberg parquet fichier de données produit par la compaction. La valeur par défaut reprend la valeur par défaut documentée de l’Iceberg table propertywrite.target-file-size-bytes (512 Mio),
voir https://iceberg.apache.org/docs/1.5.2/configuration/. Maintenez-la au-dessus de
iceberg_data_file_size_lower_threshold_compaction, faute de quoi chaque fichier de sortie restera sous le seuil inférieur
et sera de nouveau sélectionné pour la compaction.
iceberg_compaction_max_rows_in_data_file
Nombre maximal de lignes d’un fichier de données Parquet Iceberg produit par compaction. La valeur par défaut est la valeur maximale, de sorte que la limite de tailleiceberg_compaction_max_bytes_in_data_file détermine à elle seule la quantité de données placée dans un fichier de sortie, de la même manière
qu’Iceberg ne propose pas d’équivalent en nombre de lignes de write.target-file-size-bytes.