iceberg_compaction_commit_batch_size
Количество слитых файлов данных, которое фоновая компактация Iceberg накапливает перед публикацией в новом снимке. Результаты компактации в любом случае публикуются, когда кандидатов для компактации больше не остаётся, поэтому эта настройка ограничивает лишь то, как долго уже слитые файлы остаются неопубликованными, пока компактация продолжает находить новую работу.0 восстанавливает прежнее поведение:
публикацию только после того, как у компактации закончатся кандидаты. Это состояние никогда не достигается, пока таблица продолжает
получать новые файлы данных, поэтому каждый слитый результат записывается в объектное хранилище, но никогда не включается в снимок.
iceberg_compaction_data_cleanup
Промежуток времени, по истечении которого данные будут удалены.iceberg_compaction_delay_bias
Минимальная задержка между двумя фоновыми операциями компактации.iceberg_compaction_max_bytes_in_data_file
Максимальный размер в байтах файла данных Parquet Iceberg, создаваемого при компактации. Значение по умолчанию соответствует документированному значению по умолчанию свойства таблицы Icebergwrite.target-file-size-bytes (512 MiB),
см. https://iceberg.apache.org/docs/1.5.2/configuration/. Задавайте его выше, чем
iceberg_data_file_size_lower_threshold_compaction, иначе каждый выходной файл будет оказываться ниже нижнего порога
и снова попадать в компактацию.
iceberg_compaction_max_rows_in_data_file
Максимальное число строк в файле данных Parquet Iceberg, создаваемом при компактации. По умолчанию задано максимальное значение, поэтому только ограничение по размеруiceberg_compaction_max_bytes_in_data_file определяет, сколько данных попадает в выходной файл, — так же, как
в Iceberg нет аналога write.target-file-size-bytes для числа строк.