iceberg_compaction_commit_batch_size
백그라운드 Iceberg compaction이 새 스냅샷에 게시하기 전에 누적하는 머지된 데이터 파일 수입니다. 더 이상 compaction할 후보가 없으면 compaction 결과는 항상 게시됩니다. 따라서 이 설정은 compaction이 계속 새 작업을 찾는 동안 이미 머지된 파일이 게시되지 않은 채 유지되는 기간만 제한합니다.0은 compaction할 후보가 모두 소진될 때만 게시하던 이전 동작을 복원합니다. 테이블에 새 데이터 파일이 계속 수신되는 동안에는 이 상태에 도달하지 않으므로, 모든 머지 결과는 객체 스토리지에 기록되지만 스냅샷에서 참조되지 않습니다.
iceberg_compaction_data_cleanup
데이터가 삭제되기까지의 시간입니다.iceberg_compaction_delay_bias
2회의 백그라운드 compaction 작업 사이에 필요한 최소 지연 시간입니다.iceberg_compaction_max_bytes_in_data_file
compaction으로 생성되는 Iceberg Parquet 데이터 파일의 최대 바이트 수입니다. 기본값은 Iceberg table propertywrite.target-file-size-bytes의 문서화된 기본값(512 MiB)을 따릅니다.
https://iceberg.apache.org/docs/1.5.2/configuration/ 을 참조하십시오. 이 값은
iceberg_data_file_size_lower_threshold_compaction보다 크게 유지하십시오. 그렇지 않으면 모든 출력 파일이 하위 임계값 아래에 머물러
다시 compaction 대상으로 선택됩니다.
iceberg_compaction_max_rows_in_data_file
compaction으로 생성되는 Iceberg Parquet 데이터 파일의 최대 행 수입니다. 기본값은 최댓값이므로, 크기 제한인iceberg_compaction_max_bytes_in_data_file만으로 출력 파일에 들어갈 데이터 양이 결정됩니다. 이는
Iceberg에 write.target-file-size-bytes에 대응하는 행 수 기반 설정이 없는 것과 같은 방식입니다.