iceberg_delete_data_on_drop
drop할 때 모든 Iceberg 파일을 삭제할지 여부입니다.iceberg_file_entries_queue_size
Iceberg 데이터 매니페스트 디코드 작업과 쿼리 사이 큐의 용량이며, 단위는 데이터 파일 항목 수입니다. 큐가 가득 찬 상태에서 쿼리가 데이터를 소비하지 않으면 디코드 작업이 일시 중지되므로, 이 값은 미리 읽기(read-ahead) 양의 상한 역할도 합니다. 0보다 커야 합니다.iceberg_manifest_decode_concurrency
Aliases:iceberg_delete_manifest_decode_concurrency
테이블을 읽는 동안 동시에 디코딩되는 Iceberg manifest 파일의 최대 개수입니다.
delete manifest는 데이터 파일을 읽기 전에 모두 디코딩됩니다. 데이터 매니페스트는 쿼리 대상 데이터 파일 목록이 생성되는 동안 디코딩되며, 쿼리가 이미 디코딩된 entry를 소비하는 만큼만 새로운 manifest가 디코딩됩니다. 여러 manifest를 동시에 디코딩하면 객체 스토리지 round-trip과 entry 단위 프루닝 작업이 서로 겹쳐 처리됩니다.
Iceberg metadata 파일 캐시가 비활성화되어 있거나 가득 찬 경우, 값을 높이면 최대 메모리 사용량이 증가합니다. in-flight 상태인 각 manifest가 저마다 디코딩된 내용을 보유하기 때문입니다.
0보다 커야 하며, 1로 설정하면 manifest를 한 번에 하나씩 디코딩합니다.
iceberg_manifest_min_count_to_compact
OPTIMIZE TABLE … MANIFEST를 통해 매니페스트만 compaction하는 작업을 트리거하는 데 필요한 매니페스트 파일의 최소 개수입니다. 현재 매니페스트 파일 수가 이 임계값보다 작거나 같으면 compaction을 건너뜁니다. allow_experimental_iceberg_compaction이 활성화되어 있어야 합니다. 기본값은 Iceberg 테이블 속성commit.manifest.min-count-to-merge의 문서화된 기본값(100)을 따릅니다.
https://iceberg.apache.org/docs/1.5.2/configuration/ 를 참조하십시오.
iceberg_max_number_datafiles_to_compact
Iceberg의 compaction 데이터 파일 수에 대한 임계값입니다.iceberg_orphan_files_older_than_seconds
Iceberg 테이블에서 고아 파일 제거에 사용하는 기본 경과 시간 임계값(초)입니다. 이 값보다 최근 파일은 고아 파일로 간주되지 않습니다. remove_orphan_files() 프로시저 호출에서 older_than 인수를 생략한 경우 사용됩니다. 기본값은 259200(3일)입니다.iceberg_snapshot_id
특정 스냅샷 ID를 사용해 Iceberg 테이블을 쿼리합니다.iceberg_timestamp_ms
특정 타임스탬프 시점에 유효한 스냅샷을 사용해 Iceberg 테이블을 쿼리합니다.iceberg_tolerate_conflicting_manifest_schemas
활성화하면 Iceberg 매니페스트 파일 헤더의schema 키에 metadata.json에서 동일한 schema-id로 이미 등록된 스키마와 다른 스키마가 있을 경우 metadata.json의 스키마를 사용하고, 매니페스트 헤더의 사본은 경고와 함께 무시합니다. 비활성화하면 이러한 충돌로 인해 ICEBERG_SPECIFICATION_VIOLATION 오류와 함께 쿼리가 실패합니다.
매니페스트 헤더 스키마는 매니페스트가 기록된 시점의 테이블 스키마 사본일 뿐이며, 일부 작성기(예: AWS S3 Tables 유지 관리 작업)가 저하된 사본을 여기에 저장하는 사례가 관찰되었습니다. 다른 쿼리 엔진은 metadata.json에서 스키마를 확인하고 서로 다른 헤더 사본은 무시하므로 기본값도 이를 따릅니다. metadata.json 스키마 정의 두 개 간의 충돌은 여전히 항상 쿼리를 실패시킵니다.