iceberg_delete_data_on_drop
Удалять ли все файлы Iceberg при drop.iceberg_file_entries_queue_size
Ёмкость очереди между задачами декодирования манифеста данных Iceberg и запросом, измеряемая в записях файлов данных. Задачи декодирования приостанавливаются, когда очередь заполнена, а запрос не читает из неё данные, поэтому эта настройка также ограничивает опережающее чтение. Значение должно быть больше нуля.iceberg_manifest_decode_concurrency
Псевдонимы:iceberg_delete_manifest_decode_concurrency
Максимальное количество Iceberg файлов манифеста, декодируемых одновременно при чтении таблицы.
Все delete-манифесты декодируются до того, как будет прочитан хотя бы один файл данных; манифесты данных декодируются по ходу формирования списка файлов данных для запроса, причём новые декодируются только по мере того, как запрос обрабатывает уже декодированные entries. Одновременное декодирование нескольких манифестов позволяет совмещать round-trip к объектному хранилищу с работой по pruning для каждой entry.
Более высокие значения увеличивают пиковое потребление памяти, если кеш Iceberg metadata files отключён или заполнен, поскольку каждый находящийся in-flight манифест хранит собственное декодированное содержимое.
Значение должно быть больше нуля; при 1 манифесты декодируются по одному.
iceberg_manifest_min_count_to_compact
Минимальное количество файлов манифеста, необходимое для запуска компактации только файлов манифеста через OPTIMIZE TABLE … MANIFEST. Если текущее количество файлов манифеста меньше или равно этому порогу, компактация пропускается. Необходимо, чтобы был включен allow_experimental_iceberg_compaction. Значение по умолчанию соответствует документированному значению по умолчанию свойства таблицы Icebergcommit.manifest.min-count-to-merge (100),
см. https://iceberg.apache.org/docs/1.5.2/configuration/.
iceberg_max_number_datafiles_to_compact
Пороговое значение для файлов данных, участвующих в компактации, в Iceberg.iceberg_orphan_files_older_than_seconds
Пороговое значение возраста по умолчанию в секундах для удаления файлов-сирот в таблицах Iceberg. Файлы новее этого значения не считаются сиротами. Используется, если в вызове процедуры remove_orphan_files() опущен аргумент older_than. Значение по умолчанию — 259200 (3 дня).iceberg_snapshot_id
Выполняет запрос к таблице Iceberg по указанному идентификатору снимка.iceberg_timestamp_ms
Выполняет запрос к таблице Iceberg, используя снимок, актуальный для указанной временной метки.iceberg_tolerate_conflicting_manifest_schemas
Если настройка включена и ключschema в заголовке файла манифеста Iceberg содержит схему, отличающуюся от схемы, уже зарегистрированной для того же schema-id из metadata.json, используется схема из metadata.json, а копия из заголовка manifest игнорируется с выводом предупреждения. Если настройка отключена, такой конфликт завершает запрос с ошибкой ICEBERG_SPECIFICATION_VIOLATION.
Схема в заголовке manifest — это лишь копия схемы таблицы на момент записи manifest, и известны случаи, когда некоторые пишущие стороны (например, обслуживающие задачи AWS S3 Tables) сохраняли там неполноценные копии. Другие движки запросов берут схемы из metadata.json и игнорируют расходящиеся копии из заголовков, поэтому поведение по умолчанию соответствует их логике. Конфликт между двумя определениями схем в самом metadata.json по-прежнему всегда приводит к ошибке запроса.