DeltaLake 테이블 엔진

이 엔진은 Amazon S3, GCS, Azure Blob Storage의 기존 Delta Lake 테이블과 통합할 수 있도록 지원하며, 읽기와 쓰기를 모두 지원합니다.

이 엔진은 S3, GCP, Azure 스토리지의 기존 Delta Lake 테이블과 통합할 수 있도록 지원하며, 읽기와 쓰기를 모두 지원합니다(쓰기는 S3와 GCS는 v25.10부터, Azure는 v26.9부터).

​

DeltaLake 테이블 생성하기

기본적으로 Delta Lake 테이블은 이미 S3, GCP 또는 Azure 스토리지에 존재해야 하며, 아래 명령은 DDL 컬럼 정의 없이 해당 테이블에 연결합니다. allow_delta_lake_create_table = 1을 사용하면 _delta_log가 없는 위치에서 명시적으로 컬럼을 지정한 CREATE TABLE 문이 delta-kernel-rs를 통해 초기 커밋을 기록하여 새 Delta Lake 테이블을 생성합니다(파티션 테이블 생성은 아직 지원되지 않음). Unity DataLakeCatalog 데이터베이스 내에서는 테이블이 카탈로그에도 등록됩니다.

S3

구문

CREATE TABLE table_name
ENGINE = DeltaLake(url, [aws_access_key_id, aws_secret_access_key,] [extra_credentials])

엔진 매개변수

• url — 기존 Delta Lake 테이블 경로를 포함한 버킷 URL입니다.
• aws_access_key_id, aws_secret_access_key - AWS 계정 사용자의 장기 자격 증명입니다. 요청 인증에 사용할 수 있습니다. 이 매개변수는 선택 사항입니다. 자격 증명을 지정하지 않으면 설정 파일의 값이 사용됩니다.
• extra_credentials - 선택 사항입니다. ClickHouse Cloud에서 역할 기반 접근을 위한 role_arn을 전달하는 데 사용됩니다. 구성 단계는 Secure S3를 참조하십시오.

엔진 매개변수는 명명된 컬렉션을 사용해 지정할 수도 있습니다.

예시

CREATE TABLE deltalake
ENGINE = DeltaLake('http://mars-doc-test.s3.amazonaws.com/clickhouse-bucket-3/test_table/', 'ABC123', 'Abc+123')

명명된 컬렉션 사용:

<clickhouse>
    <named_collections>
        <deltalake_conf>
            <url>http://mars-doc-test.s3.amazonaws.com/clickhouse-bucket-3/</url>
            <access_key_id>ABC123</access_key_id>
            <secret_access_key>Abc+123</secret_access_key>
        </deltalake_conf>
    </named_collections>
</clickhouse>

CREATE TABLE deltalake
ENGINE = DeltaLake(deltalake_conf, filename = 'test_table')

GCP

구문

-- HTTPS URL 사용(권장)
CREATE TABLE table_name
ENGINE = DeltaLake('https://storage.googleapis.com/<bucket>/<path>/', '<access_key_id>', '<secret_access_key>')

gs://clickhouse-docs-example-bucket와 같은 gsutil URI는 지원되지 않으므로 https://storage.googleapis.com으로 시작하는 URL을 사용하십시오.

인수

• url — Delta Lake 테이블을 가리키는 GCS 버킷 URL입니다. https://storage.googleapis.com/<bucket>/<path>/ 형식(GCS XML API 엔드포인트) 또는 자동으로 변환되는 gs://<bucket>/<path>/ 형식을 사용해야 합니다.
• access_key_id — GCS Access Key입니다. Google Cloud Console → Cloud Storage → Settings → Interoperability에서 생성하십시오.
• secret_access_key — GCS 시크릿입니다.

명명된 컬렉션

명명된 컬렉션도 사용할 수 있습니다. 예시는 다음과 같습니다:

CREATE NAMED COLLECTION gcs_creds AS
access_key_id = '<access_key>',
secret_access_key = '<secret>';

CREATE TABLE gcpDeltaLake
ENGINE = DeltaLake(gcs_creds, url = 'https://storage.googleapis.com/<bucket>/<path>')

Azure

구문

CREATE TABLE table_name
ENGINE = DeltaLake(connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression])

인수

• connection_string — Azure 연결 문자열
• storage_account_url — Azure 스토리지 계정 URL(예: https://account.blob.core.windows.net)
• container_name — Azure 컨테이너 이름
• blobpath — 컨테이너 내 Delta Lake 테이블 경로
• account_name — Azure 스토리지 계정 이름
• account_key — Azure 스토리지 계정 키

​

DeltaLake 테이블에 데이터 쓰기

DeltaLake 테이블 엔진을 사용해 테이블을 생성한 후에는 다음과 같이 데이터를 삽입할 수 있습니다.

SET allow_delta_lake_writes = 1;

INSERT INTO deltalake(id, firstname, lastname, gender, age)
VALUES (1, 'John', 'Smith', 'M', 32);

Delta Lake 쓰기는 기본적으로 비활성화되어 있는 베타 기능이며 SET allow_delta_lake_writes = 1;로 활성화해야 합니다(26.7 버전부터 사용 가능하며, 그 이전 버전에서는 SET allow_experimental_delta_lake_writes = 1;을 사용하십시오).

테이블 엔진을 사용한 쓰기는 delta kernel을 통해서만 지원됩니다. 쓰기는 S3 및 GCS에서 동작하며, Azure는 26.9 버전부터 동작합니다. Azure workload identity 인증(extra_credentials(client_id = ..., tenant_id = ...))은 delta kernel에서 지원되지 않습니다.

​

데이터 캐시

DeltaLake 테이블 엔진과 테이블 함수는 S3, AzureBlobStorage, HDFS 스토리지와 마찬가지로 데이터 캐시를 지원합니다. 자세한 내용은 “S3 테이블 엔진”을 참조하십시오.

​

관련 항목

• DeltaLake 테이블 함수