mysql

원격 MySQL 서버에 저장된 데이터에 대해 SELECT 및 INSERT 쿼리를 실행할 수 있습니다.

원격 MySQL 서버에 저장된 데이터에 대해 SELECT 및 INSERT 쿼리를 실행할 수 있습니다.

​

구문

mysql({host:port, database, table, user, password[, replace_query, on_duplicate_clause] | named_collection[, option=value [,..]]})

​

인수

인수	설명
host:port	MySQL 서버 주소입니다.
database	원격 데이터베이스 이름입니다.
table	원격 테이블 이름 또는 MySQL에 그대로 전달되는 쿼리입니다(테이블 이름 대신 쿼리 전달 참조).
user	MySQL 사용자입니다.
password	사용자 비밀번호입니다.
replace_query	INSERT INTO 쿼리를 REPLACE INTO로 변환하는 플래그입니다. 가능한 값: - 0 - 쿼리가 INSERT INTO로 실행됩니다. - 1 - 쿼리가 REPLACE INTO로 실행됩니다.
on_duplicate_clause	INSERT 쿼리에 추가되는 ON DUPLICATE KEY on_duplicate_clause 표현식입니다. replace_query = 0일 때만 지정할 수 있습니다(replace_query = 1과 on_duplicate_clause를 동시에 전달하면 ClickHouse에서 예외가 발생합니다). 예시: INSERT INTO t (c1,c2) VALUES ('a', 2) ON DUPLICATE KEY UPDATE c2 = c2 + 1; 여기서 on_duplicate_clause는 UPDATE c2 = c2 + 1입니다. ON DUPLICATE KEY 절과 함께 사용할 수 있는 on_duplicate_clause는 MySQL 문서를 참조하십시오.

인수는 이름이 지정된 컬렉션을 사용해 전달할 수도 있습니다. 이 경우 host와 port는 별도로 지정해야 합니다. 프로덕션 환경에서는 이 방식을 권장합니다.

=, !=, >, >=, <, <=와 같은 단순한 WHERE 절은 현재 MySQL 서버에서 실행됩니다.

그 외 조건과 LIMIT 샘플링 제약은 MySQL 쿼리가 완료된 후에만 ClickHouse에서 실행됩니다.

​

TLS/SSL

MySQL 암호화 연결의 자격 증명은 명명된 컬렉션 키(또는 키-값 인수)로 전달됩니다.

매개변수	설명
ssl_ca_pem	MySQL 서버 인증서 검증에 사용되는 CA 인증서의 내용입니다.
ssl_cert_pem	인증서 기반 인증에 사용되는 클라이언트 인증서의 내용입니다.
ssl_key_pem	ssl_cert_pem에 해당하는 프라이빗 키의 내용입니다.

값은 해당 PEM 파일의 내용으로, 명명된 컬렉션이나 쿼리에 복사할 수 있습니다. 비밀번호와 마찬가지로 로그와 SHOW 쿼리에서는 마스킹됩니다.

동일한 자격 증명을 서버의 파일 경로로 ssl_ca, ssl_cert, ssl_key에 지정할 수도 있습니다. 단, 서버 구성 파일에 정의된 명명된 컬렉션에서만 가능하며, 이러한 값은 쿼리에서 재정의할 수 없습니다. 서버는 자체 권한으로 해당 파일을 열므로, SQL에서 경로를 허용하면 MySQL 소스를 정의할 수 있는 모든 사용자가 로컬 파일 시스템을 탐색하고, 본인에게 읽기 권한이 없는 인증서와 키를 사용해 인증할 수 있게 됩니다.

​

테이블 이름 대신 쿼리 전달하기

테이블 이름 대신, 세 번째 인수로 MySQL에 그대로 전달할 SELECT 쿼리를 지정할 수 있습니다. 결과 테이블의 구조는 쿼리 결과를 바탕으로 자동 추론됩니다. 쿼리는 서브쿼리로 작성하거나 query 함수로 감싸서 작성할 수 있습니다:

SELECT * FROM mysql('localhost:3306', 'test', (SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0), 'user', 'password');
SELECT * FROM mysql('localhost:3306', 'test', query('SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0'), 'user', 'password');

조인, 집계 또는 기타 처리를 MySQL로 푸시다운하는 데 유용합니다. 이러한 테이블은 읽기 전용이므로 INSERT는 허용되지 않습니다. 동일한 구문은 MySQL 테이블 엔진에서도 지원됩니다.

서브쿼리 형식 (SELECT ...)은 ClickHouse에서 파싱된 후 서버로 전송되기 전에 MySQL 방언(백틱 식별자 인용)으로 다시 직렬화됩니다. 따라서 유효한 ClickHouse SQL이어야 합니다. ClickHouse가 파싱하지 않는 MySQL 전용 구문을 전달하려면 query('...') 형식을 사용하십시오. 이 형식의 텍스트는 MySQL로 원문 그대로 전송됩니다.

전달된 쿼리 바깥의 ClickHouse 쿼리에 있는 WHERE, LIMIT, 집계 등은 푸시다운되지 않으며, 전체 쿼리 결과를 가져온 후 ClickHouse에서 적용됩니다. MySQL에서 읽는 데이터를 제한하려면 필터를 전달된 쿼리 내부에 넣으십시오. external_table_strict_query = 1을 사용하면 테이블 함수의 컬럼에 대한 바깥쪽 필터는 전달된 쿼리로 푸시할 수 없기 때문에 로컬에서 적용되는 대신 예외를 발생시키며 거부됩니다. 이 검사는 최상위 WHERE 프레디케이트와 최상위 AND의 각 논리곱 항을 대상으로 합니다. 이 테이블의 컬럼에 대한 PREWHERE는 이 설정의 대상이 아닙니다. 이 테이블 엔진은 PREWHERE를 지원하지 않으므로, 해당 쿼리는 설정과 무관하게 ILLEGAL_PREWHERE로 거부됩니다. 검사는 애초에 필터를 푸시다운할 수 있는 위치에서만 수행됩니다. 즉, 이 테이블이 쿼리의 유일한 테이블인 경우, INNER JOIN의 양쪽 중 어느 한쪽인 경우, 또는 외부 조인의 보존 측(LEFT JOIN의 왼쪽, RIGHT JOIN의 오른쪽)인 경우입니다. LEFT/RIGHT JOIN의 비보존 측과 FULL JOIN의 양쪽에서는 아무것도 푸시다운되지 않고 아무것도 검사되지 않으므로, 엄격 모드에서도 이 테이블의 컬럼에 대한 필터는 조인 이후 로컬에서 적용됩니다. 검사가 수행되는 위치에서, 바깥 쿼리에서 조인된 다른 테이블을 참조하는 프레디케이트는 푸시다운되지 않으며 검사 대상에서 제외됩니다. 이는 조인된 쪽만 참조하든, 하나의 비-AND 표현식(예: OR) 안에서 이 테이블과 혼합해 참조하든 동일합니다. 이러한 프레디케이트는 평소의 ClickHouse 평가 시점(조인 이후의 WHERE, 조인 이전의 PREWHERE)을 유지하며 거부되지 않습니다.

여러 레플리카를 지원하며, 각 레플리카는 |로 구분해 나열해야 합니다. 예시는 다음과 같습니다.

SELECT name FROM mysql(`mysql{1|2|3}:3306`, 'mysql_database', 'mysql_table', 'user', 'password');

또는

SELECT name FROM mysql(`mysql1:3306|mysql2:3306|mysql3:3306`, 'mysql_database', 'mysql_table', 'user', 'password');

​

반환 값

원본 MySQL 테이블과 동일한 컬럼으로 이루어진 테이블 객체입니다.

MySQL의 일부 데이터 타입은 서로 다른 ClickHouse 타입으로 매핑될 수 있으며, 이는 쿼리 수준 설정 mysql_datatypes_support_level로 제어됩니다.

INSERT 쿼리에서 테이블 함수 mysql(...)를 컬럼 이름 목록이 포함된 테이블 이름과 구분하려면 FUNCTION 또는 TABLE FUNCTION 키워드를 사용해야 합니다. 아래 예시를 참조하십시오.

​

예시

MySQL 테이블:

mysql> CREATE TABLE `test`.`test` (
    ->   `int_id` INT NOT NULL AUTO_INCREMENT,
    ->   `float` FLOAT NOT NULL,
    ->   PRIMARY KEY (`int_id`));

mysql> INSERT INTO test (`int_id`, `float`) VALUES (1,2);

mysql> SELECT * FROM test;
+--------+-------+
| int_id | float |
+--------+-------+
|      1 |     2 |
+--------+-------+

ClickHouse에서 데이터 조회:

SELECT * FROM mysql('localhost:3306', 'test', 'test', 'bayonet', '123');

또는 이름이 지정된 컬렉션:

CREATE NAMED COLLECTION creds AS
        host = 'localhost',
        port = 3306,
        database = 'test',
        user = 'bayonet',
        password = '123';
SELECT * FROM mysql(creds, table='test');

┌─int_id─┬─float─┐
│      1 │     2 │
└────────┴───────┘

​

enable_compression

MySQL 프로토콜 연결에 대한 압축을 활성화합니다.

기본값: false.

이 설정은 다음에 적용됩니다.

• mysql 테이블 함수;
• MySQL 테이블 엔진;
• MySQL 데이터베이스 엔진;
• MySQL 통합에 사용되는 이름이 지정된 컬렉션.

활성화되면 ClickHouse가 해당 연결에 대해 압축을 요청합니다.

예시:

SELECT *
FROM mysql(
    'mysql80:3306',
    'clickhouse',
    'test_table',
    'root',
    'password',
    SETTINGS enable_compression = 1
);

교체 및 삽입:

INSERT INTO FUNCTION mysql('localhost:3306', 'test', 'test', 'bayonet', '123', 1) (int_id, float) VALUES (1, 3);
INSERT INTO TABLE FUNCTION mysql('localhost:3306', 'test', 'test', 'bayonet', '123', 0, 'UPDATE int_id = int_id + 1') (int_id, float) VALUES (1, 4);
SELECT * FROM mysql('localhost:3306', 'test', 'test', 'bayonet', '123');

┌─int_id─┬─float─┐
│      1 │     3 │
│      2 │     4 │
└────────┴───────┘

MySQL 테이블의 데이터를 ClickHouse 테이블로 복사:

CREATE TABLE mysql_copy
(
   `id` UInt64,
   `datetime` DateTime('UTC'),
   `description` String,
)
ENGINE = MergeTree
ORDER BY (id,datetime);

INSERT INTO mysql_copy
SELECT * FROM mysql('host:port', 'database', 'table', 'user', 'password');

또는 현재 최대 id 값을 기준으로 MySQL에서 증분 배치만 복사하는 경우:

INSERT INTO mysql_copy
SELECT * FROM mysql('host:port', 'database', 'table', 'user', 'password')
WHERE id > (SELECT max(id) FROM mysql_copy);

​

관련

• 「MySQL」 테이블 엔진
• MySQL을 딕셔너리 소스로 사용
• mysql_datatypes_support_level
• mysql_map_fixed_string_to_text_in_show_columns
• mysql_map_string_to_text_in_show_columns
• mysql_max_rows_to_insert