개요
이 튜토리얼은 ClickHouse 튜토리얼을 따르되, 모든 쿼리는 pg_clickhouse를 통해 실행합니다.pg_clickhouse를 구성하는 방법을 선택하십시오.
ClickHouse 시작하기
먼저 ClickHouse 데이터베이스가 아직 없다면 생성하십시오. 빠르게 시작하려면 Docker image를 사용하면 됩니다:테이블 생성하기
다음에서는 ClickHouse 튜토리얼의 예제를 바탕으로 The New York City taxi 데이터셋으로 간단한 데이터베이스를 만들어 보겠습니다:데이터 세트 추가
그런 다음 데이터를 불러옵니다:콘솔에서
ClickHouse Managed Postgres를 사용하는 경우 ClickHouse Cloud 콘솔에서pg_clickhouse를 구성하고 ClickHouse 서비스에 연결할 수
있습니다. Managed Postgres 서비스를 열고 설정을 선택한 다음
ClickHouse 통합 섹션을 찾습니다. pg_clickhouse 활성화를 클릭합니다.
설정 양식에서 외부 서버 이름을 입력합니다. 연결에 사용할 ClickHouse
서비스, 데이터베이스 및 사용자를 선택합니다. ClickHouse
비밀번호를 입력한 후 ClickHouse 테이블을 가져올 Postgres 데이터베이스와 대상 스키마를
선택합니다. 연결을 클릭하여 외부 서버를 생성하고 스키마를 가져옵니다.
설정이 완료되면 콘솔에 확인 메시지가 표시되고 서버 목록에 외부
서버가 나타납니다.
이제 Postgres SQL 콘솔을 열고 가져온 테이블을 쿼리할 수
있습니다:
taxi ClickHouse
데이터베이스를 선택하고 taxi 대상 스키마로 가져오세요.
PSQL에서
pg_clickhouse 설치
PGXN 또는 GitHub에서 pg_clickhouse를 빌드하여 설치합니다. 또는 [pg_clickhouse image]를 사용해 Docker 컨테이너를 실행할 수도 있으며, 이는 Docker Postgres image에 pg_clickhouse를 추가한 이미지입니다:pg_clickhouse 연결
이제 Postgres에 연결합니다:ClickHouse Cloud 콘솔에서 SQL을 실행하는 경우, 콘솔 관리자 사용자에게 외부 서버에 대한 액세스 권한을 부여하세요:
password 옵션도 지정할 수 있습니다.
이제 taxi 테이블(table)을 추가합니다. 원격 ClickHouse 데이터베이스의 모든 테이블을 Postgres 스키마로 가져오면 됩니다:
\det+를 사용해 확인하십시오:
\d를 사용하세요:
COUNT() 집계를 포함한 전체
쿼리를 푸시다운하므로, 쿼리는 ClickHouse에서 실행되고 결과로 단일
행만 Postgres에 반환됩니다. 이를 확인하려면 EXPLAIN을 사용하십시오:
데이터 분석
데이터를 분석하기 위해 몇 가지 쿼리를 실행해 보십시오. 아래 예시를 살펴보거나 직접 SQL 쿼리를 실행해 보십시오.-
평균 팁 금액을 계산해 보겠습니다:
-
승객 수에 따라 평균 비용을 계산합니다:
-
동네별 하루 픽업 건수를 계산합니다:
-
각 이동의 소요 시간을 분 단위로 계산한 다음, 소요 시간별로 결과를 그룹화합니다:
-
각 동네별 픽업 건수를 시간대별로 표시합니다:
-
표시용 time zone을 뉴욕으로 설정한 뒤 LaGuardia 또는 JFK
공항행 이동 기록을 조회합니다:
딕셔너리 생성
ClickHouse 서비스의 테이블에 연결된 딕셔너리를 생성합니다. 이 테이블과 딕셔너리는 New York City의 각 동네별로 한 행을 포함하는 CSV 파일을 기반으로 합니다. 이 동네들은 New York City의 5개 borough (Bronx, Brooklyn, Manhattan, Queens, Staten Island) 이름에 매핑되며, Newark Airport(EWR)도 포함됩니다. 다음은 사용 중인 CSV 파일의 일부를 테이블 형식으로 나타낸 것입니다. 파일의LocationID 컬럼은 trips 테이블의 pickup_nyct2010_gid 및
dropoff_nyct2010_gid 컬럼에 매핑됩니다:
-
계속해서 Postgres에서
clickhouse_raw_query함수를 사용해 ClickHouse 딕셔너리taxi_zone_dictionary를 생성하고, S3의 CSV 파일로부터 딕셔너리를 채우십시오:LIFETIME을 0으로 설정하면 불필요한 S3 버킷 트래픽을 방지하기 위해 자동 업데이트가 비활성화됩니다. 다른 경우에는 다르게 구성할 수도 있습니다. 자세한 내용은 LIFETIME을 사용한 딕셔너리 데이터 갱신을 참조하십시오.- 이제 이를 가져오십시오:
- 쿼리가 가능한지 확인합니다:
- 좋습니다. 이제
dictGet함수를 사용해 쿼리에서 자치구 이름을 가져오십시오. 이 쿼리는 LaGuardia 또는 JFK 공항에서 끝나는 자치구별 택시 운행 횟수의 합계를 계산합니다:
이 쿼리는 LaGuardia 또는 JFK 공항에서 끝나는 택시 운행 건수를 borough별로 합산합니다. 승차한 지역을 알 수 없는 운행도 상당히 많다는 점에 유의하십시오.
조인 수행
taxi_zone_dictionary를 trips 테이블과 조인하는 몇 가지 쿼리를 작성해 보겠습니다.
-
먼저 앞의 공항 쿼리와 비슷하게 동작하는 간단한
JOIN부터 시작합니다.위JOIN쿼리의 출력은 앞서 본dictGet쿼리와 동일합니다(Unknown값이 포함되지 않는다는 점만 제외). 내부적으로는 ClickHouse가 실제로taxi_zone_dictionary딕셔너리에 대해dictGet함수를 호출하지만,JOIN구문이 SQL 개발자에게는 더 익숙합니다. -
이 쿼리는 팁 금액이 가장 높은 1000건의 운행에 해당하는 행을 반환한 다음,
각 행을 딕셔너리와 내부 조인합니다:
일반적으로 PostgreSQL과 ClickHouse에서는
SELECT * 사용을 피합니다. 실제로
필요한 컬럼만 조회해야 합니다.