ClickPipes を使用すると、ソース Postgres データベースから ClickHouse Cloud にデータを取り込むことができます。ソース Postgres データベースは、ClickHouse Managed Postgres にすることも、オンプレミスでホストすることも、Amazon RDS、Google Cloud SQL、Azure Database for Postgres、Supabase などのクラウド上でホストすることもできます。Postgres ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラムから操作することもできます。
前提条件
開始するには、まず Postgres データベースが正しく設定されていることを確認する必要があります。使用するソース Postgres インスタンスに応じて、以下のいずれかのガイドに従ってください。- ClickHouse Managed Postgres: logical replication が有効化されており、ClickPipes からのアクセスも標準で許可されています。
- Amazon RDS Postgres
- Amazon Aurora Postgres
- Supabase Postgres
- Google Cloud SQL Postgres
- Azure Flexible Server for Postgres
- Neon Postgres
- Crunchy Bridge Postgres
- Generic Postgres Source: 他の Postgres プロバイダーを使用している場合、またはセルフホストのインスタンスを使用している場合。
- TimescaleDB: マネージドサービスまたはセルフホストのインスタンスで TimescaleDB 拡張機能を使用している場合。
ClickPipe の作成
ClickHouse Cloud アカウントにログインしていることを確認してください。まだアカウントをお持ちでない場合は、こちらからサインアップできます。- ClickHouse Cloud コンソールで、ClickHouse Cloud サービスに移動します。
- 左側のメニューで
Data Sourcesボタンを選択し、“Set up a ClickPipe”をクリックします
-
Postgres CDCタイルを選択します
ソース Postgres データベース接続の追加
- 前提条件のステップで設定したソース Postgres データベースの接続情報を入力します。
(任意) AWS プライベートリンクのセットアップ
ソース Postgres データベースが AWS 上でホストされている場合は、AWS Private Link を使用して接続できます。これは、データ転送をプライベートに保ちたい場合に便利です。 接続を設定するためのセットアップガイドに従ってください。(任意) TLS 設定の変更
デフォルトでは、ClickPipe は TLS と証明書検証を有効にした状態で作成されます。これらのデフォルト設定は、ClickPipe の作成時に変更できます。Disable TLSは、その接続で TLS を有効または無効にするトグルです。TLS を無効にすると、データはネットワーク上を平文で送信されるため、シークレットや機密データが含まれる可能性があります。Skip certificate verificationは、ソースデータベースから提示される証明書の検証を有効または無効にするトグルです。証明書検証をスキップすることによるセキュリティ上の影響を考慮してください。TLS Host(省略可。デフォルトはソースの Host) は、証明書検証が有効な場合に、証明書の CN と一致している必要があるホスト名です。Upload CAは、証明書検証が有効な場合に使用する CA を指定するために利用できます。
(任意) SSH トンネリングの設定
ソース Postgres データベースがパブリックにアクセスできない場合は、SSH トンネリングの詳細を指定できます。- “Use SSH Tunnelling” トグルを有効にします。
- SSH の接続情報を入力します。
-
鍵ベースの認証を使用するには、「Revoke and generate key pair」をクリックして新しい鍵ペアを生成し、生成された公開鍵を SSH サーバーの
~/.ssh/authorized_keysにコピーします。 - 「Verify Connection」をクリックして接続を検証します。
ClickPipes が SSH トンネルを確立できるように、SSH 踏み台サーバーのファイアウォールルールで ClickPipes IP アドレス を許可リストに追加してください。
レプリケーション設定の構成
- 前提条件のステップで作成した replication slot を、ドロップダウンリストから必ず選択してください。
詳細設定
必要に応じて詳細設定を構成できます。各設定の簡単な説明は以下のとおりです。- 同期間隔: ClickPipes がソースデータベースに変更をポーリングする間隔です。これは宛先の ClickHouse service に影響するため、コストを重視するユーザーには大きめの値 (
3600以上) に設定することを推奨します。 - 初期ロードの並列スレッド数: 初期スナップショットの取得に使用される並列ワーカーの数です。テーブル数が多く、初期スナップショットの取得に使用する並列ワーカー数を制御したい場合に役立ちます。この設定はテーブル単位です。
- Pull バッチサイズ: 1 回のバッチで取得する行数です。これはベストエフォートの設定であり、すべてのケースで反映されるとは限りません。
- パーティションあたりのスナップショット行数: 初期スナップショット中に各パーティションで取得される行数です。テーブルの行数が多く、各パーティションで取得する行数を制御したい場合に役立ちます。
- 並列に処理するスナップショットのテーブル数: 初期スナップショット中に並列に取得されるテーブル数です。テーブル数が多く、並列に取得するテーブル数を制御したい場合に役立ちます。
テーブルの設定
- ここでは、ClickPipe の宛先データベースを選択できます。既存のデータベースを選択するか、新しいデータベースを作成できます。
- ソース Postgres データベースからレプリケートするテーブルを選択できます。テーブルの選択時に、宛先の ClickHouse データベースでテーブルをリネームしたり、特定のカラムを除外したりすることもできます。
- さらに、宛先のClickHouse テーブルのパーティション化を制御するために、カスタムの
PARTITION BY <expr>式を指定できます。
権限を確認して ClickPipe を開始する
- 権限のドロップダウンから「Full access」ロールを選択し、「Complete Setup」をクリックします。