Amazon DocumentDB ソースの設定ガイド

ClickPipes のソースとして Amazon DocumentDB を設定するためのステップバイステップガイド

​

サポートされる DocumentDB のバージョン

ClickPipes は DocumentDB バージョン 5.0 をサポートしています。

​

変更ストリームのログ保持期間を設定する

デフォルトでは、Amazon DocumentDB の変更ストリームのログ保持期間は 3 時間ですが、DocumentDB 内の既存データ量によっては初期ロードにそれよりも大幅に長い時間がかかる場合があります。初期スナップショットが完了する前にログが切り捨てられないよう、変更ストリームのログ保持期間は 72 時間以上に設定することを推奨します。

​

AWS Console で変更ストリームのログ保持期間を更新する

1. 左側のパネルで Parameter groups をクリックし、DocumentDB クラスターで使用しているパラメータグループを見つけます (デフォルトのパラメータグループを使用している場合は、変更するために、まず新しいパラメータグループを作成する必要があります) 。

2. change_stream_log_retention_duration を検索し、選択して 259200 (72時間) に編集します。

3. Apply Changes をクリックして、変更したパラメータグループをすぐに DocumentDB クラスターへ適用します。パラメータグループのステータスは applying に変わり、変更が適用されると in-sync になります。

​

AWS CLI で変更ストリームのログ保持期間を更新する

また、AWS CLI を使って設定することもできます。

現在の変更ストリームのログ保持期間を確認するには、次を実行します。

aws docdb describe-db-cluster-parameters --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --query "Parameters[?ParameterName=='change_stream_log_retention_duration'].{Name:ParameterName,Value:ParameterValue}"

変更ストリームのログの保持期間を72時間に設定するには:

aws docdb modify-db-cluster-parameter-group --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --parameters "ParameterName=change_stream_log_retention_duration,ParameterValue=259200,ApplyMethod=immediate"

​

データベースユーザーを設定する

管理者ユーザーとして DocumentDB クラスターに接続し、次のコマンドを実行して MongoDB CDC (変更データキャプチャ) ClickPipes 用のデータベースユーザーを作成します。

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

clickpipes_user と some_secure_password は、使用するユーザー名とパスワードに必ず置き換えてください。

​

次のステップ

これで、ClickPipe を作成して、DocumentDB インスタンスから ClickHouse Cloud へのデータ取り込みを開始できます。 ClickPipe の作成時に必要になるため、DocumentDB クラスターの設定時に使用した接続情報は必ず控えておいてください。