Ingestão de dados do Postgres para ClickHouse (usando CDC)

Conecte seu Postgres ao ClickHouse Cloud sem complicações.

Você pode usar o ClickPipes para fazer a ingestão de dados do seu banco de dados Postgres de origem no ClickHouse Cloud. O banco de dados Postgres de origem pode ser o ClickHouse Managed Postgres ou estar hospedado on-premises ou na nuvem, incluindo Amazon RDS, Google Cloud SQL, Azure Database for Postgres, Supabase e outros.

Os ClickPipes do Postgres podem ser implantados e gerenciados manualmente pela ClickPipes UI, bem como programaticamente por meio da OpenAPI e do Terraform.

​

Pré-requisitos

Para começar, primeiro você precisa garantir que seu banco de dados Postgres esteja configurado corretamente. Dependendo da sua instância Postgres de origem, você pode seguir qualquer um dos guias a seguir:

1. ClickHouse Managed Postgres, que já vem com logical replication habilitada e acesso do ClickPipes permitido por padrão.

2. Amazon RDS Postgres

3. Amazon Aurora Postgres

4. Supabase Postgres

5. Google Cloud SQL Postgres

6. Azure Flexible Server for Postgres

7. Neon Postgres

8. Crunchy Bridge Postgres

9. Origem genérica do Postgres, se você estiver usando qualquer outro provedor de Postgres ou uma instância self-hosted.

10. TimescaleDB, se você estiver usando a extensão TimescaleDB em um serviço gerenciado ou em uma instância self-hosted.

Proxies de Postgres, como PgBouncer, RDS Proxy e Supabase Pooler, não são compatíveis com replicação baseada em CDC. Certifique-se de NÃO usá-los na configuração do ClickPipes e, em vez disso, informe os detalhes de conexão do banco de dados Postgres em si.

Depois que seu banco de dados Postgres de origem estiver configurado, você poderá continuar criando seu ClickPipe.

​

Criando seu ClickPipe

Certifique-se de estar conectado à sua conta do ClickHouse Cloud. Se você ainda não tiver uma conta, pode se cadastrar aqui.

1. No console do ClickHouse Cloud, navegue até o seu ClickHouse Cloud Service.

2. Selecione o botão Data Sources no menu à esquerda e clique em “Set up a ClickPipe”

3. Selecione o tile Postgres CDC

​

Adicionando a conexão com seu banco de dados Postgres de origem

4. Preencha os detalhes de conexão do seu banco de dados Postgres de origem que você configurou na etapa de pré-requisitos.

Antes de começar a adicionar os detalhes de conexão, certifique-se de ter adicionado os endereços IP do ClickPipes à lista de permissões nas regras do seu firewall. Você pode encontrar a lista de endereços IP do ClickPipes aqui. Para mais informações, consulte os guias de configuração do Postgres de origem vinculados no início desta página.

​

(Opcional) Configurando o AWS Private Link

Você pode usar o AWS Private Link para se conectar ao seu banco de dados Postgres de origem, caso ele esteja hospedado na AWS. Isso é útil se você quiser manter a transferência de dados privada. Você pode seguir o guia de configuração para configurar a conexão.

​

(Opcional) Alterando as configurações de TLS

Por padrão, seu ClickPipe será criado com TLS habilitado e verificação de certificados. Essas configurações padrão podem ser alteradas durante a criação do ClickPipe:

Ou editadas na seção Connection settings da aba Settings do seu ClickPipe pausado:

Onde:

• Disable TLS ativa ou desativa o TLS para a conexão. Desativar o TLS significa que os dados são enviados em texto simples pela rede, potencialmente incluindo credenciais e dados sensíveis.
• Skip certificate verification ativa ou desativa a verificação do certificado apresentado pelo banco de dados de origem. Leve em consideração as implicações de segurança de ignorar a verificação de certificados.
• TLS Host (opcional, usa o Host de origem por padrão) é o hostname ao qual o CN do certificado deve corresponder quando a verificação de certificados está habilitada.
• Upload CA pode ser usado para fornecer uma CA a ser utilizada quando a verificação de certificados estiver habilitada.

​

(Opcional) Configurando o tunelamento SSH

Você pode especificar os detalhes de tunelamento SSH caso seu banco de dados Postgres de origem não seja acessível publicamente.

1. Ative o toggle “Use SSH Tunnelling”.

2. Preencha os detalhes de conexão SSH.

3. Para usar autenticação baseada em chave, clique em “Revoke and generate key pair” para gerar um novo par de chaves e copie a chave pública gerada para o seu servidor SSH em ~/.ssh/authorized_keys.

4. Clique em “Verify Connection” para verificar a conexão.

Certifique-se de adicionar os endereços IP do ClickPipes à lista de permissões nas regras de firewall do host bastion SSH, para que o ClickPipes possa estabelecer o túnel SSH.

Depois de preencher os detalhes de conexão, clique em “Next”.

​

Configurando as definições de replicação

5. Certifique-se de selecionar, na lista dropdown, o replication slot que você criou na etapa de pré-requisitos.

​

Configurações avançadas

Se necessário, você pode configurar as Configurações avançadas. Veja abaixo uma breve descrição de cada configuração:

• Sync interval: este é o intervalo em que o ClickPipes consultará o banco de dados de origem em busca de alterações. Isso tem implicações no serviço ClickHouse de destino; para usuários sensíveis a custos, recomendamos manter esse valor mais alto (acima de 3600).
• Parallel threads for initial load: este é o número de workers paralelos que serão usados para buscar o snapshot inicial. Isso é útil quando você tem um grande número de tabelas e deseja controlar o número de workers paralelos usados para buscar o snapshot inicial. Essa configuração é por tabela.
• Pull batch size: o número de linhas a serem buscadas em um único lote. Essa é uma configuração de melhor esforço e pode não ser respeitada em todos os casos.
• Snapshot number of rows per partition: este é o número de linhas que serão buscadas em cada partição durante o snapshot inicial. Isso é útil quando você tem um grande número de linhas em suas tabelas e deseja controlar o número de linhas buscadas em cada partição.
• Snapshot number of tables in parallel: este é o número de tabelas que serão buscadas em paralelo durante o snapshot inicial. Isso é útil quando você tem um grande número de tabelas e deseja controlar o número de tabelas buscadas em paralelo.

​

Configurando as tables

6. Aqui você pode selecionar o banco de dados de destino do seu ClickPipe. Você pode selecionar um banco de dados existente ou criar um novo.

7. Você pode selecionar as tabelas que deseja replicar do banco de dados Postgres de origem. Ao selecionar as tabelas, você também pode optar por renomeá-las no banco de dados ClickHouse de destino, bem como excluir colunas específicas.

Se você estiver definindo uma ordering key no ClickHouse diferente da primary key no Postgres, não se esqueça de ler todas as considerações a respeito disso

8. Além disso, você pode fornecer uma expressão personalizada PARTITION BY <expr> para controlar o particionamento da tabela de destino do ClickHouse.
   

​

Revise as permissões e inicie o ClickPipe

9. Selecione a role “Full access” na lista suspensa de permissões e clique em “Complete Setup”.

​

Próximos passos

Depois de configurar seu ClickPipe para replicar dados do PostgreSQL para o ClickHouse Cloud, você pode se concentrar em como consultar e modelar seus dados para obter o melhor desempenho. Consulte o guia de migração para avaliar qual estratégia atende melhor aos seus requisitos, bem como as páginas Estratégias de desduplicação (usando CDC) e Chaves de ordenação para conhecer as melhores práticas em workloads de CDC.

Para dúvidas comuns sobre CDC do PostgreSQL e solução de problemas, consulte a página de perguntas frequentes do Postgres.