Ingesta de datos de Postgres a ClickHouse (usando CDC)

Conecte fácilmente su Postgres a ClickHouse Cloud.

Puedes usar ClickPipes para ingestar datos desde tu base de datos de Postgres de origen en ClickHouse Cloud. La base de datos de Postgres de origen puede ser ClickHouse Managed Postgres, o estar alojada on-premise o en la nube, incluidos Amazon RDS, Google Cloud SQL, Azure Database for Postgres, Supabase y otros.

Los ClickPipes de Postgres se pueden desplegar y administrar manualmente desde la ClickPipes UI, así como de forma programática mediante OpenAPI y Terraform.

​

Requisitos previos

Para empezar, primero debes asegurarte de que tu base de datos de Postgres esté configurada correctamente. Según tu instancia de Postgres de origen, puedes seguir cualquiera de las siguientes guías:

1. ClickHouse Managed Postgres, que viene con la replicación lógica habilitada y el acceso de ClickPipes permitido de forma predeterminada.

2. Amazon RDS Postgres

3. Amazon Aurora Postgres

4. Supabase Postgres

5. Google Cloud SQL Postgres

6. Azure Flexible Server for Postgres

7. Neon Postgres

8. Crunchy Bridge Postgres

9. Fuente genérica de Postgres, si utilizas cualquier otro proveedor de Postgres o una instancia autohospedada.

10. TimescaleDB, si utilizas la extensión TimescaleDB en un servicio administrado o en una instancia autohospedada.

Los proxies de Postgres, como PgBouncer, RDS Proxy y Supabase Pooler, no son compatibles con la replicación basada en CDC. Asegúrate de NO usarlos para la configuración de ClickPipes y, en su lugar, añade los detalles de conexión de la base de datos de Postgres real.

Una vez configurada tu base de datos de Postgres de origen, puedes continuar con la creación de tu ClickPipe.

​

Creación de tu ClickPipe

Asegúrate de haber iniciado sesión en tu cuenta de ClickHouse Cloud. Si aún no tienes una cuenta, puedes registrarte aquí.

1. En la consola de ClickHouse Cloud, navega hasta tu servicio de ClickHouse Cloud.

2. Selecciona el botón Data Sources en el menú de la izquierda y haz clic en “Set up a ClickPipe”

3. Selecciona el tile Postgres CDC

​

Añadir la conexión a la base de datos de Postgres de origen

4. Completa los detalles de conexión de tu base de datos de Postgres de origen que configuraste en el paso de requisitos previos.

Antes de empezar a añadir tus detalles de conexión, asegúrate de haber incluido las direcciones IP de ClickPipes en la lista de permitidos de las reglas de tu firewall. Puedes encontrar la lista de direcciones IP de ClickPipes aquí. Para más información, consulta las guías de configuración de Postgres de origen enlazadas al principio de esta página.

​

(Opcional) Configuración de AWS Private Link

Puedes usar AWS Private Link para conectarte a tu base de datos de Postgres de origen si está alojada en AWS. Esto resulta útil si quieres mantener privada la transferencia de tus datos. Puedes seguir la guía de configuración para establecer la conexión.

​

(Opcional) Cambiar la configuración de TLS

De forma predeterminada, su ClickPipe se creará con TLS habilitado y con verificación del certificado. Estos valores predeterminados se pueden modificar al crear el ClickPipe:

O bien, editarse en la sección Configuración de la conexión de la pestaña Configuración de su ClickPipe pausado:

Donde:

• Disable TLS activa o desactiva TLS para la conexión. Desactivar TLS significa que los datos se envían como texto sin cifrar por la red, lo que puede incluir secretos y datos confidenciales.
• Skip certificate verification activa o desactiva la verificación del certificado presentado por la base de datos de origen. Tenga en cuenta las implicaciones de seguridad de omitir la verificación del certificado.
• TLS Host (opcional; de forma predeterminada, el Host de origen) es el hostname con el que debe coincidir el CN del certificado cuando la verificación del certificado está habilitada.
• Upload CA puede usarse para proporcionar una CA cuando la verificación del certificado está habilitada.

​

(Opcional) Configurar SSH tunneling

Puedes especificar los detalles de SSH tunneling si tu base de datos de Postgres de origen no es accesible públicamente.

1. Activa el toggle “Use SSH Tunnelling”.

2. Completa los detalles de conexión SSH.

3. Para usar la autenticación basada en claves, haz clic en “Revoke and generate key pair” para generar un nuevo par de claves y copia la clave pública generada en tu servidor SSH en ~/.ssh/authorized_keys.

4. Haz clic en “Verify Connection” para verificar la conexión.

Asegúrate de permitir las direcciones IP de ClickPipes en las reglas de tu firewall para el host bastión SSH, de modo que ClickPipes pueda establecer el túnel SSH.

Una vez completados los detalles de conexión, haz clic en “Next”.

​

Configurar los ajustes de replicación

5. Asegúrate de seleccionar en la lista desplegable el replication slot que creaste en el paso de requisitos previos.

​

Configuración avanzada

Si lo necesitas, puedes configurar los ajustes avanzados. A continuación se ofrece una breve descripción de cada ajuste:

• Sync interval: es el intervalo con el que ClickPipes consultará la base de datos de origen en busca de cambios. Esto tiene implicaciones en el servicio de ClickHouse de destino; para los usuarios sensibles al costo, recomendamos mantenerlo en un valor alto (superior a 3600).
• Parallel threads for initial load: es la cantidad de workers en paralelo que se usarán para obtener el snapshot inicial. Resulta útil cuando tienes una gran cantidad de tablas y quieres controlar el número de workers en paralelo empleados para obtener el snapshot inicial. Esta configuración es por tabla.
• Pull batch size: la cantidad de filas que se obtienen en un solo batch. Es una configuración de mejor esfuerzo y puede no respetarse en todos los casos.
• Snapshot number of rows per partition: es la cantidad de filas que se obtendrán en cada partición durante el snapshot inicial. Resulta útil cuando tienes una gran cantidad de filas en tus tablas y quieres controlar el número de filas obtenidas en cada partición.
• Snapshot number of tables in parallel: es la cantidad de tablas que se obtendrán en paralelo durante el snapshot inicial. Resulta útil cuando tienes una gran cantidad de tablas y quieres controlar el número de tablas obtenidas en paralelo.

​

Configuración de las tablas

6. Aquí puedes seleccionar la base de datos de destino para tu ClickPipe. Puedes elegir una base de datos existente o crear una nueva.

7. Puedes seleccionar las tablas que quieres replicar desde la base de datos de Postgres de origen. Al seleccionar las tablas, también puedes optar por renombrarlas en la base de datos en ClickHouse de destino, así como excluir columnas específicas.

Si defines en ClickHouse una ordering key distinta de la primary key de Postgres, no olvides leer todas las consideraciones al respecto

8. Además, puede proporcionar una expresión PARTITION BY <expr> personalizada para controlar la partición de la tabla de ClickHouse de destino.
   

​

Revisa los permisos e inicia el ClickPipe

9. Selecciona el rol “Full access” en el desplegable de permisos y haz clic en “Complete Setup”.

​

¿Qué sigue?

Una vez que hayas configurado tu ClickPipe para replicar datos de PostgreSQL a ClickHouse Cloud, puedes centrarte en cómo consultar y modelar tus datos para obtener un rendimiento óptimo. Consulta la guía de migración para evaluar qué estrategia se adapta mejor a tus necesidades, así como las páginas Estrategias de deduplicación (con CDC) y Claves de ordenación para conocer las buenas prácticas en cargas de trabajo de CDC.

Para consultar preguntas habituales sobre CDC de PostgreSQL y resolución de problemas, visita la página de preguntas frecuentes de Postgres.