Skip to main content
Los ClickPipes de Kinesis se pueden implementar y gestionar manualmente mediante la UI de ClickPipes, así como mediante programación con OpenAPI y Terraform.

​
Requisito previo

Debe haberse familiarizado con la introducción a ClickPipes y haber configurado las credenciales de IAM o un rol de IAM. Siga la guía de acceso basado en roles de Kinesis para obtener información sobre cómo configurar un rol compatible con ClickHouse Cloud.

​
Crear su primer ClickPipe

  1. Acceda a la SQL Console de su servicio de ClickHouse Cloud.
  1. Seleccione el botón Data Sources en el menú lateral izquierdo y haga clic en “Set up a ClickPipe”
  1. Seleccione su fuente de datos.
  1. Complete el formulario proporcionando a su ClickPipe un nombre, una descripción (opcional), su rol de IAM o sus credenciales, y otros detalles de conexión.
  1. Seleccione el stream de Kinesis, Data format y el offset inicial. Para Protobuf, cargue un archivo .proto o un FileDescriptorSet serializado (máximo 768 KiB). No se requiere ningún schema registry. La UI muestra datos de ejemplo del stream seleccionado. Use Kinesis Enhanced Fan-Out está habilitado de forma predeterminada. Consulte la documentación de Amazon Kinesis para más detalles.
  1. En el siguiente paso, puede seleccionar si desea ingestar datos en una nueva tabla de ClickHouse o reutilizar una existente. Siga las instrucciones en pantalla para modificar el nombre de la tabla, el esquema y la configuración. Puede ver una vista previa en tiempo real de sus cambios en la tabla de ejemplo de la parte superior.
También puede personalizar la configuración avanzada usando los controles proporcionados
  1. Como alternativa, puede decidir ingestar sus datos en una tabla de ClickHouse existente. En ese caso, la UI le permitirá mapear campos de la fuente a los campos de ClickHouse en la tabla de destino seleccionada.
  1. Por último, puede configurar los permisos para el usuario interno de ClickPipes.
Permisos: ClickPipes creará un usuario dedicado para escribir datos en una tabla de destino. Puede seleccionar un rol para este usuario interno usando un rol personalizado o uno de los roles predefinidos:
  • Full access: con acceso completo al clúster. Puede resultar útil si usa una vista materializada o un Diccionario con la tabla de destino.
    • Only destination table: solo con permisos INSERT sobre la tabla de destino.
  1. Al hacer clic en “Complete Setup”, el sistema registrará su ClickPipe y podrá verlo en la tabla de resumen.
La tabla de resumen ofrece controles para mostrar datos de ejemplo de la fuente o de la tabla de destino en ClickHouse Así como controles para eliminar el ClickPipe y mostrar un resumen del trabajo de ingestión.
  1. ¡Enhorabuena! Ha configurado correctamente su primer ClickPipe. Si se trata de un ClickPipe de streaming, se ejecutará continuamente e ingestará datos en tiempo real desde su fuente de datos remota. De lo contrario, ingestará el lote y finalizará.

​
Formatos de datos admitidos

Los formatos admitidos son:

​
Compresión

ClickPipes para Kinesis detecta y descomprime automáticamente los registros comprimidos. A diferencia de Kafka, donde la biblioteca cliente gestiona la descompresión de forma transparente, Kinesis entrega bytes sin procesar; ClickPipes se encarga de ello sin necesidad de configuración. Se admiten los siguientes codecs de compresión:
  • gzip
  • zstd
  • lz4
  • snappy (formato framed)
La compresión se detecta automáticamente mediante bytes mágicos en cada registro. Si no se encuentra ninguna firma de compresión conocida, el registro se trata como sin comprimir. El tipo de compresión detectado también se muestra durante la inferencia de esquema, para que la vista previa de datos de muestra en la UI muestre correctamente los datos descomprimidos.
La detección automática es segura para formatos basados en texto, como JSON y CSV, ya que los caracteres ASCII imprimibles nunca coincidirán con los bytes mágicos de compresión.

​
Tipos de datos admitidos

​
Compatibilidad con tipos estándar

Actualmente, ClickPipes admite los siguientes tipos de datos de ClickHouse:
  • Tipos numéricos básicos: [U]Int8/16/32/64, Float32/64 y BFloat16
  • Tipos enteros grandes: [U]Int128/256
  • Tipos Decimal
  • Boolean
  • String
  • FixedString
  • Date, Date32
  • DateTime, DateTime64 (solo zonas horarias UTC)
  • Enum8/Enum16
  • UUID
  • IPv4
  • IPv6
  • todos los tipos LowCardinality de ClickHouse
  • Map con claves y valores que usan cualquiera de los tipos anteriores (incluidos los Nullable)
  • Tuple y Array con elementos que usan cualquiera de los tipos anteriores (incluidos los Nullable, con un solo nivel de profundidad)
  • Tipos SimpleAggregateFunction (para destinos AggregatingMergeTree o SummingMergeTree)

​
Compatibilidad con el tipo Variant

Puede especificar manualmente un tipo Variant (como Variant(String, Int64, DateTime)) para cualquier campo JSON del flujo de datos de origen. Debido a la forma en que ClickPipes determina qué subtipo de Variant debe usar, solo se puede usar un tipo entero o de fecha y hora en la definición de Variant; por ejemplo, Variant(Int64, UInt32) no es compatible.

​
Compatibilidad con el tipo JSON

Los campos JSON que siempre son un objeto JSON pueden asignarse a una columna de destino de tipo JSON. Tendrá que cambiar manualmente la columna de destino al tipo JSON deseado, incluidas las rutas fijas o excluidas.

​
Columnas virtuales de Kinesis

Se admiten las siguientes columnas virtuales para el stream de Kinesis. Al crear una nueva tabla de destino, se pueden añadir columnas virtuales con el botón Add Column. El campo _raw_message puede usarse cuando solo se necesita el registro JSON completo de Kinesis (por ejemplo, al usar las funciones JsonExtract* de ClickHouse para rellenar una vista materializada posterior). Para esos pipes, eliminar todas las columnas “no virtuales” puede mejorar el rendimiento de ClickPipes.

​
Limitaciones

  • DEFAULT no se admite.
  • De forma predeterminada, los mensajes individuales están limitados a 16 MB (sin comprimir) cuando se utiliza el tamaño de réplica más pequeño (XS), y a 32 MB (sin comprimir) con réplicas más grandes. Los mensajes que superen este límite se rechazarán con un error. Si necesita mensajes más grandes, póngase en contacto con el equipo de soporte.

​
Rendimiento

​
Procesamiento por lotes

ClickPipes inserta datos en ClickHouse por lotes. Esto evita crear demasiadas partes en la base de datos, lo que puede provocar problemas de rendimiento en el clúster. Los lotes se insertan cuando se cumple uno de los siguientes criterios:
  • El tamaño del lote alcanza el tamaño máximo (100,000 filas o 32MB por 1GB de memoria de la réplica)
  • El lote ha permanecido abierto durante el tiempo máximo (5 segundos)

​
Latencia

La latencia (definida como el tiempo transcurrido entre el envío del mensaje de Kinesis al stream y el momento en que el mensaje está disponible en ClickHouse) dependerá de varios factores (p. ej., la latencia de Kinesis, la latencia de red y el tamaño/formato del mensaje). El procesamiento por lotes descrito en la sección anterior también afectará a la latencia. Recomendamos siempre probar su caso de uso concreto para entender qué latencia puede esperar. Si tiene requisitos específicos de baja latencia, contáctenos.

​
Segmentos activos

Una gran cantidad de segmentos activos puede reducir el throughput del ClickPipe si este no está escalado para gestionarlos.

​
Escalado

ClickPipes para Kinesis está diseñado para escalar tanto horizontal como verticalmente. De forma predeterminada, creamos un grupo de consumidores con un solo consumidor. Esto puede configurarse durante la creación del ClickPipe o en cualquier otro momento en Settings -> Advanced Settings -> Scaling. ClickPipes ofrece alta disponibilidad con una arquitectura distribuida entre zonas de disponibilidad. Para ello, es necesario escalar a al menos dos consumidores. Independientemente del número de consumidores en ejecución, hay tolerancia a fallos por diseño. Si un consumidor o la infraestructura subyacente falla, el ClickPipe reiniciará automáticamente el consumidor y seguirá procesando mensajes.

​
Autenticación

Para acceder a los streams de Amazon Kinesis, puedes usar credenciales de IAM o un rol de IAM. Para obtener más información sobre cómo configurar un rol de IAM, puedes consultar esta guía, donde se explica cómo configurar un rol compatible con ClickHouse Cloud
Última modificación el 28 de septiembre de 2026