Preguntas frecuentes de ClickPipes para Kafka
General
¿Cómo funciona ClickPipes para Kafka?
¿Cómo funciona ClickPipes para Kafka?
ClickPipes utiliza una arquitectura dedicada que ejecuta la API de consumidor de Kafka para leer datos de un topic especificado y, a continuación, insertarlos en una tabla de ClickHouse de un servicio específico de ClickHouse Cloud.
¿Cuál es la diferencia entre ClickPipes y el motor de tabla Kafka de ClickHouse?
¿Cuál es la diferencia entre ClickPipes y el motor de tabla Kafka de ClickHouse?
El motor de tabla Kafka es una funcionalidad principal de ClickHouse que implementa un “modelo pull”, en el que el propio servidor de ClickHouse se conecta a Kafka, extrae eventos y después los escribe localmente.ClickPipes es un servicio de Cloud independiente que funciona por separado del servicio de ClickHouse. Se conecta a Kafka (u otras fuentes de datos) y envía eventos a un servicio asociado de ClickHouse Cloud. Esta arquitectura desacoplada ofrece una gran flexibilidad operativa, una clara separación de responsabilidades, ingestión escalable, gestión fluida de fallos, extensibilidad y mucho más.
¿Cuáles son los requisitos para usar ClickPipes para Kafka?
¿Cuáles son los requisitos para usar ClickPipes para Kafka?
Para usar ClickPipes para Kafka, necesitarás un bróker de Kafka en ejecución y un servicio de ClickHouse Cloud con ClickPipes habilitado. También deberás asegurarte de que ClickHouse Cloud pueda acceder a tu bróker de Kafka. Esto puede lograrse permitiendo conexiones remotas en el lado de Kafka e incluyendo en la lista blanca las direcciones IP de salida de ClickHouse Cloud en tu configuración de Kafka. Como alternativa, puedes usar AWS PrivateLink para conectar ClickPipes para Kafka a tus brókeres de Kafka.
¿ClickPipes para Kafka es compatible con AWS PrivateLink?
¿ClickPipes para Kafka es compatible con AWS PrivateLink?
Sí, AWS PrivateLink es compatible. Consulta la documentación para obtener más información sobre cómo configurarlo.
¿Puedo usar ClickPipes para Kafka para escribir datos en un topic de Kafka?
¿Puedo usar ClickPipes para Kafka para escribir datos en un topic de Kafka?
No, ClickPipes para Kafka está diseñado para leer datos de topics de Kafka, no para escribir datos en ellos. Para escribir datos en un topic de Kafka, necesitarás usar un productor de Kafka dedicado.
¿ClickPipes admite varios brókeres?
¿ClickPipes admite varios brókeres?
Sí, si los brókeres forman parte del mismo quórum, pueden configurarse juntos separados por
,.¿Se pueden escalar las réplicas de ClickPipes?
¿Se pueden escalar las réplicas de ClickPipes?
Sí, ClickPipes para streaming puede escalarse tanto horizontal como verticalmente.
El escalado horizontal añade más réplicas para aumentar el rendimiento, mientras que el escalado vertical incrementa los recursos (CPU y RAM) asignados a cada réplica para gestionar workloads más intensivos.
Esto puede configurarse durante la creación del ClickPipe o, en cualquier otro momento, en Settings -> Advanced Settings -> Scaling.
No encuentro algunos de mis topics de Kafka en la UI de configuración de ClickPipes. ¿Por qué?
No encuentro algunos de mis topics de Kafka en la UI de configuración de ClickPipes. ¿Por qué?
La UI de detección de topics de ClickPipes muestra hasta 1.500 topics de forma predeterminada. Si tu clúster de Kafka tiene más de 1.500 topics, es posible que algunos no aparezcan en la lista desplegable. Para verificar que tu topic existe, compruébalo directamente con un cliente de Kafka usando las mismas credenciales. Si lo confirmas y necesitas aumentar el límite de la lista por encima de 1.500, ponte en contacto con el soporte de ClickHouse.
Azure Event Hubs
¿Funciona el ClickPipe de Azure Event Hubs sin la Kafka surface?
¿Funciona el ClickPipe de Azure Event Hubs sin la Kafka surface?
No. ClickPipes requiere que el espacio de nombres de Event Hubs tenga habilitada la Kafka surface. Esto solo está disponible en tiers superiores a basic. Consulta la documentación de Azure Event Hubs para obtener más información.
¿Azure Schema Registry funciona con ClickPipes?
¿Azure Schema Registry funciona con ClickPipes?
No. ClickPipes admite registros compatibles con Confluent y AWS Glue Schema Registry, pero no Azure Schema Registry. Consulta Schema registries for Kafka ClickPipe para ver la matriz de compatibilidad actual. Si necesitas compatibilidad con Azure Schema Registry, ponte en contacto con nuestro equipo.
¿Qué permisos necesita mi política para consumir desde Azure Event Hubs?
¿Qué permisos necesita mi política para consumir desde Azure Event Hubs?
Para enumerar topics y consumir eventos, la política de acceso compartido proporcionada a ClickPipes requiere, como mínimo, el permiso ‘Listen’.
¿Por qué mi Event Hubs no devuelve ningún dato?
¿Por qué mi Event Hubs no devuelve ningún dato?
Si tu instancia de ClickHouse está en una región o continente distinto del despliegue de Event Hubs, es posible que experimentes timeouts durante la configuración de tus ClickPipes y una latencia más alta al consumir datos del Event Hub. Recomendamos desplegar ClickHouse Cloud y Azure Event Hubs en la misma región de la nube, o en regiones cercanas entre sí, para evitar penalizaciones de rendimiento.
¿Debo incluir el número de puerto para Azure Event Hubs?
¿Debo incluir el número de puerto para Azure Event Hubs?
Sí. ClickPipes requiere que incluyas el número de puerto de la Kafka surface, que debe ser
:9093.¿Siguen siendo relevantes las ClickPipes IPs para Azure Event Hubs?
¿Siguen siendo relevantes las ClickPipes IPs para Azure Event Hubs?
Sí. Para restringir el tráfico a tu instancia de Event Hubs, añade las IP NAT estáticas documentadas a las reglas del firewall de IP de tu espacio de nombres de Event Hubs.
¿La cadena de conexión es para el Event Hub o para el espacio de nombres de Event Hub?
¿La cadena de conexión es para el Event Hub o para el espacio de nombres de Event Hub?
Ambas funcionan. Recomendamos encarecidamente usar una política de acceso compartido en el nivel de espacio de nombres para recuperar muestras de varios Event Hubs.