Arquitetura

Implante o ClickHouse na sua própria infraestrutura em nuvem

​

Conceitos-chave

O diagrama abaixo mostra como as organizações do ClickHouse Cloud, as contas de nuvem e a infraestrutura BYOC se relacionam.

• Organização do ClickHouse Cloud: A entidade de nível superior no ClickHouse Cloud que gerencia usuários, billing e serviços ClickHouse que não são BYOC. Os usuários de uma organização podem acessar tanto os serviços Cloud padrão quanto os serviços BYOC.
• Organização BYOC do ClickHouse: Uma organização separada, dedicada ao gerenciamento de implantações BYOC. Ela compartilha usuários com a organização Cloud, mas está vinculada a uma ou mais contas de nuvem em que a infraestrutura BYOC é implantada.
• Conta de nuvem/projeto/assinatura: A conta da AWS, o projeto do GCP ou a assinatura do Azure pertencente ao cliente, em que a infraestrutura BYOC é provisionada. Cada conta/projeto/assinatura pode hospedar implantações BYOC em uma ou mais regiões. Para isolamento, recomenda-se uma conta/projeto/assinatura dedicada para cada implantação BYOC.
• Infraestrutura BYOC: O conjunto de recursos de nuvem implantados em uma região específica de uma conta de nuvem, incluindo uma VPC/VNet, um cluster do Kubernetes (EKS/GKE/AKS), buckets de armazenamento de objetos, funções do IAM/contas de serviço/principais de serviço e serviços de suporte. Uma única conta de nuvem pode conter várias infraestruturas BYOC em diferentes regiões.
• Serviço ClickHouse: Um cluster ClickHouse individual em execução em uma infraestrutura BYOC. Vários serviços podem ser executados na mesma infraestrutura BYOC.

Misturar contas da AWS, projetos do GCP e assinaturas do Azure na mesma organização só é possível para clientes que não foram configurados por meio de um marketplace de provedor de serviços de nuvem.

​

Glossário

• ClickHouse VPC: A VPC pertencente ao ClickHouse Cloud.
• VPC BYOC do cliente: A VPC, pertencente à conta de nuvem do cliente, é provisionada e gerenciada pelo ClickHouse Cloud e dedicada a uma implantação BYOC do ClickHouse Cloud.
• Customer VPC: Outras VPCs pertencentes à conta de nuvem do cliente, usadas por aplicações que precisam se conectar à VPC BYOC do cliente.

​

Arquitetura técnica

O BYOC separa o plano de controle do ClickHouse, que é executado na VPC do ClickHouse, do plano de dados, que é executado inteiramente na sua conta de nuvem. A VPC do ClickHouse hospeda o ClickHouse Cloud Console, autenticação, gerenciamento de usuários, APIs, faturamento, componentes de gerenciamento de infraestrutura, como o controlador de BYOC, além de ferramentas de alertas e incidentes. Esses serviços orquestram e monitoram sua implantação, mas não armazenam seus dados.

Na sua VPC BYOC do cliente, o ClickHouse provisiona um cluster do Kubernetes (por exemplo, Amazon EKS) que executa o plano de dados do ClickHouse. Como mostrado no diagrama, isso inclui o próprio cluster ClickHouse, o ClickHouse Operator e serviços de suporte, como Entrada, DNS, gerenciamento de certificados, exportadores de estado e scrapers. Uma stack de monitoramento dedicada (Prometheus, Grafana, AlertManager e Thanos) também é executada dentro da sua VPC, de modo que suas métricas e alertas se originam no seu ambiente e os próprios dados de monitoramento permanecem na sua conta. Um conjunto limitado de telemetria operacional é encaminhado ao ClickHouse Cloud — métricas de uso para faturamento, eventos de estado de serviço e de backup e alertas de saúde — e nada além disso é exportado; consulte limites de rede para o inventário completo. Independentemente dessa exportação, os dashboards do ClickHouse e, mediante escalonamento aprovado, seus engenheiros podem consultar a stack e seus logs no local por meio do Tailscale, sem que nada seja persistido do lado do ClickHouse — consulte acesso a dados do ClickHouse.

Os principais recursos de Cloud que o ClickHouse Cloud implantará na sua conta são:

• VPC: Uma Virtual Private Cloud dedicada à sua implantação do ClickHouse. Ela pode ser gerenciada pelo ClickHouse ou por você, o cliente, e normalmente é conectada por peering às VPCs das suas aplicações.
• Funções e políticas do IAM: Funções e permissões necessárias para o Kubernetes, os serviços do ClickHouse e a stack de monitoramento. Elas podem ser provisionadas pelo ClickHouse ou fornecidas pelo cliente.
• Buckets de armazenamento: Usados para armazenar partes de dados, backups e, opcionalmente, arquivos de métricas e logs de longo prazo.
• Cluster do Kubernetes: Pode ser Amazon EKS, Google GKE ou Azure AKS, dependendo do seu provedor de Cloud. Ele hospeda os servidores ClickHouse e os serviços de suporte mostrados no diagrama de arquitetura.

Por padrão, o ClickHouse Cloud provisiona uma VPC nova e dedicada e configura as funções do IAM necessárias para garantir a operação segura dos serviços do Kubernetes. Para organizações com necessidades avançadas de rede ou segurança, também existe a opção de gerenciar a VPC e as funções do IAM por conta própria. Essa abordagem permite maior personalização das configurações de rede e um controle mais preciso sobre as permissões. No entanto, optar por gerenciar esses recursos por conta própria aumentará suas responsabilidades operacionais.

​

Armazenamento de dados

Seus dados do ClickHouse, backups, logs e dados de monitoramento permanecem na sua conta de nuvem; os únicos dados exportados para fora são a telemetria limitada de uso e saúde listada em limites de rede. As partes de dados e os backups são armazenados no seu armazenamento de objetos (por exemplo, Amazon S3), enquanto os logs são armazenados nos volumes de armazenamento anexados aos nós do ClickHouse. Em uma atualização futura, os logs serão gravados no LogHouse, um serviço de logging baseado em ClickHouse que também é executado dentro da sua VPC BYOC. As métricas podem ser armazenadas localmente ou, para retenção de longo prazo, em um bucket dedicado na sua própria conta — o armazenamento de objetos fica fora da VPC/VNet e é acessado pelo caminho da storage API do provedor. A conectividade do plano de controle entre a VPC do ClickHouse e a sua VPC BYOC é usada apenas para operações de gerenciamento, nunca para tráfego de consultas. Por padrão, os serviços de gerenciamento do ClickHouse acessam a API do Kubernetes do seu cluster pelo endpoint público dela, que nunca fica exposto sem proteção: na AWS, o acesso é restrito por allowlist de IPs aos intervalos de saída do ClickHouse; no GCP, é autorizado pelo Google Cloud IAM; e, no Azure, é autorizado pelo Microsoft Entra ID em conjunto com o Azure RBAC. Como alternativa, é possível habilitar uma conexão privada por implantação — AWS VPC Lattice, o endpoint do plano de controle baseado em DNS do GKE no GCP ou Azure Private Link —, como mostrado no diagrama. Em todas as nuvens, o Tailscale transporta o acesso dos engenheiros do ClickHouse para solução de problemas, além de métricas e dashboards, e continua em uso mesmo quando o caminho da API do Kubernetes é privado.

​

Comunicação com o plano de controle

A VPC do ClickHouse se comunica com sua VPC BYOC por HTTPS (porta 443) para operações de gerenciamento do serviço, incluindo alterações de configuração, verificações de integridade e comandos de implantação. Esse tráfego transporta apenas dados do plano de controle para orquestração. A telemetria crítica e os alertas fluem da sua VPC BYOC para a VPC do ClickHouse para permitir o monitoramento da utilização de recursos e da integridade.

​

Principais requisitos para BYOC

O modelo de implantação BYOC exige dois componentes essenciais para garantir operação confiável, facilidade de manutenção e segurança:

​

Permissões de IAM entre contas

O ClickHouse Cloud precisa de permissões de IAM entre contas para provisionar e gerenciar recursos na sua conta de nuvem. Isso permite que o ClickHouse:

• Gerencie funções do IAM: crie e configure funções do IAM para contas de serviço do Kubernetes e serviços de suporte
• Gerencie clusters do Kubernetes: implante e mantenha clusters EKS/GKE/AKS, grupos de nós e componentes do cluster
• Crie recursos de armazenamento: provisione buckets do S3 ou armazenamento de objetos equivalente para dados e backups
• Gerencie funções do IAM: crie e configure funções do IAM para contas de serviço do Kubernetes e serviços de suporte
• Opere serviços de suporte: implante e gerencie stacks de monitoramento, controladores de Entrada e outros componentes de infraestrutura

Essas permissões são concedidas por meio de uma função do IAM entre contas (AWS), de uma conta de serviço (GCP) ou de um principal de serviço multilocatário (Azure) criada por você durante o processo inicial de onboarding. A função segue o princípio do menor privilégio, com permissões limitadas apenas ao necessário para as operações de BYOC.

Para informações detalhadas sobre as permissões específicas exigidas, consulte a Referência de Privilégios do BYOC.

​

Conexão de rede privada Tailscale

O Tailscale fornece uma rede privada segura, com modelo zero trust, entre o ClickHouse Cloud e sua implantação BYOC. Por ela trafegam o acesso dos engenheiros do ClickHouse para solução de problemas e as métricas e dashboards que o ClickHouse usa para monitorar sua implantação, além do tráfego da API do Kubernetes quando um endpoint de API privado está habilitado. Essa conexão permite:

• Monitoramento contínuo: engenheiros do ClickHouse podem acessar a stack de monitoramento Prometheus implantada na sua VPC BYOC para acompanhar a saúde e o desempenho do serviço
• Manutenção proativa: engenheiros podem realizar manutenção de rotina, upgrades e operações de solução de problemas
• Suporte de emergência: em caso de problemas no serviço, engenheiros podem acessar rapidamente seu ambiente para diagnosticar e resolver falhas
• Gerenciamento de infraestrutura: quando um endpoint privado da API do Kubernetes está habilitado, os serviços de gerenciamento acessam a API do Kubernetes por meio dessa conexão, e não pelo endpoint público dela

Os agentes Tailscale no seu cluster estabelecem conexões apenas de saída: não é necessária nenhuma regra de entrada em security group, firewall ou network security group para o próprio Tailscale, o que reduz sua exposição. Todo acesso é:

• Aprovado e auditado: engenheiros precisam solicitar acesso por meio de um sistema interno de aprovação
• Limitado no tempo: o acesso expira automaticamente após um período definido
• Restrito: engenheiros podem acessar apenas tabelas do sistema e componentes da infraestrutura, nunca dados de clientes
• Criptografado: toda a comunicação é criptografada de ponta a ponta

Essa característica de conexão apenas de saída vale para o próprio Tailscale, não para todos os caminhos de gerenciamento. O servidor da API do Kubernetes do seu cluster continua aceitando conexões dos serviços de gerenciamento do ClickHouse na porta TCP 443, seja pelo endpoint público ou por uma conexão privada; consulte o inventário de conexões de entrada para ver a lista completa de listeners.

Para informações detalhadas sobre como o Tailscale funciona no BYOC e sobre os controles de segurança, consulte a documentação de segurança de rede.

​

Por que esses requisitos são importantes

Juntos, esses dois componentes permitem que o ClickHouse Cloud:

• Mantenha a confiabilidade: monitore e mantenha sua implantação de forma proativa para evitar problemas
• Garanta a segurança: use acesso com privilégio mínimo e auditabilidade completa
• Simplifique as operações: automatize o gerenciamento da infraestrutura sem perder o controle
• Forneça suporte: responda rapidamente aos problemas e resolva-os quando ocorrerem

Todos os dados do cliente permanecem na sua conta na nuvem e nunca são acessados nem transmitidos por esses canais de gerenciamento.

Recomendações e considerações adicionais:

• Garanta que as faixas de CIDR da rede da sua VPC BYOC não se sobreponham a nenhuma VPC existente com a qual você pretende fazer peering.
• Identifique claramente seus recursos com tags para simplificar o gerenciamento e o suporte.
• Planeje adequadamente o dimensionamento das sub-redes e a distribuição entre zonas de disponibilidade para garantir alta disponibilidade.
• Consulte o guia de segurança para entender a responsabilidade compartilhada e as melhores práticas quando o ClickHouse Cloud opera no seu ambiente.
• Revise o guia completo de onboarding para obter instruções passo a passo sobre a configuração inicial da conta, configuração da VPC, conectividade de rede (por exemplo, VPC peering) e delegação de função do IAM.

Se você tiver requisitos ou restrições específicos, entre em contato com o suporte do ClickHouse para receber orientações sobre configurações avançadas de rede ou políticas de IAM personalizadas.