Resiliência de dados

Este guia fornece uma visão geral sobre recuperação de desastres.

Esta página apresenta as recomendações de recuperação de desastres para o ClickHouse Cloud, além de orientações para que os clientes se recuperem de uma indisponibilidade. No momento, o ClickHouse Cloud não oferece suporte a failover automático nem à sincronização automática entre várias regiões geográficas.

Os clientes devem realizar testes periódicos de restauração de backups para entender o RTO específico do tamanho e da configuração do seu serviço.

​

Definições

Antes, é útil revisar algumas definições.

RPO (Objetivo de Ponto de Recuperação): A perda máxima de dados aceitável, medida em tempo, após um evento de interrupção. Exemplo: um RPO de 30 min significa que, em caso de falha, o banco de dados deve poder ser restaurado para um estado com no máximo 30 min de defasagem. Isso, naturalmente, depende da frequência com que os backups são realizados.

RTO (Objetivo de Tempo de Recuperação): O tempo máximo de indisponibilidade aceitável antes que as operações normais precisem ser retomadas após uma interrupção. Exemplo: um RTO de 30 min significa que, em caso de falha, a equipe consegue restaurar os dados e as aplicações e restabelecer as operações normais em até 30 min.

Backups e snapshots de banco de dados: Os backups fornecem armazenamento durável de longo prazo com uma cópia separada dos dados. Os snapshots não criam uma cópia adicional dos dados, geralmente são mais rápidos e proporcionam RPOs melhores.

​

Backups de banco de dados

Manter um backup do seu serviço primário é uma forma eficaz de restaurá-lo em caso de indisisponibilidade do serviço primário. O ClickHouse Cloud oferece os seguintes recursos de backup.

1. Backups padrão

Por padrão, o ClickHouse Cloud faz um backup do seu serviço a cada 24 horas. Esses backups ficam na mesma região do serviço e são realizados no bucket de armazenamento do CSP (provedor de serviços em nuvem) da ClickHouse. Caso os dados no serviço primário sejam corrompidos, o backup poderá ser usado para restaurar em um novo serviço.

2. Backups externos (no próprio bucket de armazenamento do cliente)

Você pode exportar backups para o seu próprio armazenamento de objetos na sua conta, na mesma região ou em outra região. O suporte para exportação de backups entre clouds estará disponível em breve. Haverá cobrança por transferência de dados para backups entre regiões e entre clouds.

No momento, esse recurso não está disponível para serviços PCI/HIPAA

3. Backups configuráveis

Os clientes podem configurar backups para serem realizados com maior frequência, até a cada 6 horas, para melhorar o RPO. Os clientes também podem configurar um período de retenção maior.

Os backups atualmente disponíveis para o serviço estão listados na página “backups” do console do ClickHouse Cloud. Esta seção também mostra o status de sucesso/falha de cada backup.

​

Restauração a partir de um backup

1. Os backups padrão, no bucket do ClickHouse Cloud, podem ser restaurados em um novo serviço na mesma região.
2. Os backups externos (no armazenamento de objetos do cliente) podem ser restaurados em um novo serviço na mesma região ou em outra região.

​

Orientações sobre a duração de backups e restaurações

A duração de backups e restaurações varia significativamente conforme o volume de dados, a complexidade do schema e o número de tabelas. Os números abaixo são observações de testes internos e não constituem compromissos de desempenho.

Em nossos testes, um backup de aproximadamente 1 TB levou cerca de 10 a 15 minutos, e um de 20 TB, cerca de uma hora. Conjuntos de dados maiores levam proporcionalmente mais tempo, e backups de várias centenas de TB ou mais podem levar muitas horas, embora economias de escala ajudem em volumes maiores.

As restaurações geralmente são mais lentas que o backup equivalente, especialmente quando incluem uma longa cadeia de backups incrementais, pois o backup completo e todos os backups incrementais subsequentes da cadeia precisam ser aplicados. Restaurar um serviço muito grande pode levar mais de um dia.

Como a duração depende muito dos seus dados, schema e configuração de backup, recomendamos fortemente testar uma restauração com seus próprios dados antes de se basear em qualquer tempo-alvo de recuperação.

Atualmente, NÃO há suporte para failover automático entre 2 instâncias do ClickHouse Cloud, seja na mesma região ou em regiões diferentes. Atualmente, NÃO há sincronização automática de dados entre diferentes serviços do ClickHouse Cloud na mesma região ou em regiões diferentes, ou seja, replicação Active-Active

​

Processo de recuperação

Esta seção explica as várias opções de recuperação e o procedimento a ser seguido em cada caso.

​

Corrupção de dados do serviço primário

Nesse caso, os dados podem ser restaurados a partir do backup em outro serviço na mesma região. O backup pode ter até 24 horas ao usar a política de backup padrão, ou até 6 horas (ao usar backups configuráveis com frequência de 6 horas).

​

Etapas de restauração

Para restaurar a partir de um backup existente

1. Vá para a seção “Backups” do console do ClickHouse Cloud.
2. Clique nos três pontos em “Ações” do backup específico a partir do qual você deseja restaurar.
3. Dê um nome específico ao novo serviço e restaure a partir desse backup

​

Indisponibilidade da região primária

Você pode exportar backups para um bucket no seu próprio provedor de cloud. Se houver preocupação com falhas regionais, recomendamos exportar os backups para outra região. Lembre-se de que haverá cobrança por transferência de dados entre regiões.

Se a região primária ficar indisponível, o backup em outra região poderá ser restaurado em um novo serviço em uma região diferente.

Depois que o backup for restaurado em outro serviço, você precisará garantir que todas as configurações de DNS, balanceador de carga ou connection string sejam atualizadas para apontar para o novo serviço. Isso pode envolver:

• Atualizar variáveis de ambiente ou Secrets
• Reiniciar os serviços da aplicação para estabelecer novas conexões

No momento, backup / restore para um bucket externo não é compatível com serviços que utilizam Transparent Data Encryption (TDE).

​

Opções adicionais

Há algumas opções adicionais a considerar.

1. Gravação dupla em clusters separados

Nesta opção, você pode configurar 2 clusters separados em regiões diferentes e gravar em ambos. Essa opção tem um custo mais alto por natureza, pois envolve operar vários serviços, mas oferece maior disponibilidade caso uma das regiões fique indisponível.

2. Utilize a replicação do CSP

Com esta opção, você utilizaria a replicação nativa de armazenamento de objetos do provedor de serviços em nuvem para copiar os dados. Por exemplo, com BYOB, você pode exportar o backup para um bucket que pertence a você na região primária e fazer com que ele seja replicado para outra região usando a replicação entre regiões da AWS.