Sauvegarde / restauration via l’interface utilisateur

Page expliquant comment effectuer une sauvegarde ou restaurer une sauvegarde depuis l’UI avec votre propre bucket

Les sauvegardes automatisées vers votre bucket externe sont des sauvegardes complètes et indépendantes. Elles suivent la fréquence de sauvegarde et l’horodatage de début configurés pour le service (toutes les 24 heures par défaut). ClickHouse crée également une sauvegarde distincte dans un bucket géré par ClickHouse toutes les 24 heures ; cette cadence est fixe.

​

AWS

​

Effectuer des sauvegardes sur AWS

​

1. Étapes à suivre dans AWS

Ces étapes sont similaires à la configuration sécurisée de S3 décrite dans “Accéder aux données S3 en toute sécurité”, mais des actions supplémentaires sont nécessaires au niveau des permissions du rôle.

Suivez les étapes ci-dessous dans votre compte AWS :

1. Créer un bucket AWS S3

   Créez dans votre compte un bucket AWS S3 vers lequel vous souhaitez exporter les backups.

2. Créer un rôle IAM

   AWS utilise une authentification basée sur les rôles. Créez donc un rôle IAM que le ClickHouse Cloud service pourra assumer afin d’écrire dans ce bucket.

   • a. Récupérez l’ARN depuis la page des paramètres du ClickHouse Cloud service, dans la section Network security information, qui ressemble à ceci :

   • b. Pour ce rôle, créez la stratégie d’approbation comme suit :

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "backup service",
         "Effect": "Allow",
         "Principal": {
           "AWS":  "arn:aws:iam::463754717262:role/CH-S3-bordeaux-ar-90-ue2-29-Role"
         },
         "Action": "sts:AssumeRole"
       }
     ]
   }
   
3. Mettre à jour les permissions du rôle

   Vous devrez également définir les permissions de ce rôle afin que ce ClickHouse Cloud service puisse écrire dans le bucket S3. Pour ce faire, créez une policy de permissions pour le rôle avec un JSON similaire à celui-ci, en remplaçant l’ARN de votre bucket par la resource aux deux endroits.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "s3:GetBucketLocation",
           "s3:ListBucket"
         ],
         "Resource": [
           "arn:aws:s3:::byob-ui"
         ],
         "Effect": "Allow"
       },
       {
         "Action": [
           "s3:Get*",
           "s3:List*",
           "s3:PutObject"
         ],
         "Resource": [
           "arn:aws:s3:::byob-ui/*"
         ],
         "Effect": "Allow"
       },
       {
         "Action": [
           "s3:DeleteObject"
         ],
         "Resource": [
           "arn:aws:s3:::byob-ui/*/.lock"
         ],
         "Effect": "Allow"
       }
     ]
   }
   

​

2. Étapes à suivre dans ClickHouse Cloud

Suivez les étapes ci-dessous dans la console ClickHouse Cloud pour configurer le bucket externe :

1. Modifier la sauvegarde externe

   Sur la page Settings, cliquez sur Set up external backup :

2. Configurer l’ARN du rôle AWS IAM et les détails du bucket S3

   Sur l’écran suivant, indiquez l’ARN du rôle AWS IAM que vous venez de créer ainsi que l’URL du bucket S3 au format suivant :

3. Enregistrer les modifications

   Cliquez sur « Save External Bucket » pour enregistrer les paramètres

4. Modifier la planification des sauvegardes par défaut

   Les sauvegardes externes seront désormais effectuées dans votre bucket selon la planification par défaut. Vous pouvez également configurer la planification des sauvegardes depuis la page « Settings ». Si une configuration différente est définie, la planification personnalisée et le paramètre de rétention s’appliquent aux sauvegardes écrites dans votre bucket. Les sauvegardes dans le bucket géré par ClickHouse Cloud utilisent la planification par défaut (une sauvegarde toutes les 24 heures) et la politique de rétention par défaut.

5. Afficher les sauvegardes stockées dans votre bucket

   La page Backups affichera ces sauvegardes stockées dans votre bucket dans un tableau distinct comme illustré ci-dessous :

​

Restaurer des sauvegardes depuis AWS

Suivez les étapes ci-dessous pour restaurer des sauvegardes depuis AWS :

1. Créer un nouveau service de destination pour la restauration

   Créez un nouveau service dans lequel restaurer la sauvegarde.

2. Ajouter l’ARN du service

   Ajoutez l’ARN du service nouvellement créé (depuis la page des paramètres du service dans la console ClickHouse Cloud) à la stratégie d’approbation du rôle IAM. Il s’agit de la même opération que la deuxième étape de la section Étapes AWS ci-dessus. Cela est nécessaire pour que le nouveau service puisse accéder au bucket S3.

3. Obtenir la commande SQL utilisée pour restaurer la sauvegarde

   Cliquez sur le lien « access or restore a backup » au-dessus de la liste des sauvegardes dans l’UI pour obtenir la commande SQL permettant de restaurer la sauvegarde. La commande ressemblera à ceci :

   Déplacer des sauvegardes vers un autre emplacement

   Si vous déplacez les sauvegardes vers un autre emplacement, vous devrez adapter la commande de restauration pour qu’elle pointe vers ce nouvel emplacement.

   Commande ASYNC

   Pour la commande Restore, vous pouvez également ajouter, de manière facultative, une commande ASYNC à la fin pour les restaurations volumineuses. Cela permet aux restaurations de s’exécuter de façon asynchrone. Ainsi, si la connexion est perdue, la restauration continue de s’exécuter. Il est important de noter que la commande ASYNC renvoie immédiatement un statut de réussite. Cela ne signifie pas que la restauration a réussi. Vous devrez surveiller la table system.backups pour voir si la restauration est terminée et si elle a réussi ou échoué.

4. Exécuter la commande de restauration

   Exécutez la commande de restauration depuis la console SQL du service nouvellement créé pour restaurer la sauvegarde.

​

GCP

​

Effectuer des sauvegardes sur GCP

Suivez les étapes ci-dessous pour effectuer des sauvegardes sur GCP :

​

Étapes à suivre dans GCP

1. Créer un bucket de stockage GCP

   Créez un bucket de stockage dans votre compte GCP pour y exporter les sauvegardes.

2. Générer une clé et un secret HMAC

   Générez une clé et un secret HMAC, requis pour l’authentification par mot de passe. Suivez les étapes ci-dessous pour générer les clés :

   • a. Créer un compte de service

     • I. Accédez à la section IAM & Admin dans la Google Cloud Console et sélectionnez Service Accounts.
     • II. Cliquez sur Create Service Account, puis indiquez un nom et un ID. Cliquez sur Create and Continue.
     • III. Attribuez le rôle Storage Object User à ce compte de service.
     • IV. Cliquez sur Done pour finaliser la création du compte de service.

   • b. Générer la clé HMAC

     • I. Accédez à Cloud Storage dans la Google Cloud Console, puis sélectionnez Settings
     • II Accédez à l’onglet Interoperability.
     • III. Dans la section Service account HMAC, cliquez sur Create a key for a service account.
     • IV. Choisissez dans le menu déroulant le compte de service que vous avez créé à l’étape précédente.
     • V. Cliquez sur Create key.

   • c. Stocker les identifiants de manière sécurisée :

     • I. Le système affichera l’Access ID (votre clé HMAC) et le Secret (votre secret HMAC). Enregistrez ces valeurs, car le secret ne sera plus affiché après la fermeture de cette fenêtre.

​

Étapes à suivre dans ClickHouse Cloud

Suivez les étapes ci-dessous dans la console ClickHouse Cloud pour configurer le bucket externe :

1. Modifier la sauvegarde externe

   Sur la page Settings, cliquez sur Change external backup

2. Configurer la clé HMAC et le Secret GCP

   Dans la boîte de dialogue, indiquez le path du bucket GCP, la clé HMAC et le Secret créés dans la section précédente.

3. Enregistrer le bucket externe

   Cliquez sur Save External Bucket pour enregistrer les paramètres.

4. Modifier la planification des sauvegardes par défaut

   Les sauvegardes externes seront désormais effectuées dans votre bucket selon la planification par défaut. Vous pouvez également configurer la planification des sauvegardes depuis la page Settings. Si une autre configuration est définie, la planification personnalisée et le paramètre de rétention s’appliquent aux sauvegardes écrites dans votre bucket. Les sauvegardes dans le bucket géré par ClickHouse Cloud utilisent la planification par défaut (sauvegardes toutes les 24 heures) et la politique de rétention par défaut.

5. Afficher les sauvegardes stockées dans votre bucket

   La page Backups doit afficher les sauvegardes présentes dans votre bucket dans un tableau distinct, comme illustré ci-dessous :

​

Restaurer des sauvegardes depuis GCP

Suivez les étapes ci-dessous pour restaurer des sauvegardes depuis GCP :

1. Créer un nouveau service de destination pour la restauration

   Créez un nouveau service dans lequel restaurer la sauvegarde.

2. Obtenir la commande SQL utilisée pour restaurer la sauvegarde

   Cliquez sur le lien access or restore a backup au-dessus de la liste des sauvegardes dans l’UI pour obtenir la commande SQL permettant de restaurer la sauvegarde. La commande doit ressembler à ceci, et vous pouvez sélectionner la sauvegarde appropriée dans la liste déroulante pour obtenir la commande de restauration correspondant à cette sauvegarde. Vous devrez ajouter votre clé d’accès secrète à la commande :

   Déplacer des sauvegardes vers un autre emplacement

   Si vous déplacez les sauvegardes vers un autre emplacement, vous devrez adapter la commande de restauration pour qu’elle pointe vers le nouvel emplacement.

   Commande ASYNC

   Pour la commande RESTORE, vous pouvez également ajouter ASYNC à la fin pour les restaurations volumineuses. Cela permet aux restaurations de s’exécuter de manière asynchrone : si la connexion est perdue, la restauration continue. Il est important de noter que la commande ASYNC renvoie immédiatement un statut de réussite. Cela ne signifie pas que la restauration a réussi. Vous devrez surveiller la table system.backups pour vérifier si la restauration est terminée et si elle a réussi ou échoué.

3. Exécuter la commande SQL pour restaurer la sauvegarde

   Exécutez la commande de restauration depuis la console SQL du service nouvellement créé pour restaurer la sauvegarde.

​

Azure

​

Effectuer des sauvegardes sur Azure

Suivez les étapes ci-dessous pour effectuer des sauvegardes sur Azure :

​

Étapes à suivre dans Azure

1. Créer un compte de stockage

   Créez un compte de stockage ou sélectionnez un compte de stockage existant dans le portail Azure où vous souhaitez stocker vos sauvegardes.

2. Obtenir la chaîne de connexion

   • a. Dans la vue d’ensemble de votre compte de stockage, repérez la section Security + networking, puis cliquez sur Access keys.
   • b. Vous y verrez key1 et key2. Sous chaque clé se trouve un champ Connection string.
   • c. Cliquez sur Show pour afficher la chaîne de connexion. Copiez-la : vous l’utiliserez pour la configuration dans ClickHouse Cloud.

​

Étapes à suivre dans ClickHouse Cloud

Suivez les étapes ci-dessous dans la console ClickHouse Cloud pour configurer le bucket externe :

1. Modifier la sauvegarde externe

   Sur la page Settings, cliquez sur Change external backup.

2. Fournir la chaîne de connexion et le nom du conteneur pour votre compte de stockage Azure

   À l’écran suivant, indiquez la chaîne de connexion et le nom du conteneur de votre compte de stockage Azure créé dans la section précédente :

3. Enregistrer le bucket externe

   Cliquez sur Save External Bucket pour enregistrer les paramètres.

4. Modifier la planification des sauvegardes par défaut

   Les sauvegardes externes seront désormais effectuées dans votre bucket selon la planification par défaut. Vous pouvez également configurer la planification des sauvegardes depuis la page « Settings ». Si une planification différente est définie, la planification personnalisée et le paramètre de rétention s’appliquent aux sauvegardes écrites dans votre bucket. Les sauvegardes dans le bucket géré par ClickHouse Cloud utilisent la planification par défaut (sauvegardes toutes les 24 heures) et la politique de rétention par défaut.

5. Afficher les sauvegardes stockées dans votre bucket

   La page Backups devrait afficher ces sauvegardes dans votre bucket dans un tableau séparé, comme indiqué ci-dessous :

​

Restaurer des sauvegardes à partir d’Azure

Pour restaurer des sauvegardes à partir d’Azure, suivez les étapes ci-dessous :

1. Créer un nouveau service de destination pour la restauration

   Créez un nouveau service dans lequel restaurer la sauvegarde. À l’heure actuelle, nous prenons uniquement en charge la restauration d’une sauvegarde vers un nouveau service.

2. Obtenir la commande SQL utilisée pour restaurer la sauvegarde

   Cliquez sur le lien access or restore a backup au-dessus de la liste des sauvegardes dans l’UI pour obtenir la commande SQL permettant de restaurer la sauvegarde. La commande doit ressembler à ceci, et vous pouvez sélectionner la sauvegarde appropriée dans la liste déroulante pour obtenir la commande de restauration correspondant à cette sauvegarde. Vous devrez ajouter à la commande la chaîne de connexion de votre compte de stockage Azure.

   Déplacer des sauvegardes vers un autre emplacement

   Si vous déplacez les sauvegardes vers un autre emplacement, vous devrez adapter la commande de restauration pour qu’elle pointe vers ce nouvel emplacement.

   Commande ASYNC

   Pour la commande Restore, vous pouvez aussi ajouter facultativement ASYNC à la fin pour les restaurations volumineuses. Cela permet aux restaurations de s’exécuter de manière asynchrone afin que, si la connexion est perdue, la restauration continue. Il est important de noter que la commande ASYNC renvoie immédiatement un statut de réussite. Cela ne signifie pas que la restauration a réussi. Vous devrez surveiller la table system.backups pour vérifier si la restauration est terminée et si elle a réussi ou échoué.

3. Exécuter la commande SQL pour restaurer la sauvegarde

   Exécutez la commande de restauration depuis la console SQL du service nouvellement créé afin de restaurer la sauvegarde.