Incendie d’OVH en 2021 : notre plan de reprise d’activité

Après l’incendie d’OVH, le point sur notre plan de reprise d’activité

Dans la nuit du 9 au 10 mars 2021, un incendie s’est déclaré sur le site de Strasbourg d’OVHcloud. Aucune victime dans les rangs d’OVH, ni chez les pompiers ou les forces de sécurité. Le bâtiment SBG2 est entièrement détruit.

Les informations qui suivent ne sont pas une critique de la société OVHcloud. OVH est un partenaire de longue date, et ses équipes ont fait tout leur possible pour rétablir le service. Nous allons tenter de décrire le vécu de nos équipes lors de la mise en place de notre plan de reprise d’activité (PRA), face aux attentes et au désarroi des clients.

Le PRA

Avec l’appui de la société Sôter Conseil, nous avions mis en place un plan de reprise d’activité revu peu de temps auparavant. Il prévoit une communication de crise : informations publiées sur ce blog et relayées sur nos réseaux sociaux.

Notre plan de reprise d’activité est relativement simple, compte tenu du cloisonnement rigoureux de nos services internet :

• connexion aux services d’OVH ;
• vérification du fonctionnement des serveurs ;
• vérification de la disponibilité des sauvegardes distantes ;
• commande de nouveaux serveurs ;
• restauration des sauvegardes ;
• transfert des adresses IP ;
• vérifications et essais.

Plan B :

• si la commande est impossible, cloisonner des serveurs existants, et continuer sur le plan A ;
• si les adresses IP ne sont pas disponibles, modifier les enregistrements DNS des clients, et continuer sur le plan A.

Premier bilan : deux serveurs détruits, mais pas seulement…

Deux serveurs intégralement détruits, c’est déjà problématique, mais tous les services d’OVH sont touchés : le site de gestion semble saturé, certaines opérations sont fortement ralenties, les serveurs Exchange, même hors de Strasbourg, semblent saturés.

Notre équipe s’est donc mobilisée dès le petit jour pour mettre en place le plan de reprise d’activité que nous avions revu avec la société Sôter à la fin de l’année précédente.

Le PRA, pas aussi simple que prévu…

Nous avions bien évidemment des sauvegardes distantes de nos serveurs, mais la désorganisation causée par l’incendie dans le fonctionnement d’OVH ne nous a pas permis de répondre aussi vite que nous le souhaitions aux besoins de nos clients.

Pendant un moment, la commande de nouveaux serveurs est saturée, l’interface de gestion d’OVH rame affreusement, nous subissons de nombreuses déconnexions, nos téléphones IP semblent bien calmes, la bascule des adresses IP est bloquée : il va falloir adapter le PRA à l’évolution de la situation.

À 11 h 40, nous parvenons à commander un serveur dans le centre de données de Francfort, en Allemagne, mise en route prévue en 120 secondes. À 12 h 30, il est toujours en cours de livraison.

Notre plan prévoit la bascule de tous les services (applications hébergées, sites web, courriels) sur un nouveau serveur dès qu’il sera disponible. Si OVH ne peut pas le livrer, le plan B consistera à restaurer les sauvegardes sur des serveurs dédiés à d’autres tâches.

Le plan B est lancé

10 mars 2021, 18 h — Notre serveur n’a toujours pas été livré. Octave Klaba, président d’OVHcloud, promet des serveurs de remplacement, sans échéance ni conditions de mise à disposition. Une grande partie des services d’OVH est désorganisée, certains sont complètement paralysés, mais les équipes d’OVH font le maximum pour tout remettre en route. Cela prendra plusieurs semaines.

Chez AmaZili, c’est aussi la course pour les équipes d’exploitation, qui rétablissent les services à partir des sauvegardes sur nos serveurs restants, en attendant une livraison improbable. Nous avons mis en place des solutions provisoires pour les clients qui avaient des urgences à traiter.

11 mars 2021, 2 h — Problèmes avec les adresses IP et les DNS. Faute de pouvoir transférer les adresses IP, changement de plan : nos équipes vont reconfigurer tous les enregistrements DNS. La suite après une courte nuit.

Le point après la première nuit

11 mars 2021, 6 h — Notre serveur n’a toujours pas été livré.

Chez AmaZili, toutes les sauvegardes ont été récupérées. Nous avons fait une installation provisoire pour l’un de nos clients, qui remettait la veille une réponse à un appel d’offres, afin qu’il puisse recevoir les courriels de la procédure. Les équipes ont ensuite restauré les sauvegardes sur notre serveur le moins chargé, et vont passer, si c’est possible, à la reconfiguration des DNS, les adresses IP restant difficiles à transférer d’un serveur à un autre.

Le point de la mi-journée

11 mars 2021, 16 h 40 — Toujours pas de serveur de remplacement. À la mi-journée, Octave Klaba annonce un retour à la normale dans plusieurs semaines.

Le point avant la deuxième nuit

11 mars 2021, 19 h — Toujours pas de serveur de remplacement. On sent bien que tout le monde fait des efforts chez OVH, mais aucun serveur n’est disponible pour remplacer ceux qui ont brûlé.

La sauvegarde d’un premier serveur a été restaurée sur un espace provisoire. Les problèmes de propagation des DNS sont toujours là, et les modifications prennent du temps. La charge du serveur de destination monte, et nous n’avons pas d’autre solution que de faire avec : tout se fait avec des pincettes… Nous tentons de restaurer la sauvegarde du deuxième serveur brûlé.

Le point de minuit

12 mars 2021, 1 h — Toujours pas de serveurs de remplacement. Le serveur commandé chez OVH n’est toujours pas livré. Suite aux communiqués d’OVH et aux réponses à nos demandes d’assistance, nous avons demandé l’annulation de la commande et la procédure de remplacement des serveurs brûlés.

La sauvegarde d’un second serveur a été restaurée sur un espace provisoire. Nous n’avons pas pu restaurer la toute dernière sauvegarde : elle était corrompue, donc inutilisable. La charge du serveur de destination monte en flèche ; nous espérons qu’il tiendra le choc, mais les performances seront forcément moins bonnes pour l’ensemble des services hébergés. Nous ne pouvons pas rétablir tous les pointages DNS : certains domaines sont gérés directement par les clients, et à cette heure, ils dorment… Les équipes vont prendre un repos bien mérité.

Le point en fin de deuxième nuit

12 mars 2021, 5 h 30 — Toujours pas de nouvelles des serveurs de remplacement. Allez, chez OVH, vous devez être aussi fatigués que nous : une procédure de remplacement simple serait la bienvenue.

Les services d’OVH reviennent à la normale, ou presque : les temps de réponse des interfaces de gestion sont maintenant compatibles avec l’état de nerfs de nos équipes. Les sites marchands restaurés à partir de la deuxième série de sauvegardes fonctionnent. Reste à faire repointer tous les DNS dont nous n’avons pas la maîtrise. La journée sera cruciale pour savoir si le serveur de destination tient la charge.

Le point de la mi-journée

12 mars 2021, 15 h 30 — Toujours pas de nouvelles des serveurs de remplacement. Nous avons demandé à OVH l’annulation du serveur commandé à Francfort, toujours pas livré, et commandé deux nouveaux serveurs à Roubaix.

L’ensemble des services de nos clients est rétabli : les sites fonctionnent, les courriels arrivent, et les applications rendent les services pour lesquels elles sont conçues. La sauvegarde du second serveur nous a donné du fil à retordre, et nous n’avons pas pu restaurer les toutes dernières. En attendant la livraison des nouveaux serveurs, nous allons préparer la migration inverse, en espérant ne pas souffrir des lenteurs de mise à jour des DNS ou des transferts d’adresses IP. Nous allons aussi faire rapidement le point avec les équipes de Sôter Conseil, afin de tirer les leçons de cet épisode de crise et d’améliorer notre PRA.

Ce qui a changé depuis

Cet incendie nous a appris qu’une sauvegarde distante ne suffit pas : il faut aussi pouvoir la restaurer vite, ailleurs, quand le fournisseur lui-même est désorganisé. Depuis, nous avons revu la répartition de nos serveurs, nos procédures sont auditées en interne, et nous mettons en place une infrastructure de sauvegarde plus élaborée.

Pour savoir comment nous protégeons vos sites, voyez notre page hébergement et notre billet sur les erreurs de sécurité les plus courantes.