Support

Depuis 7h30 les services ont été perturbés puis totalement inaccessibles, à la suite d'une panne électrique sur les sites de Strasbourg, puis un blackout réseau sur le réseau Europeen d'OVH.

• 7h14 panne électrique sur le site de Strasbourg.
  Les groupes électrogènes de secours d'OVH n'ont pas démarré la conséquence : nous perdons notre serveur serv036 (l'un de nos hotes de machines virtuelles)

• Vers 8h alors que nous étudions la pertinence de basculer les services vers nos autres serveurs, le réseau d'OVH devient inopérant :

• Communiqué d'Octave Klaba de 8h15 :

Nous avons un souci d'alimentation de SBG1/SBG4. Les 2 arrivées électriques EDF sont down (!!) et les 2 chaines de groupes électrogènes se sont mis en défaut (!!!). L’ensemble de 4 arrivées elec n'alimentent plus la salle de routage. Nous sommes tous sur le problème.

• A partir de 8h aucune manipulation n'est possible compte tenue de l'état général du réseau d'OHV.

• 10h18, Octave Klaba :

SBG: 2 routing rooms are UP powered by gen. EDRF still down. ETA: 15min RBX: the DB of the optical node in RBX is corrupted. All links are still down. We upload the backup. ETA: 30min

On espère un rétablissement avant 11h

• 10h58 Roubaix est repartit, mais Strasbourg est toujours OFF. Le tableau de bord d'OVH est inopérant à cause de l'afflux de gens en panic.

• 11h Actuellement tout un pan des services et hébergement R3ZO est toujours OFF.

• 10h46, Octave Klaba (Twitter) :

SBG: ERDF repared 1 line 20KV. the second is still down. All Gens are UP. 2 routing rooms coming UP. SBG2 will be UP in 15-20min (boot time). SBG1/SBG4: 1h-2h

Donc pour les services encore en incident, rétablissement à prévoir vers 13h.

• 12h : les serveurs R3ZO sont tous remontés.
  Notre serv036 a subit deux arrêt 7h22 et 10h24 et 2 démarrages à 9h49 et 11h17. Autant dire qu'il à pris sa dose d'arrêts brutaux.
  Nous l'avons laissé vérifier ses filesystem avant de démarrer les services à partir de midi.

12h30 : Tous les services sont UP
Cependant nous observons encore des instabilités du réseau qui peuvent se traduire par des lenteurs de service notamment dans le chargement des pages web ou des mails.

Une partie des informations fournies par OVH : http://travaux.ovh.net/?do=details&id=28256