Plus de 50 000 sites Web qui ont opté pour une offre d'hébergement mutualisé sont affectés par une panne chez OVH
Suite au plantage d'une baie EMC

Le , par Stéphane le calme, Chroniqueur Actualités
Jeudi soir, l’hébergeur français OVH a fait face à une panne importante qui a touché une baie de stockage EMC VNX 5400 utilisée pour stocker une partie des bases de données des hébergements mutualisés au datacenter de Paris (il s'agit d'un ensemble composé de 96 disques SSD configurés en active/active sur plusieurs baies physiques). Conséquence, 50 000 des 3 millions de sites ont été paralysés.

Dans un communiqué, Octave Klaba, le fondateur et directeur général de la structure, a donné quelques précisions. « Pour héberger les 3 millions de sites web en hébergement mutualisé nous utilisons deux datacentres : le DC historique à Paris (P19) et le nouveau DC à Gravelines (GRA1). Sur P19, nous utilisons différentes technologies pour stocker les données pour les sites web et les bases de données. Dans la majorité des cas nous utilisons notre technologie NAS ou NAS-HA basée sur le ZFS. »

« Aussi sur P19, dans certains cas nous utilisons les baies de stockage propriétaires d'EMC VNX 5400 avec les disques SSD. Il s'agit d'une solution que nous avons mise en place en 2012 pour pallier les problèmes de performances de stockage que nous avons eus en 2012 sur les bases de données. Depuis nous avons fixé la performance sur nos NAS-HA et sur GRA nous n'utilisons plus que nos solutions internes. »

Il a précisé que « La technologie d'EMC n'est pas à l'origine de l'incident. Nos datacentres ne sont pas adaptés pour héberger ce type d'infrastructure. Seules certaines salles sont spécialement préparées pour ce genre d'hébergement, mais cette baie de stockage n'y a pas été hébergée ce qui est l'origine du problème », avant de remercier EMC pour son aide dans la résolution de l’incident.

Pour résoudre ce problème, OVH a lancé deux actions :

  1. L’entreprise s’est mise en contact avec EMC avec qui elle a essayé de redémarrer le système. Une équipe de RBX a pris une baie de stockage EMC VNX 5400 qu’elle a eu en spare à Roubaix pour la transporter à P19. La baie est arrivée à P19 vers 3 heures du matin et OVH a essayé de redémarrer les disques dans cette nouvelle baie de stockage. La structure a demandé l'intervention d'EMC sur le site pour le faire au plus vite. « Nous ne savons pas encore combien de temps va prendre le redémarrage de la baie et si nous arriverons à récupérer les données », avait admis Klaba ;
  2. C'est pourquoi OVH a lancé la restauration de bases de données à partir de backup. Cette restauration a commencé vers minuit du matin. Ce matin à 9 heures, environ 15 % de bases de données ont été remises en route en mode « lecture seule » c'est-à-dire que les sites web peuvent lire les données dans les bases de données, mais ne peuvent pas encore les modifier. « Nous continuons la restauration qui va prendre jusqu'à environ ce soir 20 heures. L'ensemble de process est désormais automatisé et nous avons assez de stockage pour déployer toutes ces bases de données sur P19. »

Il est possible de suivre l’avancée des travaux ici.

« Nous sommes sincèrement désolés pour cette panne. La dernière panne de cette ampleur date de 2006 et à l’époque, nous avions remis en question toutes les technologies de stockage que nous utilisons chez Ovh. Cette panne est une leçon de plus et nous allons vous communiquer les changements qui vont s’opérer dès la fin de cet incident pour éviter de revivre la prochaine panne de cette ampleur dans 10 ans encore », a conclu le fondateur.

Source : OVH

Et vous ?

Avez-vous été affecté par cette panne ?

Voir aussi :

OVH : l'hébergeur français met la main sur le Cloud public de VMware, pour accélérer son implantation aux États-Unis
OVH victime de la plus violente attaque DDoS jamais enregistrée, par un botnet de caméras connectées qui n'étaient pas sécurisées
OVH va lever 300 millions d'euros, l'hébergeur va ouvrir son capital à des investisseurs tiers pour accélérer son développement à l'international


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de abbe2017 abbe2017 - Membre averti https://www.developpez.com
le 01/07/2017 à 17:14
en 10ans d'hébergement pour moi et mon entourage, je n'ai toujours pas compris pourquoi les gens allaient chez OVH plutôt que j'ai 1&1.
même moi, avant j'étais chez Amen et c'est devenu une galère jusqu'au jour où j'ai découvert 1&1.

Alors OVH, quand ça plante comme ça , bun ça ne m'étonne pas. Et biensur, pas de redondance chez ovh...

OVH c'est le Senseo du café : quand t'as gouté à NEspresso, tu te démerdes de finir ton sachet de dosettes pour pas gacher et tu files en urgence acheter une nespresso.
Avatar de solstyce39 solstyce39 - Membre habitué https://www.developpez.com
le 01/07/2017 à 17:35
Dénigrer OVH au profit de 1&1 c'est tellement gros que je ne sais même pas quoi répondre ....

Pour le reste aucune entreprise n'est à l'abri d'une panne, d'une erreur humaine ou autre ...
Avatar de ideeaugram ideeaugram - Membre du Club https://www.developpez.com
le 01/07/2017 à 19:14
Je suis chez OVH depuis plus de 7 ans maintenant, et je n'ai jamais eu de panne sur mes sites !

Je sauvegarde régulièrement ceux-ci en local au cas ou

Et comme dit le proverbe marseillais : "Il n'y a que ceux qui ne font rien qui ne se trompent pas "
Avatar de Pat_AfterMoon Pat_AfterMoon - Membre averti https://www.developpez.com
le 01/07/2017 à 23:59
J'ai plusieurs site hébergés en mutualisé chez OVH depuis un moment (plus de 10 ans) et d'après mes logs ils n'ont pas été impactés par cette panne.

Par contre ils ont été impacté par ça :
http://travaux.ovh.net/?do=details&id=25736
Suite aux restaurations des bases de données, il est possible que vous rencontriez une incohérence dans le nom de votre base au niveau de votre fichier de configuration.
:
Si vous utilisez un serveur dans votre fichier de configuration nommé "sql**-**.**", vous devez le remplacer par le host "classique" à savoir NomDeLaBase.mysql.db
Si j'ai bien compris, à une époque on indiquait en "host" pour les BDD un nom de serveur "physique" alors que depuis des années c'est plutôt un nom de host "logique" en rapport avec le nom d'hébergement. En réparant la panne, ils ont supprimé la gestion des vieux nom physiques.

Pour mes "vieux" sites, ça a été radical, aux alentours de 20h30, plus aucune BDD accessible.
J'ai pu corrigé mes sites rapidement, mais bon, c'est un effet de bord qui n'est quand même pas très cool.
Avatar de e101mk2 e101mk2 - Membre actif https://www.developpez.com
le 02/07/2017 à 2:31
J'ai déjà héberger chez 1&1 et OVH pour des pro.
Alors chez 1&1 temps de réponse degeux, mail inutilisée remplit de spam spécialisée dans le domaines professionnel (assurance, aides, et autres...), donc ils vendent notre adresse mail "inclut dans l'offre". Sans parler du système de résiliations à perdre des cheveux.
Peut être qu'ils se sont amélioré, mais sur le coup je reste rancunier.

Alors que chez OVH pas trop de soucie, le temps de réponse est acceptable, par contre j'ai pas vérifier les adresses mails non utilisé..., et je n'ai jamais entamé la procédure de résiliation.
Avatar de TiranusKBX TiranusKBX - Expert confirmé https://www.developpez.com
le 02/07/2017 à 14:02
Je n'utilise plus OVH depuis longtemps car leur offre est trop limitée pour mes usages(ou trop chère pour du serveur dédié) mais je n'ai pas vraiment eus de problème avec eux, par contre j'ai dus administrer des comptes 1&1 de plusieurs clients et tu à souvent envie de te pendre
Avatar de seikida seikida - Membre habitué https://www.developpez.com
le 03/07/2017 à 2:45
Je suis egalement chez OVH et hormis quelque soucie (que je trouve raisonnable) je n'ai jamais eu de gros probleme.
Pour ce qui est de 1&1 je ne le conseil vraiment pas. Je ne sais pas ce qu'il en est maintenant donc c'est a prendre avec des pincettes, mais a l'epoque ou j'avais teste leur service :

- le service client etait vraiment mauvais
- ensuite je me suis fais escroquer et j'ai du assister plus d'une annee et demi pour etre remboursse

Pour info, je vis au Japon et j'utilise OVH pour mes sites perso qui fonctionnent tres tres bien (Je n'utilise pas les services japonais car ils coutent bien trop cher et je ne les trouve pas hyper performant par rapport a OVH ...).
Avatar de Paul TOTH Paul TOTH - Expert éminent sénior https://www.developpez.com
le 03/07/2017 à 10:22
personnellement j'aime beaucoup la transparence de OVH, dès que mes sites sont tombés, je me suis rendu sur travaux.ovh.com et j'ai pu suivre le détail de tout ce qu'il se passait en temps réel...ce n'était certes pas rassurant, mais inutile de passer des heures au téléphone avec la hotline, tout était sur le site.

avec 1&1 je n'ai qu'une seule expérience avec eux, le transfert d'un nom de domaine de chez eux à chez OVH...ça a foiré pour un problème d'email invalide chez eux, et c'est OVH qui m'a trouvé une solution. Certes, ils avaient plus intérêt que 1&1 à ce que cela fonctionne, mais j'avais au téléphone quelqu'un facile à joindre qui savait de quoi il parle face a des réponses bidon et sans solution du côté 1&1 après une attente extrêmement longue.
Avatar de Coriolan Coriolan - Chroniqueur Actualités https://www.developpez.com
le 03/07/2017 à 16:45
OVH : l'hébergeur assure que la panne qu'il a connue est entièrement de sa faute
Après avoir accusé le matériel d'EMC

Jeudi dernier, plus de 50 000 sites Web qui ont opté pour une offre d'hébergement mutualisé ont été affectés par une panne chez OVH. Cet incident a laissé les sites inaccessibles pendant plusieurs heures, une crise d’envergure pour l’hébergeur roubaisien qui n’a pas connu d’incident pareil depuis 2006.

Cette panne a été liée à une baie de stockage EMC VNX 5400 utilisée pour stocker une partie des bases de données des hébergements mutualisés au datacenter de Paris (il s'agit d'un ensemble composé de 96 disques SSD configurés en active/active sur plusieurs baies physiques). Plus de trois millions de sites web répartis sur deux datacenters utilisent cette offre d’hébergement mutualisé d’OVH.

Au début de l’incident, le PDG d’OVH Octave Klaba a pointé du doigt le matériel EMC suite aux soucis rencontrés avec la baie de 96 disques EMC : « Il ne veut plus redémarrer, nous avons contacté le constructeur et essayons de trouver une solution pour récupérer les données hébergées sur cette baie », écrivait-il.

Il faut savoir que ces disques SSD sont configurés en active/active sur plusieurs baies physiques, une façon d’éviter la catastrophe et assurer un service opérationnel tout le temps même au cas où une baie physique tombe en panne. Mais malheureusement pour OVH, ils ont eu des soucis avec les deux baies physiques en même temps, un scénario très rare et qui « n’arrive jamais », affirme Octave Klaba sur Twitter.

Après avoir accusé EMC dans son message initial, OVH informe désormais que cette panne est entièrement de sa faute. « La technologie d'EMC n'est pas à l'origine de l'incident. Nos datacentres ne sont pas adaptés pour héberger ce type d'infrastructure. Seules certaines salles sont spécialement préparées pour ce genre d'hébergement, mais cette baie de Stockage n'y a pas été hébergée ce qui est l'origine du problème. »

Suite à cette ambiguïté de la communication d’OVH, on ne sait pas si l’hébergeur est vraiment responsable de cette panne (et s’est donc trompé d’analyse) ou bien il a dû rétropédaler suite à la pression d’EMC. Une chose est sûre, l’hébergeur informe que cette panne va servir de leçon pour l’hébergeur et qu’il va communiquer les changements qui vont s’opérer dès la fin de cet incident pour éviter de revivre la prochaine panne de cette ampleur dans 10 ans encore.

Cette crise constitue un coup dur pour OVH qui vient de lever 300 millions d’euros pour accélérer son développement à l’international, notamment sur le marché américain.

Source : OVH

Et vous ?

Avez-vous été affecté par cette panne ?

Voir aussi :

OVH : l'hébergeur français met la main sur le cloud public de VMware, pour accélérer son implantation aux États-Unis
OVH victime de la plus violente attaque DDoS jamais enregistrée, par un botnet de caméras connectées qui n'étaient pas sécurisées
OVH va lever 300 millions d'euros, l'hébergeur va ouvrir son capital à des investisseurs tiers pour accélérer son développement à l'international
Avatar de XanatosAO XanatosAO - Membre du Club https://www.developpez.com
le 04/07/2017 à 9:02
Impacté sur deux sites clients « non critique » (même si pour les clients c'est toujours critique et ça se comprend).
A part attendre, il n'y a pas grand chose d'autre à faire vu que les données n'étaient pas accessibles.

D'ailleurs je ne sais pas si OVH propose des offres avec redondance des serveurs ? pour justement pallier à cela.
Contacter le responsable de la rubrique Accueil