IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

L'université de Kyoto, au Japon, perd 77 To de données de recherche à la suite d'une erreur de sauvegarde,
Son superordinateur Hewlett-Packard les aurait effacées malencontreusement

Le , par Bill Fassinou

310PARTAGES

11  0 
L'université de Kyoto, un institut de recherche de premier plan au Japon, a récemment perdu un grand nombre de travaux de recherche après que son superordinateur a accidentellement effacé 77 téraoctets de données au cours d'une procédure de sauvegarde de routine. L'incident s'est produit entre le 14 et le 16 décembre 2021, et a entraîné l'effacement de 34 millions de fichiers de 14 groupes de recherche du système et du fichier de sauvegarde.

Selon les informations disponibles sur l'incident, l'université de Kyoto exploite des systèmes informatiques Hewlett-Packard Cray et un système de stockage DataDirect ExaScaler, qui peuvent être utilisés par des équipes de recherche à des fins diverses. Après avoir enquêté pour déterminer l'impact de la perte, l'université a conclu que le travail de quatre des groupes affectés ne pouvait plus être restauré. Pour l'instant, l'on ignore quels types de fichiers ont été spécifiquement supprimés ou ce qui a provoqué le dysfonctionnement.



Tous les utilisateurs concernés ont été informés individuellement de l'incident par courrier électronique, et l'université a par la suite publié sur son site Web les détails de ce malheureux incident. « Chers utilisateurs du service de calcul intensif ! Aujourd'hui, un bogue survenu dans le programme de sauvegarde du système de stockage a provoqué un incident dans lequel certains fichiers du stockage /LARGE0 ont été perdus. Nous avons cessé de traiter le problème, mais il est possible que nous ayons perdu près de 100 To de fichiers, et nous enquêtons sur l'étendue de l'impact », a écrit l'université de Kyoto dans un billet de blogue à la mi-décembre.

À l'heure actuelle, le processus de sauvegarde a été arrêté. Pour éviter que la perte de données ne se reproduise, l'université a mis au rebut le système de sauvegarde et prévoit d'y apporter des améliorations et de le réintroduire au cours de ce mois. Il est également prévu de conserver des sauvegardes incrémentielles - qui couvrent les fichiers qui ont été modifiés depuis la dernière sauvegarde - en plus des miroirs de sauvegarde complète. « Nous continuerons à travailler pour éviter que cela ne se reproduise afin qu'une telle situation ne se reproduise plus à l'avenir. Merci de votre compréhension », a-t-elle déclaré dans un second billet fin décembre.

Par ailleurs, bien que les détails du type de données perdues n'aient pas été révélés au public, la recherche sur les superordinateurs coûte plusieurs centaines de dollars par heure. Cet incident a donc dû causer de la détresse aux groupes concernés. L'université de Kyoto est considérée comme l'une des plus importantes institutions de recherche du Japon et bénéficie du deuxième plus grand investissement dans la recherche scientifique grâce aux subventions nationales. Selon certaines sources, l'excellence et l'importance de sa recherche se distinguent particulièrement dans le domaine de la chimie, où elle se classe au quatrième rang mondial.



Dans le domaine des supercalculateurs, le Japon est en tête du peloton. Il possède actuellement le superordinateur le plus puissant du monde, appelé "Fugaku", exploité par le "Riken Center for Computational Science", à Kobe. Fugaku a été construit par Fujitsu en coopération avec l'institut RIKEN et écrase la concurrence avec une puissance maximale de calcul de 442 pétaflops (nombre d'opérations en virgule flottante par seconde), une capacité trois fois supérieure à celle du système numéro deux de la liste. Le deuxième de la liste mondiale est le "Summit" d'IBM, doté d'une capacité de calcul maximal de 148 pétaflops.

La construction de Fugaku aurait coûté 1,2 milliard de dollars et il a été utilisé jusqu'à présent pour la recherche sur la Covid-19, le diagnostic, la thérapeutique et les simulations de propagation de virus. De son côté, le supercalculateur Jean Zay de la France, actuellement classé 105e dans le Top500, est récemment devenu le premier superordinateur qui peut fonctionner à la lumière, plutôt qu'au courant électrique. Jean Zay est le premier calculateur haute performance à disposer d'un coprocesseur photonique.

Source : Communiqués de l'université de Kyoto (1, 2)

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi

Le supercalculateur Jean Zay de la France est maintenant le premier HPC qui peut fonctionner à la lumière, plutôt qu'au courant électrique

Top500 : Fugaku reste le superordinateur le plus rapide du monde, Perlmutter fait son entrée et se positionne à la 5e place

La France positionne un supercalculateur dans le TOP 15 mondial, fruit du partenariat entre CEA/DAM et Atos

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de GLDavid
Expert confirmé https://www.developpez.com
Le 04/01/2022 à 16:01
Bonjour

Dans ce cas, je m'étonne:
1) qu'il n'y ait pas de mirroring
2) ont-ils prévu un DRP (Disaster Recovery Plan)?
77 To, outch!
Donc, c'est un processus de sauvegarde? Aucune doc? Quelqu'un a t'il validé ce processus? Ca sent le script bricolé qui aurait mal tourné...

@++
2  0 
Avatar de Christian_B
Membre éclairé https://www.developpez.com
Le 09/01/2022 à 10:04
Moi ce qui m'effare c'est :
Il est également prévu de conserver des sauvegardes incrémentielles
Les administrateurs d'un gros site de recherches étaient-ils les seuls à ne pas avoir pensé à le faire, alors que tous les gens un peu organisés utilisent ce type de sauvegarde ?
Mais on en sait peu, l'ensemble du système de sauvegarde n'est pas décrit même sommairement et on ne sait pas non plus quel volume total est conservée et donc quelle part des données est perdue.
2  0 
Avatar de
https://www.developpez.com
Le 04/01/2022 à 20:47
77 To, ça va vite sur les calculs scientifiques lourds. Donner un équivalent heures de calculs aurait été plus pertinent.
1  0 
Avatar de yann.papouin
Membre à l'essai https://www.developpez.com
Le 05/01/2022 à 8:04
À leur décharge, les scripts bash s'exécute ligne par ligne et si on modifie la ligne 35 alors que le backup, exécutée par cron, en est à la ligne 34 alors la nouvelle ligne de code sera prise en compte... Et ça c'est un gros gros piège.

À noter qu'il est possible de forcer l'évaluation complète du script avec des accolades, mais ça ne prend pas en compte les appels à d'autres scripts.
1  0 
Avatar de TotoParis
Membre expérimenté https://www.developpez.com
Le 05/01/2022 à 21:28
Citation Envoyé par Jeff_67 Voir le message
77 To, ça va vite sur les calculs scientifiques lourds. Donner un équivalent heures de calculs aurait été plus pertinent.
Toutes les heures de calcul ne se valent pas, c'est selon ce qui est calculé, qui peut être ou non fonction du volume de données. La volumétrie est un peu plus facile à apprécier.
2  1 
Avatar de TotoParis
Membre expérimenté https://www.developpez.com
Le 05/01/2022 à 21:30
Citation Envoyé par yann.papouin Voir le message
À leur décharge, les scripts bash s'exécute ligne par ligne et si on modifie la ligne 35 alors que le backup, exécutée par cron, en est à la ligne 34 alors la nouvelle ligne de code sera prise en compte... Et ça c'est un gros gros piège.

À noter qu'il est possible de forcer l'évaluation complète du script avec des accolades, mais ça ne prend pas en compte les appels à d'autres scripts.
Merci de l'information, je ne savais pas. Mais en général, on ne modifie pas un script qui tourne non plus. Il y a des procédures de tests, de validation, et de mise en production. Là, si ça se trouve, c'est un sabotage. Oh ! le vilain "complotiste" !!!
2  1 
Avatar de
https://www.developpez.com
Le 04/01/2022 à 21:39
Citation Envoyé par Jeff_67 Voir le message
77 To, ça va vite sur les calculs scientifiques lourds. Donner un équivalent heures de calculs aurait été plus pertinent.
certes, mais moins parlant pour les néophytes. idéalement il faudrait les deux...
à choisir entre les deux, parler en taille de fichier me parait cependant plus approprié pour une news écrite pour le plus grand nombre.
0  0