Rogers Communications inc. affirme qu'une mise à jour de son réseau a causé une défaillance qui a "très rapidement" interrompu ses services de télécommunications plus tôt ce mois-ci. Dans une lettre envoyée aux autorités canadiennes, l'entreprise a expliqué qu'une erreur de codage a été introduite lors de la mise à jour et a déclenché une cascade d'événements, ce qui a entraîné une panne massive qui a laissé des millions de Canadiens sans service de téléphonie cellulaire, d'Internet ou de téléphonie résidentielle pendant au moins une journée. Certains services de communication d'urgence étaient également indisponibles.Selon la chronologie des événements, telle que décrite par l'entreprise elle-même, les ingénieurs de Rogers ont entamé la sixième étape d'un processus en sept étapes visant à mettre à niveau l'infrastructure de base qui soutient les réseaux sans fil et à large bande de l'entreprise à 2h 27 (heure locale) le 8 juillet. Environ deux heures et 16 minutes plus tard, une erreur de codage a été introduite et a déclenché une série d'événements qui a rendu pratiquement tous les services du géant des télécommunications indisponibles. La fermeture de l'un des principaux réseaux de télécommunications du Canada a provoqué un chaos généralisé.
Des millions d'abonnés sont longuement restés sans service de téléphonie cellulaire, d'Internet ou de téléphonie résidentielle. De plus, Rogers n'a pas été en mesure de transmettre quatre alertes d'urgence à ses clients dans la province du Saskatchewan, dont trois avertissements de tornade et un rapport de personne dangereuse. Les clients de Rogers n'ont pas pu appeler le 911, et le système de débit Interac a également été touché, ce qui a causé des problèmes aux consommateurs et aux entreprises. À Toronto, la panne a obligé le chanteur canadien The Weeknd à reporter un concert qui devait avoir lieu au Rogers Centre ce soir-là.
Le gouvernement fédéral et le Conseil de la radiodiffusion et des télécommunications canadiennes (CRTC) se sont alors interrogés sur les raisons de cette situation. Au départ, Rogers lui-même n'était pas sûr de la cause de la perturbation de ses services. Mais quelques semaines plus tard, dans une soumission détaillée en réponse aux questions du CRTC, l'entreprise a donné un compte rendu complet de sa version des événements. La soumission, publiée sur le site Web du CRTC, a respecté l'échéance fixée par l'organisme de réglementation pour que Rogers réponde aux questions concernant la panne. Certaines parties ont été expurgées.
Elle comporte de nombreux passages où l'on croit que Rogers aurait fourni des détails plus précis sur le problème et ses plans pour éviter qu'une telle situation ne se reproduise. En effet, le CRTC a déclaré que Rogers a soumis deux versions de la lettre, l'une non expurgée et l'autre expurgée, et qu'il a publié cette dernière afin de protéger des "informations très sensibles" sur les activités de Rogers. La soumission explique que, comme bon nombre de ses homologues, Rogers dispose actuellement d'un réseau central qui prend en charge tous les services qu'il offre. Le noyau est essentiellement le cerveau du réseau.
Il reçoit, traite, transmet et connecte tout le trafic de voix, de données sans fil, d'Internet et de télévision. L'entreprise a entamé le processus en sept phases de mise à niveau du réseau principal en février, après ce que Rogers a décrit dans sa lettre au CRTC comme un processus de planification complet comprenant l'approbation du budget et du projet, l'évaluation des risques et les essais. Les cinq premières phases se sont déroulées sans heurts. Mais, à 4h 43 le 8 juillet, un morceau de code a été introduit, supprimant un filtre de routage. Dans ces réseaux, les paquets de données sont guidés et dirigés par des dispositifs appelés routeurs.
Les filtres empêchent ces routeurs d'être débordés, en limitant le nombre de routes possibles qui leur sont présentées. Ainsi, en supprimant le filtre, toutes les routes possibles vers l'Internet sont passées par les routeurs, ce qui a conduit plusieurs de ces dispositifs à dépasser leur mémoire et leurs capacités de traitement. Cela a provoqué l'arrêt du réseau central. Rogers utilise des équipements de différents fabricants dans son réseau central, et les deux fournisseurs auprès desquels il achète des routeurs ont des conceptions et des approches différentes pour gérer le trafic et protéger l'équipement contre la surcharge.
Selon les explications de l'entreprise, ces différences sont au cœur de la panne subie par Rogers. Mais, aux premières heures, les techniciens de l'entreprise n'avaient pas encore identifié la cause de la catastrophe. Rogers a apparemment envisagé la possibilité que ses réseaux aient été attaqués par des cybercriminels. La lettre indique qu'à 6 heures du matin, Jorge Fernandes, qui était à l'époque le chef de la technologie de l'entreprise, a contacté ses homologues de Telus Corp. et de Bell Canada (BCE inc.) pour les informer de la panne et les avertir de se méfier d'éventuelles cyberattaques.
Bien que Bell et Telus aient offert leur aide, Rogers a rapidement déterminé qu'elle ne serait pas en mesure de transférer ses clients vers les réseaux de ses rivaux, car certains éléments du réseau de Rogers, comme sa base de données centralisée des utilisateurs, étaient inaccessibles à la suite de la panne. De plus, la lettre note que les réseaux rivaux n'auraient pas été en mesure de gérer l'augmentation soudaine du trafic provenant des 10,2 millions d'abonnés sans fil de Rogers. Afin de rétablir les services, certains employés ont commencé à échanger leurs cartes SIM contre des cartes SIM de Bell ou de Telus.
Ils auraient reçu ces cartes SIM en 2015 dans le cadre d'un plan d'urgence établi entre les fournisseurs de services sans fil. Ce n'est qu'à 8h 54, soit environ quatre heures après le début de la panne, que l'entreprise a reconnu publiquement la situation. Les divulgations de l'entreprise au CRTC suggèrent que la réaction tardive pourrait être liée à des problèmes de connexion aux comptes en ligne utilisés pour communiquer avec les clients. L'entreprise a déclaré qu'à l'avenir, elle s'assurera que ses équipes d'intervention en cas de crise disposent de méthodes alternatives pour accéder aux comptes de médias sociaux.
Ces comptes seraient protégés par une authentification à deux facteurs liée aux appareils Rogers. Il a fallu toute la journée à l'équipe réseau pour restaurer le réseau. Elle a dû déconnecter l'équipement à l'origine du problème, rediriger le trafic et confirmer la stabilité du réseau avant de remettre lentement les services en ligne. La société a expliqué que le processus a dû être effectué méthodiquement pour éviter de surcharger le réseau et de déclencher une autre panne. Le lendemain matin, Rogers a annoncé qu'il avait rétabli les services pour la "grande majorité" de ses clients. Mais des problèmes intermittents ont persisté tout au long du week-end.
Dans une lettre ouverte aux clients dimanche, le PDG de Rogers, Tony Staffieri, a promis d'investir davantage dans les tests, la surveillance et l'intelligence artificielle (IA) afin d'améliorer la fiabilité des réseaux de l'entreprise. Il a évalué le coût de ces changements à environ 10 milliards de dollars sur trois ans. Le géant du sans-fil prévoit également de séparer physiquement ses réseaux centraux sans fil et filaires afin de s'assurer que les pannes futures n'affectent pas les deux services. Rogers a également déclaré qu'il a engagé une tierce partie pour examiner et fournir des informations sur ce qui s'est passé.
Des représentants de Rogers et d'autres intervenants ont comparu devant un comité parlementaire lundi à Ottawa afin d'expliquer la cause de la panne et de décrire les mesures qu'ils prennent pour éviter que cela ne se reproduise.
Source : Document fourni par Rogers (au format docx)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'explication de Rogers concernant la panne qu'il a subie ?Voir aussi
Une erreur de codage de débutant qui pourrait avoir été utilisée pour le piratage de Gab provenait de son directeur technologique, le site a masqué les preuves de l'introduction du code non sécurisé Compromission du code PHP : les responsables de PHP blâment désormais une fuite de la base de données utilisateurs master.php.net, plutôt qu'un problème avec le serveur lui-même Le PDG de SolarWinds blâme un stagiaire pour une fuite de mot de passe, il n'est, cependant, pas encore certain que cela ait joué un rôle dans le piratage de SolarWinds 
