Il se passe quoi pendant une coupure de courant générale ?

Ce soir-là, je n’ai pas vu la fin de la finale de l’Euro. J’ai vu autre chose : en vingt minutes, une vallée a perdu la lumière, puis l’internet mobile, puis le téléphone, puis le 112, puis la radio. Voici le récit de cette coupure, vécue d’astreinte, un téléphone de supervision dans la poche. Et ce qu’elle révèle de nos infrastructures.

Dimanche 10 juillet 2016, Saint-Julien-Montdenis

Il fait chaud, de cette chaleur de juillet qui reste coincée au fond de la vallée bien après le coucher du soleil. Pas un nuage, pas d’orage. Rien qui annonce une panne.

C’est la finale de l’Euro : France–Portugal, au Stade de France. À Saint-Julien-Montdenis, la salle Croix des Têtes est devenue une tribune : écran géant, rangées de chaises, maillots bleus, et le Wi-Fi de la salle qui sert les téléphones.

Moi, je suis d’astreinte. Dans ma poche, un smartphone avec Anag, un client mobile pour Nagios et Icinga. Cette petite application vibre dès qu’un routeur, un serveur ou un lien radio cesse de répondre quelque part sur le réseau. Ce soir, j’espère qu’elle restera muette.

La mi-temps : le noir

Zéro à zéro à la pause. La salle se détend, on se lève, on commente. Et d’un coup, tout s’arrête.

L’écran devient noir. Les lampadaires de la rue s’éteignent en même temps que les lumières de la salle. Le Wi-Fi disparaît des téléphones. Il y a un court silence, puis le même réflexe chez tout le monde : chacun sort son smartphone pour retrouver le match en 3G ou en 4G.

• Plus d’éclairage public.
• Plus de match.
• Plus de Wi-Fi dans la salle.

Pour la salle, c’est une contrariété. Pour quelqu’un d’astreinte, c’est un signal. Quand l’éclairage public s’éteint en même temps que le bâtiment, ce n’est pas un disjoncteur qui a sauté : c’est le réseau de distribution.

Direction le datacenter

Je prends la voiture, une thermique : ce soir, le détail compte. Je file vers le datacenter. Sur la route, la vallée a disparu. Pas une fenêtre allumée, pas un lampadaire, seulement les phares dans la nuit.

Dans ma poche, Anag s’est arrêté très vite. Pas parce que tout va bien, mais parce qu’il n’arrive plus à joindre quoi que ce soit. Toute la salle, tout le village, toute la vallée est passée au même moment sur la 3G et la 4G pour voir la seconde mi-temps en vidéo. Les relais sont saturés.

Il y a pire. Une partie des relais du secteur ne sont pas raccordés en fibre mais par faisceaux hertziens (FH). Plus en aval du réseau, certains de ces FH sont tombés. Des antennes encore alimentées se sont retrouvées isolées, coupées du reste du monde.

Le datacenter tient bon

Le datacenter, lui, tourne. Le groupe électrogène a pris le relais. La cuve est pleine : plusieurs heures d’autonomie devant nous.

Surtout, au bout des fibres, à 40 kilomètres de là, il n’y a pas de coupure. Le chemin vers Internet est intact. Les serveurs répondent, Internet fonctionne. Le datacenter est un îlot allumé au milieu d’une vallée éteinte.

Le compte à rebours des antennes

Depuis cet îlot, je regarde le reste s’éteindre, couche par couche.

D’abord, l’internet mobile 3G/4G disparaît. La téléphonie 2G suit dans la foulée : autonomie d’environ quinze minutes. Impossible de passer un appel.

Au bout de quelques minutes, tous les opérateurs sont hors service, et le 112 avec eux. Le numéro d’urgence peut passer par le réseau de n’importe quel opérateur, encore faut-il qu’il en reste un.

Puis la radio FM se tait à son tour.

Tout ça en vingt minutes.

Un ver luisant sous la ZOE

Dehors, l’ambiance est étrange. Noir total. Plus de halo orange au-dessus des villages. La vallée a retrouvé la nuit d’avant l’électricité.

Et sous la ZOE, une petite lumière verte : un ver luisant. Une voiture électrique pleine de batteries, immobile, et sous son châssis la lumière la plus autonome de la vallée. Pas d’onduleur, pas de cuve, pas de collecte : de la bioluminescence.

Lire la panne dans les courbes

Retour aux écrans. Quand on a plusieurs instances Icinga, des sondes Smokeping et des liens radio, chaque équipement qui répond ou ne répond plus devient un point sur une carte. On voit littéralement les zones où l’électricité revient, puis repart.

La cause : un câble 20 000 volts

L’explication arrive plus tard : un câble 20 000 volts a causé la panne. La coupure a duré environ une heure.

Une heure, dont trente minutes ont suffi pour qu’il ne reste plus aucun moyen de communication.

Ce que cette soirée m’a appris

• En 30 minutes, plus aucun moyen de communication ne fonctionnait : ni Wi-Fi, ni 3G/4G, ni 2G, ni 112, ni FM.
• La résistance d’un réseau se mesure à son maillon le plus court en autonomie, pas au plus robuste.
• La supervision est un outil de crise : elle montre ce qui tombe, où, et dans quel ordre.
• Ce n’était qu’une heure. La vraie question, c’est une coupure longue durée.

Une heure, un soir d’été, sans orage. Et si ça durait une journée ? Une semaine ? En plein hiver ?

Se préparer, tout un programme :

Anticiper les impacts

Si on coupe le courant (volontairement, par accident ou orage solaire X-Flare) qu’est-ce qui se passe ?

• Quelles sont les menaces ?
• Qu’est ce qui va rapidement poser problème ?
  • Approvisionnement en eau ?
  • Purification de l’eau ?
  • Pompe de relevage des égouts ? ¹
• Comment contacter les urgences ?
  • Qui peut communiquer ?
  • Avec quels moyens techniques ?
    • Qui sait s’en servir ?
    • Est-ce qu’on a une documentation papier pour nous aider ?
  • Quel est le point de rassemblement ?
  • Où sont les sources d’énergies ?
  • Sur qui compter ?
  • Comment évaluer le niveau de risque ?
• Approvisionnement en eau
  • Est-ce que le réseau d’eau est gravitaire ?
    • Est-ce qu’il a besoin d’électricité pour fonctionner ?
  • Quelles sont les réserves que vous avez ?
  • Combien de temps pouvez-vous tenir ?

Imaginer tous les scénarios

Envisager tous les scénarios : coupure électrique + autres événements qu’on avait pas penser possible :

• Evénements climatiques extrêmes (Type Vésubie)
• Phénomènes en cascade externe (backbone qui tombe, Noc qui tombe, fibres coupées)
• Attaques numériques & co
• Autres choses qu’on aurait pas vu venir (cygne noir..)

Utile d’avoir des créatifs.. dans ces exercices de pensée, faut-il les faire.. en avoir envie

Tester

• Simuler des coupures (avec l’opendata.. on peut faire du routage, des zonages)
• Identifier toutes les infrastructures vitales
• Sont-elle ondulées ?
• Comment on communique avec ? (Réservoirs d’eau..)
• Comment on se coordonne ?
• Comment on réagit ? (Un signe de batman dans le ciel ? faut-il avoir un projecteur..)
• Tester FR-ALERT
  • Parler de FR-ALERT

Rédiger des post-mortem

• Dans un wiki hébergé localement et qu’on imprime
• Dans des documents qu’on diffuse à toute la population

Avoir du matériel prêt à l’emploi

• Talkies walkies chargés et sur les bonnes fréquences
• Frontales, systèmes d’éclairages chargés
• Groupes électrogènes
• Batteries façon Tesla powerpack et/ou voitures en mode réversible
• Groupe de personnes prêtes à réagir
• Points de regroupements identifiés

Coupures « programmées » ou « organisées »

Une belle préparation à d’éventuelles pannes !

Coupures d’électricité organisées

Le réseau électrique est visible dans Openstreetmap

La communauté OSM travaille chaque jour à publier la cartographie du réseau :

https://openinframap.org/#8.84/45.4728/6.578

Dans un niveau de détail « routable » permettant de quasiment simuler certaines choses

Cette cartographie et le fonctionnement du réseau électrique aide à comprendre comment cela fonctionne.

Proposition du Label Résilience France : Délestage électrique : un mini plan à intégrer immédiatement au PCS

Éléments visibles sur cette page web

Les conséquences d’une coupure électrique sont connues et très importantes. Tant pour l’activité économique qui va se trouver quasiment à l’arrêt, que pour la sécurité des personnes et des biens.

Les pertes de réseaux en cascades : énergie, télécommunication, voire, eau potable peuvent se succéder dans le temps, en fonction de la durée de l’interruption. 

Le risque de voir indisponibles les réseaux mobiles 3-4-5 G peut survenir dans l’heure suivant la coupure, et la rupture de l’alimentation en eau potable dans les 8 à 24 heures suivant les différents paramètres du réseau local de production et de distribution… Sans oublier l’assainissement qui peut aussi être affecté (arrêt des pompes) et le téléphone fixe (principalement fibré aujourd’hui) dépendant des relais, eux aussi vulnérables aux coupures.

https://label-resilience-france-collectivites.fr/delestage-electrique-un-mini-plan-a-integrer-immediatement-au-pcs/

Les conséquences sont encore plus larges :

• Circulation
  • Les feux routiers
  • Les tunnels : onduleurs/groupes mais pour combien d’heures ?
  • Tous les systèmes de mesure du trafic routier
  • Tous les systèmes de caméras
• Gestions des contrôle d’accès aux bâtiments
• Domotique des bâtiments
• Mesures de sécurité : température, co, co2 etc..
• Distributeurs de billets
• Terminaux bancaires

Si les coupures électriques restent dans les 3 heures annoncées, la problématique majeure sera les conséquences sur les communications mobiles et peut-être les fixes, avec comme corollaire l’impossibilité d’acheminer les appels aux services d’urgence : Sapeurs-Pompiers, Samu, Police ou Gendarmerie. 

https://label-resilience-france-collectivites.fr/delestage-electrique-un-mini-plan-a-integrer-immediatement-au-pcs/

Pour les sites greffés sur un NRA Orange historique et de grande taille oui.. et ayant une interconnexion fibre à un autre site secouru.

Le/la maire doit à mon sens déclencher son PCS en amont (plusieurs semaines) et mettre en place des dispositifs palliatifs et informatifs AVANT les coupures d’énergie puisque normalement l’information doit être donnée sur la date et l’heure des coupures.

https://label-resilience-france-collectivites.fr/delestage-electrique-un-mini-plan-a-integrer-immediatement-au-pcs/

La Mairie son PCS ferait mieux d’aller dans des lieux ayant de l’énergie et du réseau :

• Autoroutiers
• Hopitaux
• Datacenter
• NRA Orange de grande taille avec un groupe et une cuve

Bien sur avant tout ça : demander les conditions d’accès, voir si le niveau des cuves des groupes est suffisant, voir si on peut être hébergé sur ce site.

Les sites publics : Mairies, Salles Polyvalentes n’ont que rarement des groupes électrogènes ou onduleurs adaptés pour faire une cellule de crise.

Avoir un PCC (Poste de Commandement Communal), si possible autonome en énergie (groupe électrogène) et avec une capacité d’appel téléphonique : fixe, et si possible satellitaire pour relayer un message d’urgence, ou au pire avoir une capacité d’estafette (personnel et véhicule) pour prévenir physiquement le centre de secours ou la brigade de gendarmerie ou le commissariat le plus proche. Anticiper ces actions avec les acteurs de secours concernés en les prévenant du dispositif mis en place.

https://label-resilience-france-collectivites.fr/delestage-electrique-un-mini-plan-a-integrer-immediatement-au-pcs/

Mes suggestions :

• A proximité d’une source de production d’énergie : Genre centrale hydro/ Centrale photovoltaïque qu’on peut sortir du réseau pour alimenter un onduleur/pack batterie. (A tester avant..)
  • La centrale étant Offline si Blackout.. on pourrait envisager un piquage sur la conduite pour faire son « groupe hydroélectrique de secours » et faire comme certains refuges de montagne : de la petite hydro.
  • Les réserves colinéaires pourrait servir de réserve d’énergie pour produire de l’énergie pour un Poste de Commandement Communal ?
• Avoir quelques antennes starlink (CF : REX Ukraine)
• Avoir un réseau fibre en propre et avec des équipements consommant peut d’énergie (pouvant tourner sur batterie pendant des heures/jour) (Tests à prévoir et documentation du réseau aussi, tout ça se teste..)
• Il faut un réseau radio d’urgence et des matériels :
  • Toujours en charge (Comme les défibrillateurs)
  • Avec un mode d’emploi à côté
  • Avec des séquences de tests adaptées
    • Pourquoi pas des kits pilotables à distance pour faire des tests automatisés par via internet en temps de paix ? ²
    • Port communication ou autre.. du talkie pour le faire causer avec son voisin le plus proche, on teste, on note.. on monitore ça, ce qui n’empêche pas les tests avec humains.
  • Il faut que le Poste de Commandement Communal dispose de multiples compétences
    • Réquisition ou volontariat des forces vives
      • Des gens des infrastructures (énergie, Télécom, fluides)
      • Des communicants
  • Emissions Radio locales FM ? DAB ?
    • Vu qu’au bout de 30 minutes tout sera au Black ³
    • Pourquoi ne pas diffuser en FM des informations sur la situation ? ⁴
  • Ou d’utiliser la future bulle 4G ? pour faire du FR Alert ? (A tester) ⁵
• Avoir un peu de sciure et des toilettes sèches à dispo, si jamais l’eau vient à manquer. ⁶
• Quelques kits d’antennes 5Ghz ubnt ou autre ⁷

Préparer le Plan de Continuité d’Activité (PCA) de la commune : identifier les services indispensables à la population, les prioriser, définir les solutions de fonctionnement minimal de ces services sans électricité et enfin être prêt à déclencher le PCA en quelques heures.

https://label-resilience-france-collectivites.fr/delestage-electrique-un-mini-plan-a-integrer-immediatement-au-pcs/

Vu la complexité de nos infrastructures, l’essai grandeur nature semble le seul moyen d’avoir ce genre de retour d’expérience.

J’ai vécu par le passé pas mal de coupures électriques et divers problèmes sur des infrastructures serveur, réseaux (filaire, fibre, radio) et rapidement cela peut devenir très complexe à débugger, dans certains cas il faut même quelques jours. ⁸

Dans la crise, on n’est pas forcément dans le contexte adapté pour prendre les bonnes décisions et on peut être aveuglé par le stress, l’afflux massif d’informations (et de faux positifs).. et ne plus rien comprendre à ce qui se passe.

Surtout dans un monde où on peut facilement échanger avec d’autres interlocuteurs avec des moyens radios (2-3-4-5-G)

A ce propos, la virtualisation de serveurs vitaux n’est peut être pas la bonne démarche..

Je préconise d’avoir de la réplication du wiki communal ⁹ sur différents serveurs, pc portable (Docker, scripts & co) plutôt que d’avoir un Vmware immense.. ou.. à distance via Starlink

Informer les populations des bons gestes : s’inscrire à l’alerte coupure de l’application Ecowatt, mettre en sécurité l’informatique, avoir des lampes électriques avec des réserves de piles, prévoir un repas froid les jours de délestage, ne pas ouvrir les portes des réfrigérateurs et congélateur, ne pas utiliser d’appareils fonctionnant au charbon de bois ou au gaz dans le logement pour éviter les intoxications au monoxyde de carbone, être vigilant avec les bougies, éviter les déplacements pendant les coupures, etc. Bref du bon sens, à relier aux habitudes des territoires.

https://label-resilience-france-collectivites.fr/delestage-electrique-un-mini-plan-a-integrer-immediatement-au-pcs/

Communiquer dès à présent sur tous ces sujets : Web, radio, Tv et tout support adapté

FR Alert ? une bonne occasion de faire des tests de diffusion broadcast

Préparer :

• Une frontale chargée
• Un batterie usb (chargée) + câbles pour recharger la frontale

1. Déclencher le PCS avant la coupure et mobiliser l’équipe de crise au PCC.
2. Mailler le territoire avec un réseau radio communal, assuré par des agents de la Police Municipale et/ou des services techniques dans chaque quartier, permettant aux populations d’avoir à proximité un lieu connu et identifié à l’avance pour en cas d’urgence être apte à déclencher des secours.
3. Sécuriser ou garder les lieux sensibles. 
4. Prévenir les employeurs de fermer ou de réduire leur besoin en personnel sur ces journées.
5. Recommander à la population d’éviter les transports pendant les coupures pour diminuer le risque d’accident.

https://label-resilience-france-collectivites.fr/delestage-electrique-un-mini-plan-a-integrer-immediatement-au-pcs/

« Mailler le territoire avec un réseau radio » nécessité absolue de tester la réelle couverture radio d’un territoire et.. on parle en chiffré ou en ouvert ? Qui intervient sur les ondes ?

• Quels terminaux radio ?
• Quelles puissances démissions ?
• Comment on se partage les canaux et à quelle échelle ?
• Si j’ai une grande ville à côté avec 300 postes radios : tout le monde écoute un broadcast géant.. Et le petit village à côté avec 3 postes perturbe tout le monde ?
  • Qui pilote les fréquences ? ¹⁰
  • Qui pilote les échanges ?
  • Comment tout le monde se coordonne ?
  • Qu’est-ce qu’on raconte pour être précis/concis ?

« Prévenir les employeurs de fermer ou de réduire leur besoin en personnel sur ces journées. »

Qui finance ? Qui finance les effets de bords de ces préconisation ?

« Recommander à la population d’éviter les transports pendant les coupures pour diminuer le risque d’accident. »

Faut-il un couvre feu ? (On a déjà essayé ça marche).. on a appellera ça « Confinement énergétique » 🙂

Questions ouvertes & réflexions

• Est-ce qu’il existe une cartographie (spatiale) des élements vitaux pour un territoire ?
  • Est-ce que cette cartographie est opendata ?
• Est-ce qu’il existe des « simulations » d’un « Blackout » et du temps de redémarrage des éléments du réseau ? Genre une centrale hydro qui se remets sur le réseau ?
• Est-ce qu’il existe un groupe de travail multi-parties pour travailler sur le sujet ?
• Est-ce qu’on envisage de couper l’éclairage public ?
• Consommer moins d’énergie ? Isoler les bâtiments avec des matériaux bio sourcés

Général Ferrié

Né à Saint-Michel-de-Maurienne, il est l’illustration d’une utilisation de la radio en cas de « blackout » pour cause d’événement naturel. Dans le cas présent l’éruption de la Montagne Pelée.

En résumé

Le monde « VUCA » ¹¹ dans lequel nous sommes, augmente grandement le niveau de difficulté à gérer toutes ces problématiques de coupures d’alimentation énergétiques.

N’oublions pas que nous sommes encore dans un monde stable avec des ressources d’énergies carbonées, comment es-ce que gérerait la même situation dans un monde sans produits pétroliers pour faire de l’électricité en période de crise ?

C’est là que les profils Multipotentiels atypiques sont intéressant, parce que toutes ces situations complexes, cela nous passionne 🙂

Pour aller plus loin

Ecoutez l’intervention de Gaël :

NB : Billet en édition continue.. il sera amélioré au fil du temps et de ce que nous allons vivre ou pas cet hiver.

Tous les articles sur ce thème : Énergie, réseaux et fibre en Maurienne

À lire aussi

• Extinction éclairage update (Maurienne)
• Eclairage public Maurienne – Mise à jour
• Revue d’hydroélectricité
• Énergie, réseaux et fibre en Maurienne

1. Est-ce que nous avons la cartographie et l’impact réel des zones nécessitant des pompes de relevage ? Avec un impact sanitaire réel.. une question récemment posée au Sénat Conséquences d’éventuelles coupures d’électricité hivernales
2. Plugin homeassistant ? :)
3. Et tout dépends des opérateurs, des sites.. et du contexte : Climatisation, chaleur, hiver..
4. Faut-il encore avoir un poste radio qui fonctionne, savoir quelle fréquence écouter ? la feuille du Dicrim collé à votre frigo est censée vous donner ça, exemple
5. Est-ce déjà en production ? Est-ce que ça pourra couvrir des territoires complexes ? Quid du ratio énergie pour faire de la 4G vs radio classique.. attendons les premiers REX
6. Et pourquoi pas à l’échelle complète d’une ville.. cela pourra aussi servir aux événments/Festival & co.. et faire des économies en eau et rapporter des élements fertilisants aux agriculteu
7. Coucou Gaël
8. et surtout l’importance d’en écrire le post moterm
9. doux rêve.. faudrait déjà avoir une culture de la collaboration et de l’écrit avec ça
10. AFNR ? a prévoir en avance ?
11. VUCA signifie : Volatility, Uncertainty, Complexity and Ambiguity.
    • Volatility (Volatilité)
    • Uncertainty (Incertitude)
    • Complexity (Complexité)
    • Ambiguity (Ambiguïté)