Tech & GadgetsNieuwsAI-generated

Google Cloud Londen: generatoren startten niet, 6 uur uit

Google Cloud heeft op 4 november het incidentrapport gepubliceerd over de storing die op 20 oktober de zone europe-west2-b in Londen zes uur uit de lucht hield. De oorzaak was geen softwarefout, maar een stuurprogramma in de elektrotechniek dat dacht dat er nog stroom was.

Een reparatie die de reserve al had opgegeten

Het datacenter hangt volgens het rapport van Google aan twee onafhankelijke hoogspanningsvoedingen, A en B, met daarachter een generatorbank die door een dubbel uitgevoerde PLC wordt aangestuurd. Dat is een 2N-opzet: elke kritieke last heeft een volledig dubbel pad.

Alleen stond pad B al zes dagen open. Bij een kwartaaltest van de generatoren op 14 oktober waren problemen gevonden, en voor die reparatie was de vermogensschakelaar van feeder B fysiek geopend. Het hele datacenter hing dus aan voeding A toen die op 20 oktober om 06:53 BST uitviel door een kabelbreuk in het ondergrondse net van de energieleverancier, buiten het terrein.

De PLC zag spanning die nergens heen ging

Hier ging het echt mis. De sensoren waarmee de PLC onderspanning meet, zaten aan de netzijde van de scheidingsschakelaars — dus vóór de schakelaar, niet erachter. Feeder B stond aan die kant nog wél onder spanning, terwijl de schakelaar open was en er geen stroom doorheen kon.

De PLC concludeerde daaruit dat er een gezonde voeding beschikbaar was en gaf geen startcommando aan de generatoren. Beide PLC's, actief en standby, liepen dezelfde logica, dus de dubbele uitvoering hielp niets. De UPS-batterijen namen de last over zoals bedoeld, raakten leeg, en toen vielen de datahallen uit.

Toen het team op locatie de last handmatig op afstand wilde omzetten, blokkeerde het systeem die actie — om dezelfde reden: het las nog spanning op feeder B. Uiteindelijk is de boel overgezet op een standby-netaansluiting. Om 07:54 BST was er weer stroom, om 12:11 waren de API's terug, en om 13:08 draaide 99,5 procent van de VM's weer. Totale duur: zes uur en acht minuten.

Eén zone om, hele regio traag

Het rapport laat ook zien waarom een storing in één zone meer raakt dan die zone. Toen workloads automatisch uitweken naar de andere zones in europe-west2, liepen die vol: wachtrijen voor rekencapaciteit, trage database-failovers en 500- en 503-fouten in de hele regio. Aanroepen naar metadata-componenten in de uitgevallen zone liepen in timeouts. Google heeft de dode zone daarna actief uit de routering gehaald om dat te stoppen.

In totaal staan er 38 diensten in het rapport, waaronder Compute Engine, Kubernetes Engine, Cloud Run, Cloud SQL, Cloud Storage, BigQuery, Spanner, Load Balancing, VMware Engine en Private Service Connect.

Voor wie geldt dit

europe-west2 is de Londense regio en een veelgebruikte keuze voor Europese klanten die hun data binnen de EU of het VK willen houden. Het pand draait volgens de actiepuntenlijst van Google op dit moment nog op de standby-netaansluiting: de kabelreparatie stond gepland voor rond 13 november en het terugschakelen naar de normale A- en B-voeding voor rond 17 november.

Google meldt verder dat het de PLC-configuratie na de storing opnieuw heeft ingesteld en gevalideerd, dat het gepland onderhoud op locaties met een vergelijkbare opzet heeft bevroren, en dat het de PLC-instellingen op die vergelijkbare sites wereldwijd nakijkt.