Azure-storing raakte ExpressRoute, VPN Gateway en VMware Solution in achttien regio's
Een onderhoudsactie van Microsoft zelf heeft woensdagavond de netwerkdiensten platgelegd waarmee klanten hun eigen datacenter aan Azure knopen. ExpressRoute Gateways, VPN Gateways en Azure VMware Solution raakten in achttien regio's verstoord, later kwamen daar Azure Firewall en Application Gateway met Web Application Firewall bij.
Wat er misging
Het incident staat onder tracking ID 7Q30-010 in de statusgeschiedenis van Azure, met de omschrijving "Multiple services experiencing connectivity issues in multiple regions". Volgens The Register begon de verstoring om 20.30 uur UTC op 30 september, oftewel 22.30 uur Nederlandse tijd.
Klanten kregen te maken met verslechterde of volledig onderbroken netwerkconnectiviteit, en met netwerkbeheeroperaties die faalden. Niet elke gateway ging onderuit: Microsoft meldde dat een deel van de getroffen VPN Gateways redundantie verloor in plaats van de verbinding helemaal kwijt te raken. Hinderlijker was dat sommige ondersteunende netwerkbeheercomponenten niet automatisch herstelden, waardoor beheeracties in een deel van de regio's bleven mislukken. Engineers zetten die componenten handmatig over naar gezonde instances.
Achttien regio's, waaronder Nederland
Op het hoogtepunt raakte het incident West US, West US 3, North Europe, West Europe, France Central, UK West, UK South, Switzerland North, Southeast Asia, East Asia, Japan West, Korea Central, South Africa North, UAE North, Mexico Central, Germany North, South India en Jio India Central. Azure VMware Solution bleef buiten schot in de laatste vier daarvan.
Voor Nederlandse organisaties is dat lijstje relevanter dan het lijkt. West Europe is volgens de regio-documentatie van Microsoft de Azure-regio in Nederland, North Europe die in Ierland. Beide stonden op de lijst, dus wie zijn hybride koppeling in de dichtstbijzijnde regio heeft staan, zat midden in het probleem.
Eigen onderhoud als verdachte
Microsoft weet naar eigen zeggen nog niet precies wat er gebeurde of waarom, maar het onderzoek "continues to show a correlation between this event and infrastructure operating system servicing activity" — met andere woorden: het valt samen met onderhoud aan het besturingssysteem van de onderliggende infrastructuur. Dat Microsoft die onderhoudsactie vervolgens pauzeerde, zoals op de statuspagina te lezen stond, wijst dezelfde richting op.
De verstoring was om 03.30 uur UTC op 1 oktober gemitigeerd, half zes 's ochtends Nederlandse tijd. Dat is ruim zeven uur na het begin. Microsoft heeft meer informatie toegezegd; Azure publiceert bij dit soort incidenten doorgaans een Post Incident Review.
Waarom juist deze diensten pijn doen
De getroffen diensten zijn precies het bindmiddel van een hybride opstelling. ExpressRoute Gateway verbindt een eigen datacenter met virtuele netwerken in Azure zonder over het publieke internet te gaan. VPN Gateway doet hetzelfde via een versleutelde tunnel. En Azure VMware Solution is de dienst die Microsoft aanprijst als manier om een bestaande VMware-omgeving naar de cloud uit te breiden.
Een storing in die laag valt niet op te vangen met een tweede regio als de koppeling zelf wegvalt. Dat de oorzaak vermoedelijk in Microsofts eigen onderhoudsproces zit, maakt het voor klanten extra ongemakkelijk: dit was geen storm, kabelbreuk of aanval.