Tech & GadgetsNieuwsAI-generated

Microsoft 365-storing: oorzaak was een fix uit juli

Microsoft heeft een voorlopig rapport gepubliceerd over de wereldwijde storing van donderdag 12 november, waarbij Exchange Online en andere Microsoft 365-diensten een werkdag lang onbereikbaar waren. De oorzaak blijkt een softwarefout die sinds juli in de netwerkgateways van Microsoft 365 zat, zonder dat iemand er iets van merkte. Charles Lamanna van Microsoft publiceerde een ingekorte versie van het rapport op X. The Register vatte het rapport ook samen.

Een fout die drie maanden stil bleef

In juli begon Microsoft met de uitrol van een fix die speciaal voor de netwerkgatewayservers van Microsoft 365 was gemaakt. Daarin zat een sluimerend defect: lock contention in een intern proces, waardoor cpu en geheugen van een machine opraken en de server niet meer reageert. De wijziging ging via de normale gefaseerde uitrol over de hele vloot en draaide ruim drie maanden zonder incident.

Dat de fout niet eerder opviel, komt volgens het rapport door de testopstelling. De load tests van Microsoft richtten zich op de zwakkere hardware met minder cores, terwijl het probleem juist verergert op machines met meer cores en nieuwere hardware. Microsoft benadrukt dat het defect en de fix alleen gelden voor die gatewayservers en niet voor Windows-installaties bij klanten.

Drie factoren kwamen samen

Ongeveer vijftien uur voor de storing failde Teams over van de ene naar de andere netwerkgateway: de 'primaire' gateway, die ook Exchange Online bedient. Dat is normaal gedrag en onderdeel van de redundantie, maar het verhoogde de belasting. Tegelijk stond bijna veertien procent van de servercapaciteit van die gateway buiten dienst door een losstaand probleem van de dag ervoor. Ook dat was op zichzelf geen probleem, want er was volgens Microsoft genoeg capaciteit over.

Samen duwden die twee de gateway over de grens, tijdens de drukste uren in de Verenigde Staten. Toen de eerste servers wegvielen, stuurde het verkeersmanagement gebruikers automatisch naar gezonde servers, die daardoor hetzelfde defect tegen het lijf liepen. In minder dan twee uur was de fout over de hele vloot verspreid. Op het laagste punt reageerde meer dan tachtig procent van de servers niet meer. De scheidingen tussen de capaciteitsregio's, die zo'n cascade normaal afremmen, werkten door een apart probleem niet.

Waarom juist Exchange Online zo lang plat lag

Teams, OneDrive, SharePoint en de Office-apps konden wegschakelen van de kapotte gateway en waren daardoor eerder terug. Exchange Online kan dat om schaalredenen niet, en bleef dus hangen. Het herstel duurde extra lang omdat teruggezette servers meteen weer werden overspoeld en opnieuw omvielen; de geautomatiseerde herstelprocessen waren niet gemaakt voor een vloot die in zijn geheel niet reageert. Een gewone rollback kon ook niet, omdat de fout maanden oud was en dus niet achter een feature flag zat. Uiteindelijk bouwden de engineers een update die het codepad terugzette naar de laatst bekende goede staat, en pasten die groepsgewijs toe.

In het tijdpad van het rapport sloeg de monitoring om 17:03 Nederlandse tijd alarm en kwam de eerste supportmelding een halfuur later binnen. Pas om 01:30 die nacht was de verbindingsopbouw als dader aangewezen; om 08:20 ging de mitigatie uitrollen. Om 17:10 op 13 november noemde Microsoft de dienst weer gezond.

Wat je nu kunt doen

  • Het volledige voorlopige rapport staat in het Microsoft 365-beheercentrum onder de nummers MO1550821 en EX1550543. Dat is de onderbouwing die je klanten of je eigen organisatie mogelijk van je verwachten.
  • Op je eigen servers hoeft niets te gebeuren. Het defect zat in Microsofts gatewayservers; volgens Microsoft raakt het Windows-installaties bij klanten niet.
  • Het definitieve rapport volgt volgens Lamanna later deze week; The Register noemt 20 november als datum.