Microsoft 365 lag eruit: wat een kleine organisatie ervan kan leren
Donderdagavond 12 november ging het mis. Om 18:54 uur Nederlandse tijd meldde Microsoft dat gebruikers in Noord- en Zuid-Amerika niet bij hun Exchange Online-mailbox konden. Ruim tien minuten later waarschuwde het voor problemen wereldwijd. Outlook, Teams-agenda's, Copilot en SharePoint haperden, en pas op de ochtend van zaterdag 14 november was alles weer normaal.
Hoe het technisch zat, staat in ons nieuwsbericht over het voorlopige rapport. Hier kijk ik naar iets anders: wat zegt deze storing over hoe we werken, en wat kun je er als kleine organisatie mee?
Drie problemen die los van elkaar onschuldig waren
Charles Lamanna, die bij Microsoft verantwoordelijk is voor Copilot, agents en het platform, vatte de analyse op X samen in drie punten. Alle drie speelden ze in de gatewayservers die het netwerkverkeer voor Microsoft 365 regelen:
- Een fout in een update uit juli, die servers onder bepaalde belasting liet vastlopen. Die fout was maandenlang niemand opgevallen.
- Een verschuiving in hoe het verkeer over het netwerk werd verdeeld, waardoor de belasting op die servers steeg.
- Bijna 14 procent van de gatewaycapaciteit stond al buiten dienst. Lamanna noemt onderhoud als reden, Tweakers spreekt van een los probleem op de dag ervoor.
Elk van die drie had Microsoft prima kunnen opvangen. Samen niet. In de veiligheidskunde heet dit het Swiss Cheese-model: elke beschermingslaag heeft gaten, en het gaat pas mis als de gaten toevallig op één lijn liggen. Bij de reacties op Tweakers viel die term ook meteen.
Opvallend is waarom de fout nooit eerder boven kwam. Microsoft had de update getest, maar in een opstelling met ander verkeer en andere software dan in productie. De belastingstests waren bovendien gericht op zwakkere servers met minder cores, terwijl de fout juist harder toeslaat op nieuwere hardware met meer cores. Dat is geen exotisch probleem. Iedereen die ooit een testomgeving heeft beheerd die "ongeveer" op productie lijkt, kent het.
Waarom herstel zo lang duurde
Normaal draai je een slechte wijziging terug. Dat ging hier niet. De fout zat al sinds juli in de code, dus elke recente configuratie die Microsoft kon terugzetten bevatte hem ook. Volgens Lamanna konden de automatische rollback-mechanismen daardoor niets doen.
En toen de fix eenmaal klaar was, ontstond een tweede probleem. Servers die weer opkwamen, kregen direct al het opgespaarde verkeer over zich heen en gingen opnieuw onderuit. Een klassieke cascade: hoe meer servers wegvallen, hoe zwaarder de rest het krijgt.
Dat verklaart waarom er tussen het eerste bericht en volledig herstel ongeveer anderhalve dag zat, met een tussenfase waarin Microsoft sprak van "gedeeltelijk herstel" in sommige regio's.
De rekening
Microsoft 365 heeft volgens schattingen zo'n 430 miljoen gebruikers, en er kwamen meldingen uit meer dan zeventig landen. Een paar voorbeelden van wat dat betekende:
- In het Verenigd Koninkrijk had de NHS grote problemen. Personeel kon niet bij NHS.net Connect, er werden operaties afgezegd en op sommige plekken werkte men weer met papieren dossiers.
- Ziekenhuizen in Toronto meldden operationele problemen; Unity Health Toronto riep een code grey af, het signaal voor uitval van infrastructuur.
- Overheden in onder meer Australië, Japan, de Filipijnen, Singapore en de Verenigde Staten werden geraakt. Medewerkers van het Amerikaanse Huis van Afgevaardigden spraken van "een dag wetgevend werk" die verloren ging.
- Het Amerikaanse onderzoeksbureau Anderson Economic Group schatte het productiviteitsverlies op ongeveer 7 miljard dollar.
Wat je als kleine organisatie wel in de hand hebt
De storing zelf kun je niet voorkomen. Wat je wel kunt regelen, is hoe hard hij je raakt.
Begin bij de bron. Microsoft publiceert updates in het beheercentrum onder Service Health. Deze storing liep onder nummer MO1550821 voor Microsoft 365 en EX1550543 voor Exchange Online. Wie daar kijkt, hoeft niet op X te zoeken naar wat er aan de hand is.
Vertel je gebruikers ook dat hun mail niet weg is. Voor zover bekend waren de mailboxen zelf niet weg, er was alleen geen verbinding mee. Mail bleef in wachtrijen hangen, en op vrijdagmiddag meldde Microsoft dat die wachtrijen weer bijna normaal waren. Dat ene zinnetje scheelt je een middag vol paniekberichten.
Regel daarnaast een tweede kanaal. Een Tweakers-lezer merkte dat ingelogde Teams-sessies gewoon bleven werken, terwijl mail het niet deed. Maar reken daar niet op. Een telefoonlijst die niet in Outlook staat, of een groepsapp voor noodgevallen, is saai en precies daarom nuttig.
En maak zelf een back-up. Microsoft bewaart je data, maar dat is iets anders dan een back-up. Een Tweakers-lezer meldde na de storing een lege mailmap zonder eigen back-up. Of die leegte door de storing kwam, is twijfelachtig, maar het punt blijft staan.
De grotere vraag
In Europa leidde de storing tot politieke reacties. Europarlementariërs als Reinier van Lanschot en Sergey Lagodinsky wezen erop hoe kwetsbaar Europa is door de afhankelijkheid van één bedrijf. Een Portugees parlementslid herinnerde de regering aan een wet uit 2011 die open standaarden voorschrijft voor overheidssystemen, juist om niet van één leverancier afhankelijk te worden.
Voor een kleine organisatie is overstappen van Microsoft 365 meestal geen realistische optie, en dat hoeft ook niet. Maar het helpt om te weten welke processen stilvallen als die ene dienst eruit ligt, en daar een plan B voor te hebben dat niet zelf ook in Microsoft draait.
Tot slot
Dat Microsoft een fout maakte, verbaast me niet. Grote systemen falen, en het voorlopige rapport is behoorlijk open over wat er misging. Wat me bijblijft is hoe weinig ervoor nodig was: drie kleine dingen, op het verkeerde moment tegelijk. Het definitieve rapport volgt later deze week. Ik ben vooral benieuwd wat Microsoft gaat veranderen aan die testomgeving.