Hai provato a spegnere e riaccendere? Microsoft sì, tutta la notte

Giovedì 12 novembre, poco dopo le 17 ora italiana, Microsoft 365 ha cominciato a spegnersi. Prima le caselle di posta di Exchange Online, poi tutto quello che ci sta attaccato: Outlook (web, desktop e telefono), Teams, SharePoint, Copilot, Defender, Purview, Planner, To Do, Intune, perfino Power Apps.

Al picco Downdetector contava più di 130.000 segnalazioni solo per Outlook, da 74 Paesi. Microsoft parla di "milioni di clienti". Quando scriviamo, venerdì mattina, è ancora in corso.

Conclusione anticipata per chi ha fretta: non reinstallate Office. Non è colpa vostra. Per una volta, davvero, non è colpa vostra.

Nessun hacker, ce la siamo fatta da soli

La prima cosa che chiunque pensa è: attacco. E invece no. Microsoft ha detto subito di non avere nessun segnale di attività malevola, e ha aggiunto un dettaglio che vale tutto il post: il carico elevato non dipende da un aumento del traffico.

Quindi niente orde di hacker, niente Black Friday anticipato, niente milioni di persone che aprono la posta tutte insieme. Il traffico era quello di sempre. Erano i server a mancare: un bel numero di macchine è diventato "inaspettatamente non disponibile", e tutto il lavoro è finito addosso a quelle rimaste.

È l'ufficio in cui metà dei colleghi è a casa con l'influenza. Le pratiche sono le stesse di sempre, ma quelli rimasti crollano uno dopo l'altro sulla scrivania.

Il termometro rotto

Qui comincia la parte bella. Nei sistemi grandi come quello di Microsoft un controllo automatico, l'health check, passa continuamente a visitare i server e chiede: "Stai bene?". Chi non risponde come si deve viene tolto dal servizio, così il traffico va solo alle macchine sane.

Giovedì sera i server non superavano gli health check e venivano tolti di mezzo. Microsoft ha guardato il problema e ha sospettato del componente che gestisce i controlli. Poi ha "validato un metodo alternativo di health check" e l'ha applicato a una parte dei server, che sono tornati in servizio.

Tradotto: per un pezzo della notte il sospetto era il termometro. Un medico di guardia che misura la febbre ai pazienti, legge 45 gradi a tutti e li manda in obitorio. I pochi rimasti in corsia si ritrovano a fare il lavoro di tutti e infatti stanno male davvero.

Rimettili in piedi, guarda che cadono

Cambiato il termometro, i server sono tornati. Per un po'. Verso l'una di notte di venerdì Microsoft ha scritto che i server ripristinati tornavano a non rispondere appena ricevevano traffico.

È rianimare uno svenuto e iscriverlo subito alla maratona. Si alza, fa due passi, il pubblico applaude, e giù di nuovo.

Nella notte la spiegazione è cambiata. Il colpevole non era più solo il termometro: su quei server il processo che stabilisce le connessioni sicure (la stretta di mano cifrata che c'è dietro ogni lucchetto nel browser) va in sovraccarico, e da lì il server smette di lavorare. È il buttafuori all'ingresso della discoteca: se si blocca lui, dentro la musica suona, il locale è aperto e nessuno entra.

Intanto Microsoft:

• ha congelato tutti gli aggiornamenti e le modifiche di configurazione, che è la versione aziendale di "nessuno tocchi niente";
• ha cominciato a tornare indietro su una recente modifica alla configurazione di rete, perché coincide con l'inizio del problema. Dopo aver detto, qualche ora prima, di non aver trovato nessuna modifica recente collegata;
• ha limitato il traffico in alcune zone, ha ricostruito alcuni server con la configurazione precedente e ne ha aggiunti altri;
• alle 4 di notte, ora italiana, ha ammesso che una delle correzioni non si stava comportando come previsto.

Chi lavora nei sistemi conosce benissimo la sequenza. "Non abbiamo cambiato niente." Pausa. "Cioè, una cosina sì." Pausa più lunga. "La togliamo e vediamo."

Il mondo, intanto

Senza Outlook non si ferma "la posta". Si fermano le cose che sulla posta si appoggiano senza che nessuno ci pensi più:

• in Canada la compagnia ferroviaria Via Rail ha avvisato che i passeggeri potevano non ricevere le email sui loro viaggi, e anche diversi ospedali hanno segnalato problemi;
• Air India ha dovuto dirottare temporaneamente le email per continuare a ricevere i messaggi dei clienti;
• un'azienda americana quotata ha rimandato la presentazione dei conti per colpa dell'outage, e una svizzera l'ha pubblicata in ritardo.

Il tutto mentre gli altri fornitori cloud si affrettavano a far sapere che loro, stavolta, stavano benissimo. Che è un po' come affacciarsi alla finestra quando brucia la casa del vicino per dire "da me tutto a posto, eh".

La parte che fa più ridere

Tra i consigli che girano tra gli amministratori di sistema ce n'è uno che riassume tutto il cloud moderno: fatevi mandare gli avvisi sullo stato del servizio anche a un indirizzo email che non sia su Microsoft 365.

Perché sennò l'email che ti avvisa che Outlook è giù arriva, con calma, su Outlook.

Cosa fare, in ordine

Se sei un utente:

1. Non reinstallare Office, non cancellare il profilo di Outlook, non cambiare la password. Il problema è nei server di Microsoft, non nel tuo computer. Le email in arrivo dovrebbero essere consegnate in ritardo quando il servizio riparte, non perse.
2. Se ti serve qualcosa di urgente, telefona. Esiste ancora. Funziona anche senza Teams.

Se gestisci i sistemi di un'organizzazione:

1. Segui gli incidenti EX1550543 (Exchange Online) e MO1550821 (Microsoft 365) in Integrità del servizio nell'interfaccia di amministrazione. Se non riesci nemmeno a entrare, c'è status.cloud.microsoft.
2. Avvisa gli utenti con un canale che non dipende da Microsoft 365: SMS, intranet esterna, un cartello sulla macchinetta del caffè.
3. Congela le tue modifiche finché non è finita: se si rompe qualcos'altro, devi poter sapere di chi è la colpa.
4. Quando è tutto passato, scarica il rapporto post-incidente che Microsoft ha promesso e salvalo: la cronologia dell'interfaccia dura solo 30 giorni.
5. E per la prossima volta: avvisi sullo stato del servizio a un indirizzo esterno, e un piano B già deciso per comunicare quando la posta non c'è.

In conclusione

Abbiamo messo posta, chat, documenti, calendario e pure l'intelligenza artificiale nello stesso posto, perché era comodo. Ed è comodo, finché funziona. Poi un giovedì pomeriggio un termometro sbaglia la misura, un buttafuori si blocca sulla porta, e metà degli uffici del mondo scopre che il "piano B" era Outlook.

Non è colpa vostra, ma il piano B è compito vostro. Scrivetelo oggi, su qualcosa che non abbia bisogno di Microsoft per aprirsi.