fuera de las instalaciones
Un error de mantenimiento causó problemas inmediatos y canceló 27 servicios
Los usuarios de Azure que utilizan recursos en la región oeste de EE. UU. de Microsoft soportaron un día incómodo después de que el gigante tecnológico cortara el acceso a su puesto de avanzada en la nube de California.
Como explica Microsoft en su revisión preliminar posterior al incidente, a las 14:44 UTC del 23 de juliotercero (07:44 a. m., hora del Pacífico), la empresa inició el “mantenimiento de rutina del dispositivo”.
Ese esfuerzo inmediatamente produjo problemas.
«Múltiples servicios de Azure comenzaron a detectar y correlacionar la degradación del servicio», se lee en la revisión de Microsoft.
Un minuto después, Microsoft dice que la gente de sus equipos de redes y servicios, además de personas que describe como «respondedores de incidentes» comenzaron a «revisar anomalías de tráfico, comportamiento de enrutamiento, señales de pérdida de paquetes y cambios recientes».
Microsoft dice que este tipo de trabajo de mantenimiento requiere aislar rutas de red específicas y que utiliza un proceso que «convierte estas solicitudes en solicitudes legibles por el sistema y verifica que al menos una de las dos rutas redundantes permanezca en buen estado». Nos dicen que la empresa realiza «controles de seguridad para confirmar que el trabajo no tendrá ningún impacto».
El mero hecho de que esté leyendo esta historia muestra que, en cambio, el proceso tuvo un impacto no deseado.
«En este caso, un error en el sistema de conversión de solicitudes marcó incorrectamente dispositivos adicionales como parte del evento de mantenimiento y provocó que se eliminara un conjunto de rutas IP de más dispositivos de los previstos», confesó Microsoft. «Se eliminaron las rutas entre nuestro centro de datos y la red de área amplia, lo que afectó el tráfico que entra o sale de la región».
El informe del incidente de Microsoft dice que el problema «inicialmente se presentó como una rotación de rutas a gran escala en nuestra red de área amplia» y que sus investigaciones «más tarde descubrieron que la eliminación de rutas se produjo desde un centro de datos en la región oeste de EE. UU.».
En algún momento entre las 16:00 UTC y las 17:45 UTC, Microsoft identificó «actividad reciente de mantenimiento de fibra, que correlacionamos con el comportamiento de enrutamiento identificado».
A las 17:45 la empresa empezó a revertir los cambios y a las 18:26 la WAN de Microsoft volvió a su mejor estado.
A las 19:41 UTC, todos los servicios afectados se habían recuperado por completo, y Microsoft se unió a AWS y Google para ofrecer ejemplos recientes de cómo las nubes pueden ser bastante más frágiles de lo que se anuncia. ®
