마이크로소프트(MS)가 지난주 전 세계 MS 365 장애의 원인으로 7월에 배포한 소프트웨어 업데이트의 결함을 지목했다. 미국 IT 매체 블리핑컴퓨터는 11월 16일 MS가 MS 365 관리 센터에 공유한 예비 사고 보고서 내용을 보도했다. 결함이 연쇄 장애를 일으키면서 네트워킹 게이트웨이 서버의 80% 이상이 응답하지 않았다.
장애는 미국 동부 시각 11월 12일 오전 11시 20분 시작해 다음 날 오전 11시 10분 MS가 서비스 완전 복구를 확인할 때까지 약 24시간 이어졌다. 이 기간 아웃룩, 익스체인지 온라인, 팀즈, 코파일럿 등 MS 365 서비스가 세계적으로 차질을 빚었고, 이용자들은 메일함에 접속하지 못하거나 메일 수신이 크게 지연됐다.
MS는 이전까지 발견되지 않은 소프트웨어 버그와 팀즈 장애 조치 이후 증가한 트래픽, 줄어든 서버 용량을 장애 원인으로 들었다. 버그는 7월 MS 365 네트워킹 게이트웨이 서버용 업데이트에 들어 있었다. 이 업데이트는 3개월 넘게 문제없이 작동했지만, 특정 트래픽 조건에서 서버에 과부하를 일으켜 응답을 멈추게 하는 결함이 있었다.
MS는 시험 장비 때문에 결함을 미리 찾지 못했다고 설명했다. 보고서에는 “코어 수가 많은 최신 하드웨어에서 경합 문제가 더 심해지는데, 부하 시험은 코어 수가 적은 저사양 하드웨어 위주였다”는 내용이 들어 있다.
버그는 장애 약 15시간 전 팀즈가 익스체인지 온라인이 쓰는 네트워킹 인프라로 자동 전환되면서 해당 서버 트래픽이 증가한 뒤 작동했다. 당시 게이트웨이 서버 용량의 약 14%는 별개 문제로 이미 꺼져 있었다. 응답을 멈춘 서버의 이용자가 다른 서버로 넘어가자 그 서버들도 과부하로 연달아 멈췄다. MS는 “2시간이 안 돼 결함이 전체 서버군에서 발생했고, 가장 심할 때는 80% 넘는 서버가 응답하지 않았다”고 밝혔다. 지역 간 장애 확산을 막는 안전장치도 연쇄 장애를 막지 못했다.
팀즈, 원드라이브, 셰어포인트는 다른 인프라로 전환해 먼저 회복했지만, 익스체인지 온라인은 전환하지 못해 메일함 접속 장애가 길어졌다. 서버를 다시 켜도 밀린 트래픽이 한꺼번에 몰려 곧바로 다시 멈추는 현상이 반복돼 복구가 늦어졌다.
MS는 이후 서버 용량을 확대하고 모니터링을 강화했으며, 트래픽 전환이 비슷한 연쇄 장애를 일으키지 않도록 안전장치를 추가했다고 밝혔다. 찰스 라마나 MS 코파일럿, 에이전트, 플랫폼 담당 수석부사장은 X에 “모든 고객에게 끼친 영향에 깊이 사과한다”는 글을 게시했다. MS는 조사를 계속하고 있으며 최종 사고 보고서를 이번 주 안에 공개할 예정이다.
▶︎ 관련 기사: MS 365 장애로 아웃룩, 팀즈, 코파일럿 멈춰
자세한 내용은 블리핑컴퓨터에서 확인할 수 있다.
이미지 출처: AI 생성
AI Matters 뉴스레터 구독하기




에
쌀