MỚI NHẤT!

Đọc nhanh >>

Microsoft 365 sập hàng chục tiếng mới khôi phục được, nguyên nhân từ một lỗi tồn tại suốt 3 tháng nay

| | Tài chính quốc tế

Vào lúc đỉnh điểm, 80% máy chủ dành cho các dịch vụ Microsoft 365 đã không thể hoạt động được.

Một lỗi phần mềm được đưa vào hệ thống từ tháng 7/2026 đã âm thầm tồn tại hơn 3 tháng trước khi kích hoạt sự cố khiến Outlook gián đoạn trên toàn cầu. Nghiêm trọng hơn, chính các cơ chế tự động được thiết kế để bảo vệ hệ thống lại khiến lỗi lan rộng, làm hơn 80% máy chủ trong hệ thống cổng mạng Microsoft 365 ngừng phản hồi.

Trong báo cáo sơ bộ vừa công bố, Microsoft cho biết sự cố đã ảnh hưởng đến người dùng và tổ chức tại hơn 70 quốc gia. Các dịch vụ bị gián đoạn trong gần 24 giờ. Tuy nhiên, những email tồn đọng vẫn tiếp tục được gửi sau khi hệ thống hoạt động trở lại vào sáng thứ Sáu. Phải đến tối cùng ngày, gần 38 giờ sau khi sự cố bắt đầu, Microsoft mới chính thức thông báo dịch vụ đã được khôi phục hoàn toàn.

Lỗi phát sinh từ tháng 7 mà không được sửa

Nguồn gốc vấn đề nằm ở một bản cập nhật phần mềm được Microsoft triển khai từ tháng 7 trên hệ thống cổng mạng, nơi tiếp nhận các kết nối trước khi chuyển tiếp đến Outlook và nhiều dịch vụ Microsoft 365 khác. Microsoft chưa tiết lộ bản cập nhật ban đầu nhằm khắc phục vấn đề gì. Đáng chú ý, phần mềm này đã được triển khai trên toàn cầu và hoạt động bình thường trong hơn 3 tháng mà không ghi nhận sự cố.

Tuy nhiên, khi phải xử lý lượng truy cập lớn, một số thành phần trong phần mềm bắt đầu bị mắc kẹt khi chờ nhau xử lý. Tình trạng này tiêu tốn tài nguyên tính toán và bộ nhớ của máy chủ, cuối cùng khiến chúng bị treo và ngừng hoạt động.

Sự cố bùng phát khi hệ thống phải chịu thêm áp lực từ nhiều yếu tố cùng lúc. Khoảng 15 giờ trước khi Outlook gián đoạn, Microsoft đã tự động chuyển lưu lượng truy cập của Teams sang cùng nhóm máy chủ đang xử lý email Outlook, làm tăng tải cho hạ tầng này. Microsoft mô tả đây là hoạt động vận hành bình thường nhưng không giải thích nguyên nhân dẫn đến việc chuyển đổi.

Cùng thời điểm, gần 14% công suất máy chủ của hệ thống cổng mạng đã không thể sử dụng do một vấn đề khác. Khi lưu lượng truy cập đạt đỉnh trong giờ làm việc tại Mỹ, sự kết hợp giữa tải tăng cao và năng lực máy chủ suy giảm đã kích hoạt lỗi phần mềm tồn tại từ tháng 7.

Điều khiến sự cố trở nên nghiêm trọng hơn là cơ chế tự động bảo vệ của Microsoft không hoạt động như kỳ vọng. Khi một số máy chủ ngừng phản hồi, hệ thống lập tức chuyển lưu lượng sang những máy chủ còn hoạt động. Tuy nhiên, các máy chủ này cũng sử dụng phần mềm chứa cùng lỗi. Lượng truy cập tăng thêm khiến chúng lần lượt gặp sự cố, tạo thành hiệu ứng dây chuyền.

Ở thời điểm nghiêm trọng nhất, hơn 80% máy chủ trong hệ thống cổng mạng Microsoft 365 không thể phản hồi. Sau khoảng 10 giờ, các kỹ sư phải tắt một phần cơ chế tự động chuyển hướng lưu lượng để ngăn sự cố tiếp tục lan rộng.

Quá trình khôi phục cũng không diễn ra suôn sẻ. Khi các kỹ sư khởi động lại máy chủ, lượng yêu cầu đang chờ xử lý lập tức dồn về những hệ thống vừa hoạt động trở lại, khiến chúng nhanh chóng quá tải và tiếp tục ngừng phản hồi. Hiện tượng này được gọi là “thundering herd”, tức tình trạng một lượng lớn yêu cầu cùng đổ dồn vào hệ thống trong thời gian ngắn.

Microsoft thừa nhận các công cụ khôi phục tự động của hãng không được thiết kế cho tình huống gần như toàn bộ máy chủ đều ngừng hoạt động. Những phương thức thường dùng để quay lại phiên bản phần mềm trước đó cũng không thể nhanh chóng xử lý một thay đổi đã tồn tại từ nhiều tháng.

Các vấn đề trong quá trình kiểm thử

Báo cáo còn chỉ ra những vấn đề trong quy trình kiểm thử. Các phòng thí nghiệm của Microsoft chủ yếu sử dụng máy chủ có cấu hình yếu hơn, ít lõi xử lý hơn và mô phỏng loại lưu lượng khác với hệ thống đang phục vụ khách hàng thực tế. Trong khi đó, lỗi lại bộc lộ rõ nhất trên những máy chủ mới hơn khi phải xử lý lưu lượng thực tế.

Đáng chú ý, bản cập nhật đã trải qua quy trình triển khai theo từng giai đoạn tiêu chuẩn của Microsoft và được mở rộng trên toàn cầu trong nhiều tuần mà không xuất hiện dấu hiệu bất thường. Điều này khiến lỗi tiếp tục tồn tại cho đến khi các điều kiện về tải và năng lực máy chủ cùng hội tụ.

Một vấn đề khác vẫn chưa được Microsoft giải thích là vì sao các lớp bảo vệ giữa những khu vực máy chủ không thể ngăn sự cố lan rộng. Hệ thống cổng mạng của hãng được chia thành hàng nghìn đơn vị công suất, phân nhóm theo từng khu vực với các lớp ngăn cách nhằm giới hạn phạm vi ảnh hưởng khi xảy ra lỗi. Tuy nhiên, một vấn đề riêng biệt đã khiến cơ chế này thất bại.

Microsoft còn vận hành một hệ thống cổng mạng thứ hai độc lập để chuyển dịch vụ sang sử dụng khi xảy ra gián đoạn. Teams, OneDrive, SharePoint và các ứng dụng Office đã chuyển sang hệ thống dự phòng. Nhờ đó, phần lớn cuộc trò chuyện và cuộc họp trên Teams vẫn hoạt động. Tuy nhiên, Exchange không thể thực hiện chuyển đổi vì lý do liên quan đến quy mô, khiến dịch vụ email tiếp tục gián đoạn.

Theo Nguyễn Hải

Đời sống & Pháp luật

CÙNG CHUYÊN MỤC

XEM
Trở lên trên