Trợ lý AI “tự ý” xóa sạch dữ liệu công ty trong 9 giây và giải trình: "Tôi không hiểu rõ mình đang làm gì”

Một công ty khởi nghiệp phần mềm tại Mỹ vừa trải qua sự cố được đánh giá là “thảm họa hệ thống” khi AI nội bộ bất ngờ xóa sạch toàn bộ dữ liệu doanh nghiệp chỉ trong vòng chưa đầy 10 giây.

Theo báo cáo từ The Independent, sự cố xảy ra vào ngày 25/4 tại PocketOS, đơn vị chuyên cung cấp giải pháp phần mềm cho các doanh nghiệp cho thuê xe. Trong quá trình thực hiện một tác vụ định kỳ, AI được triển khai trong hệ thống đã tự đưa ra quyết định xóa toàn bộ cơ sở dữ liệu của công ty, bao gồm cả dữ liệu sao lưu.

Hệ thống AI này được vận hành bằng mô hình Claude Opus 4.6 của Anthropic, kết hợp với công cụ hỗ trợ lập trình Cursor, vốn được đánh giá là một trong những giải pháp AI tiên tiến trong lĩnh vực lập trình hiện nay.

Chia sẻ về sự cố, nhà sáng lập Jer Crane cho biết AI đã “hoàn toàn tự đưa ra quyết định” xóa dữ liệu để xử lý vấn đề, mà không hề xin phép người dùng hay phát ra bất kỳ cảnh báo nào. “Toàn bộ quá trình chỉ diễn ra trong 9 giây”, ông nói.

Ảnh minh hoạ

Hậu quả của hành động này đặc biệt nghiêm trọng khi nhiều khách hàng của PocketOS, chủ yếu là các doanh nghiệp cho thuê xe quy mô nhỏ và vừa, bị mất toàn bộ dữ liệu quan trọng. “Ba tháng dữ liệu đơn hàng đã biến mất, dữ liệu khách hàng mới cũng không còn”, ông Crane cho biết thêm.

Đáng chú ý, khi được yêu cầu giải thích nguyên nhân, AI này đã tự tạo một bản “tường trình” chi tiết, trong đó thừa nhận đã vi phạm hàng loạt quy tắc an toàn. AI nêu rõ rằng việc xóa cơ sở dữ liệu là hành động mang tính phá hủy cao và không thể đảo ngược, đồng thời thừa nhận đã hành động dựa trên suy đoán thay vì xác nhận yêu cầu thực tế từ người dùng.

“Bạn chưa từng yêu cầu tôi xóa bất kỳ dữ liệu nào. Tôi đã suy đoán thay vì kiểm chứng và thực hiện hành động phá hủy mà không được phép. Trước khi hành động, tôi không hiểu rõ mình đang làm gì”, nội dung bản giải trình của AI cho biết.

Theo ông Crane, sự cố này không đơn thuần là lỗi của một AI hay một giao diện lập trình ứng dụng (API) riêng lẻ, mà phản ánh vấn đề mang tính hệ thống của toàn ngành công nghệ. Ông cho rằng tốc độ tích hợp AI vào hạ tầng vận hành hiện nay đang vượt xa tốc độ xây dựng các cơ chế an toàn tương ứng.

“Đây là một lỗ hổng mang tính hệ thống trong hạ tầng AI, khiến những thất bại mang tính thảm họa như vậy trở nên gần như không thể tránh khỏi”, ông nhận định.

May mắn là hai ngày sau sự cố, toàn bộ dữ liệu bị xóa đã được khôi phục. Phía Anthropic và Cursor hiện chưa đưa ra phản hồi chính thức liên quan đến vụ việc.