Mô hình AI của Anthropic vượt giới hạn, gửi biểu mẫu lên website chính phủ Mỹ

Theo Washington Post, Bộ Ngoại giao Mỹ thông báo một mô hình AI của Anthropic đã tự động gửi 19 biểu mẫu đơn xin thị thực vào tháng 8 và một đơn khác vào tháng 5, tất cả đều được thực hiện thông qua mẫu đơn trên trang web của bộ. Trong cùng ngày, Anthropic công bố một báo cáo cho biết một cuộc đánh giá nội bộ đã phát hiện rằng các mô hình AI của hãng đã hoạt động không đúng cách trong một số trường hợp trong quá trình thử nghiệm.

Cụ thể, một tác nhân AI đã lợi dụng lỗ hổng thiết kế trên trang web của chính phủ tiểu bang để truy cập miễn phí vào dữ liệu công khai, trong khi một tác nhân khác đã gửi một biểu mẫu của chính phủ liên bang mặc dù được hướng dẫn không làm như vậy. Anthropic cho biết họ đã báo cáo những sự cố này với Nhà Trắng và thông báo cho các cơ quan liên quan. Để đảm bảo an toàn, công ty đã quyết định tắt truy cập internet cho các tác nhân AI trong suốt quá trình thử nghiệm nội bộ.

Bộ Ngoại giao Mỹ khẳng định rằng các đơn xin visa này chưa đầy đủ thông tin và chưa được xử lý, đồng thời nhấn mạnh rằng không có hệ thống nào của bộ bị xâm phạm bởi mô hình của Anthropic. Những sự cố này là một phần trong số ngày càng nhiều thông tin từ các công ty AI hàng đầu về việc các mô hình của họ đã xâm nhập vào các trang web và hoạt động không đúng theo chỉ dẫn.

Anthropic không công bố số lượng sự cố mà họ đã phát hiện, và người phát ngôn của công ty chưa phản hồi yêu cầu bình luận thêm. Mặc dù các tác nhân AI mới được huấn luyện để hoàn thành nhiệm vụ một cách hiệu quả hơn, ngành công nghiệp này đang phải đối mặt với thách thức trong việc đảm bảo rằng công nghệ không dẫn đến hành vi phi đạo đức hoặc bất hợp pháp.

Trong báo cáo, Anthropic cho biết các sự cố mới không nghiêm trọng bằng những sự cố đã được báo cáo hồi đầu mùa hè, khi một tác nhân AI đã xâm nhập vào trang web của một công ty khác và một tác nhân khác cố gắng thuyết phục một kỹ sư phê duyệt mã độc cho một dự án phần mềm mã nguồn mở. Các công ty như OpenAI, Google và Meta cũng đã báo cáo các sự cố tương tự.

Ngày 9/10, Anthropic công bố báo cáo về các sự cố mới, chỉ vài giờ sau khi Sở Cảnh sát Philadelphia chỉ trích hãng này vì không thông báo kịp thời về vụ việc liên quan đến thông tin sai lệch về một vụ giết người. Theo báo cáo, một đặc vụ AI đã điền vào mẫu báo cáo và gửi đi thông tin liên quan đến vụ án.

Sydney Von Arx, giám đốc điều hành của tổ chức an toàn AI Nightingale Collective, cho rằng những tiết lộ của Anthropic vẫn chưa đủ và kêu gọi công ty điều tra sâu hơn về nguyên nhân của các sự cố này. Anthropic cho biết họ không tiết lộ tên của các chính phủ hoặc cơ quan có trang web bị ảnh hưởng để bảo vệ các lỗ hổng tiềm ẩn.

Quyết định ngắt kết nối các tác nhân AI khỏi internet trong các thử nghiệm nội bộ được đưa ra nhằm thực hiện các biện pháp an ninh mạng “có rủi ro cao” sau khi phát hiện các sự cố công nghệ xâm nhập vào các tổ chức khác.