Chương trình kiểm soát những gì AI ‘nhìn thấy’

Theo Phó giáo sư Wu: “Chúng tôi muốn tìm ra cách khai thác hiệu quả lỗ hổng các hệ thống thị giác AI vì chúng thường được sử dụng trong nhiều trường hợp có thể ảnh hưởng đến sức khỏe và sự an toàn của con người, từ xe tự hành, công nghệ y tế đến ứng dụng bảo mật. Đảm bảo bảo mật cho chúng vô cùng quan trọng. Xác định lỗ hổng là bước cần thiết để bảo vệ các hệ thống, xác định được thì ta có thể phòng thủ được”.

Nhóm ghi nhận mối nguy hiểm lớn nhất chính là “tấn công đối kháng” (adversarial attacks) – ai đó thao túng dữ liệu đưa vào AI hòng kiểm soát thứ hệ thống nhìn thấy hoặc không nhìn thấy trong hình ảnh. Nếu AI bị thao túng khả năng phát hiện tín hiệu giao thông, người đi bộ hoặc xe khác, xe tự hành có thể gặp sự cố. Hay tin tặc cài đặt mã vào máy chụp X-quang có thể khiến hệ thống đưa ra chẩn đoán không chính xác.

RisingAttacK mô phỏng hình thức tấn công trên với mục tiêu thực hiện ít thay đổi nhất trong hình ảnh mà vẫn thao túng được AI. Đầu tiên chương trình xác định tất cả đặc điểm trực quan của hình ảnh, sau đó nhận ra đặc điểm nào là quan trọng nhất để đạt mục tiêu thao túng.

“Ví dụ nếu mục tiêu là ngăn AI nhận dạng một chiếc xe, thì đặc điểm nào là quan trọng giúp hệ thống nhận dạng ra. Việc này đòi hỏi sức mạnh tính toán lớn nhưng cho phép chúng tôi thực hiện thay đổi rất nhỏ, nhắm đúng mục tiêu”, Phó giáo sư Wu giải thích.

Kết quả cuối cùng là 2 hình ảnh dường như giống hệt nhau với mắt người, ai cũng nhìn rõ một chiếc xe trong cả hai ảnh. Tuy nhiên do RisingAttacK mà AI chỉ “nhìn thấy” xe trong 1 ảnh mà thôi. Chương trình thành công thao túng 4 hệ thống thị giác phổ biến nhất hiện tại (ResNet-50, DenseNet-121, ViTB, DEiT-B).

Nhóm muốn chứng minh RisingAttacK hiệu quả với các hệ thống AI khác, kể cả mô hình ngôn ngữ lớn. Hoạt động thử nghiệm như vậy góp sức phát triển kỹ thuật đối phó “tấn công đối kháng”.