Hàng loạt thiếu sót trong triển khai các mô hình AI
Báo cáo kiểm toán của ANAO chỉ ra rằng, ATO đã có các thỏa thuận hỗ trợ thiết kế, xây dựng và triển khai các mô hình AI. Tuy nhiên, các thỏa thuận quản trị AI nhằm hỗ trợ việc áp dụng AI chỉ đạt hiệu quả một phần. Bên cạnh đó, còn nhiều lĩnh vực tồn đọng những thiếu sót cần được khắc phục.
Tháng 10/2022, ATO đã xây dựng chiến lược tự động hóa liên quan đến AI. Tháng 12/2023, ATO công bố chính sách về việc sử dụng các công cụ AI tạo sinh. Tuy nhiên, báo cáo kiểm toán cho biết, ATO chưa thiết lập các thỏa thuận triển khai phù hợp cho chiến lược này, chưa xác định vai trò, trách nhiệm của Sở. ATO cũng chưa thiết lập các thỏa thuận quản lý rủi ro dành riêng cho AI và triển khai khuôn khổ đạo đức dữ liệu về AI đầy đủ.
Báo cáo của ANAO nhấn mạnh: “ATO không có chính sách và quy trình cụ thể cho việc thiết kế, xây dựng và triển khai các mô hình AI của Sở, mặc dù đã có các chính sách và quy trình liên quan cho doanh nghiệp… Việc thiếu các chính sách và quy trình được phê duyệt tạo ra rủi ro trong quá trình triển khai hiệu quả các mô hình”.
Đặc biệt, ATO đã không tích hợp đầy đủ các cân nhắc về mặt đạo đức và pháp lý vào thiết kế, phát triển các mô hình AI. Điều này làm suy yếu khả năng của ATO trong việc chứng minh rằng các mô hình AI là công bằng, đáng tin cậy, an toàn; có thể bảo vệ quyền riêng tư, tính minh bạch và có các thỏa thuận giải trình phù hợp.
Hơn nữa, ATO chưa có chính sách và quy trình hỗ trợ việc giám sát, đánh giá các mô hình AI nội bộ. Các cơ sở dữ liệu không được báo cáo trong quá trình giám sát, các hoạt động đang diễn ra cũng không được báo cáo đầy đủ, khiến việc giám sát, đánh giá các mô hình AI chưa thực sự hiệu quả.
Tận dụng AI để tạo ra hệ thống thuế tốt hơn
Phản hồi lại những phát hiện của ANAO, ATO cho biết Sở đang điều chỉnh các thỏa thuận quản lý, quản trị dữ liệu hiện có, đồng thời đưa ra các thỏa thuận mới để hỗ trợ việc áp dụng AI, bao gồm hỗ trợ quản lý rủi ro và đánh giá các vấn đề về khía cạnh đạo đức.
Về vấn đề công tác giám sát các mô hình AI chưa được đảm bảo, ATO cho biết, vấn đề này đang được giải quyết thông qua việc xây dựng khuôn khổ giám sát và báo cáo cho các mô hình AI. ATO hiện đang ứng dụng AI trong nhiều bối cảnh khác nhau và có kế hoạch mở rộng việc sử dụng AI trong những năm tới.
Đại diện ATO cho biết: “Chúng tôi đã thực hiện trách nhiệm đảm bảo đạo đức dữ liệu và quản lý dữ liệu nghiêm túc. ATO chỉ sử dụng công nghệ AI một cách hạn chế vì nhận ra tầm quan trọng của việc bảo mật, quyền riêng tư, tính minh bạch và việc sử dụng dữ liệu có đạo đức với sự giám sát phù hợp của con người”.
Báo cáo của ANAO đã đưa ra 7 khuyến nghị giúp ATO thực hiện cam kết quản lý dữ liệu của người nộp thuế được toàn vẹn và đảm bảo ra quyết định có đạo đức trong mọi hành động; giúp ATO tăng cường hơn nữa công tác quản trị AI và nâng cao khuôn khổ AI.
7 khuyến nghị nhằm mở rộng các chính sách và hướng dẫn của ATO liên quan đến AI gồm cải thiện sự liên kết giữa chiến lược tự động hóa và AI để đáp ứng hiệu quả các yêu cầu quản lý và dự án; xác định, truyền đạt rõ ràng về các cấu trúc tổ chức và thỏa thuận quản trị của toàn đơn vị để hỗ trợ việc áp dụng AI; xem xét việc sử dụng sai dữ liệu và rủi ro phân tích về doanh nghiệp cũng như các biện pháp kiểm soát liên quan, kết hợp các biện pháp kiểm soát liên quan đến tác động của AI đối với rủi ro này.
Tính đến ngày 14/5/2024, ATO đã xây dựng được 43 mô hình AI. Tuy nhiên đến tháng 8/2024, khoảng 3/4 (74%) các mô hình AI này vẫn chưa có báo cáo đánh giá tiêu chuẩn và quy tắc đạo đức dữ liệu hoàn chỉnh.
Đồng thời, cải thiện các thỏa thuận để hỗ trợ thiết kế, xây dựng, triển khai và sử dụng AI phù hợp với các nguyên tắc đạo đức; tiếp tục tiến hành việc xây dựng và triển khai các chính sách, hướng dẫn cụ thể về AI để hỗ trợ thiết kế, triển khai và đảm bảo tính hiệu quả của các mô hình AI; thiết lập các biện pháp đo lường hiệu quả hoạt động, các thỏa thuận đánh giá đối với chiến lược tự động hóa và AI. Cuối cùng là đảm bảo cách tiếp cận của ATO đối với việc quản lý thông tin sẽ hỗ trợ tính minh bạch và trách nhiệm giải trình liên quan đến việc áp dụng AI.
ATO đánh giá cao những khuyến nghị, hỗ trợ của ANAO, cách tiếp cận của ANAO trong quá trình thực hiện các cuộc kiểm toán việc sử dụng và quản trị AI tương tự. Những kiến nghị kiểm toán trên cũng cung cấp thông tin hữu ích cho các cơ quan dịch vụ công khác tại Australia.
Đại diện ATO cho biết: “Những thông lệ hàng đầu về việc sử dụng, quản trị AI vẫn đang phát triển và chúng tôi sẽ tiếp tục phấn đấu để đạt được thông lệ hàng đầu cũng như góp phần hỗ trợ các cơ quan dịch vụ công khác tại Australia. Dựa trên các khuyến nghị kiểm toán, chúng tôi sẽ tiếp tục duy trì và phát triển năng lực khi AI đang phát triển nhanh chóng. ATO sẽ tận dụng AI theo cách an toàn để tạo ra một hệ thống thuế tốt hơn cho tất cả người dân Australia”./.
(Theo ANAO)
