Khi kiểm tra 4 cơ quan gồm Cục Quản lý dịch vụ trẻ em, Sở Giáo dục, Sở Cảnh sát và Sở Xây dựng TP. New York, các kiểm toán viên phát hiện những hạn chế đáng kể trong quá trình giám sát việc sử dụng AI. Lỗ hổng này khiến các công cụ và hệ thống “dễ dẫn đến kết quả sai lệch, hoặc trái ngược ở một số chương trình, gây ảnh hưởng trực tiếp đến cuộc sống của người dân New York”.
Cuộc kiểm toán đã khuyến nghị OTI xây dựng một cơ cấu mới quản lý việc các cơ quan thành phố sử dụng các công nghệ và hệ thống AI, đồng thời đánh giá rủi ro từng công cụ gây ra. Cơ quan kiểm toán cũng khuyến nghị xem xét các chính sách quản lý của thị trưởng thành phố để xác định những lĩnh vực cần được OTI củng cố.
Cuộc kiểm toán cũng phát hiện, không có cơ quan nào lưu giữ bản tóm tắt chính thức về các hệ thống và công cụ AI mà họ sử dụng và sở hữu trong quá trình phát triển. Luật địa phương được ban hành vào tháng 01/2022 yêu cầu tất cả các cơ quan thành phố công khai các công cụ thuật toán đã sử dụng trong năm trước đó cho văn phòng thị trưởng. Trong số 4 cơ quan là đối tượng của cuộc kiểm toán, chỉ có Cơ quan Dịch vụ trẻ em lưu giữ tài liệu tóm tắt về tất cả các công cụ AI họ sử dụng./.
