Đánh giá công cụ phát hiện
Cách chọn phần mềm phát hiện ảnh AI cho doanh nghiệp: tiêu chí, thí điểm và chi phí xét duyệt
Cách chọn phần mềm phát hiện ảnh AI: bảng tiêu chí dựa trên bằng chứng, thiết kế thí điểm, chi phí xét duyệt và các câu hỏi về dữ liệu tại Việt Nam.
Đăng ngày · 20 phút đọc
Trong trang này
Để chọn phần mềm phát hiện ảnh AI cho doanh nghiệp, hãy kiểm tra xem công cụ có cải thiện một quyết định xét duyệt cụ thể trên chính những tệp mà nhóm của bạn nhận hằng ngày hay không. Việc mua phần mềm cần mang lại ba điều: bằng chứng mà người xét duyệt đọc hiểu được, một hàng đợi xét duyệt nằm trong khả năng xử lý và hướng xử lý rõ ràng cho những tệp mà dịch vụ không thể đánh giá.
Hãy tiến hành theo ba giai đoạn thay vì bắt đầu bằng một bài kiểm tra quy mô lớn:
- Rà soát trên tài liệu: xác nhận các tác vụ bắt buộc, định dạng tệp được hỗ trợ, điều khoản về dữ liệu và quyền truy cập vào sản phẩm hoặc gói dự kiến. Loại các phương án rõ ràng không phù hợp trước khi tải bất kỳ tệp nào lên.
- Thử khả năng sử dụng với mẫu được phép: thử một số ít tệp đại diện đã được phép dùng, để xem người xét duyệt có hiểu kết quả và biết bước tiếp theo hay không. Đây là phép kiểm tra mức độ phù hợp, không phải ước lượng độ chính xác.
- Đánh giá chính thức: kiểm thử các phương án còn lại dựa trên nhãn chuẩn được xác định độc lập, giới hạn lỗi đã thống nhất và cùng một khối lượng công việc. Dùng bảng tiêu chí và phép so sánh chi phí bên dưới để ghi lại quyết định.
Cuối bài có mẫu yêu cầu cung cấp thông tin (RFI) để bạn gửi các yêu cầu này cho những nhà cung cấp trong danh sách ngắn.
Bắt đầu từ quyết định mà phần mềm phát hiện ảnh AI phải hỗ trợ
Hãy viết một yêu cầu nêu rõ tệp cần kiểm tra, câu hỏi cần trả lời và hành động tiếp theo. Ví dụ: “Sàng lọc ảnh tình trạng hàng hóa trong các yêu cầu hoàn tiền để tìm thay đổi nội dung có thể có, rồi chuyển các ca bị gắn cờ hoặc chưa giải quyết được cho chuyên viên đã được đào tạo, người có quyền yêu cầu tệp gốc.” Một yêu cầu như vậy kiểm thử được. “Tìm ảnh giả” thì không. Doanh nghiệp bảo hiểm có thể viết tương tự cho ảnh hiện trường và ảnh tổn thất trong hồ sơ bồi thường: ca nào cần giám định viên xem lại và cần xin thêm tài liệu gì (xem thêm bài về thẩm định ảnh trong hồ sơ bồi thường).
Luật Kinh doanh bảo hiểm số 08/2022/QH15, có hiệu lực từ ngày 1 tháng 1 năm 2023, cấm giả mạo tài liệu hoặc cố ý làm sai lệch thông tin trong hồ sơ yêu cầu bồi thường, trả tiền bảo hiểm (điểm b khoản 4 Điều 9) và giao doanh nghiệp bảo hiểm trách nhiệm chủ động xây dựng, tổ chức thực hiện các biện pháp phòng ngừa, phát hiện, giảm thiểu hành vi gian lận bảo hiểm (khoản 2 Điều 123). Luật không chỉ định công cụ cụ thể, nên yêu cầu mua sắm càng rõ về quyết định cần hỗ trợ thì càng dễ đánh giá công cụ. Luật Kinh doanh bảo hiểm 08/2022/QH15, Công báo
Hãy xác định rõ mối lo ngại cần kiểm tra trước khi gán nhãn dương tính: việc dùng AI được phép và chỉnh sửa thông thường có thể chấp nhận được. Việc người bán có trung thực hay không, hoặc sự kiện được chụp lại có diễn ra đúng như mô tả hay không, đòi hỏi thêm bối cảnh và đối chiếu, vượt ra ngoài điểm số của công cụ phát hiện.
Nêu rõ bạn cần phát hiện ảnh do AI tạo ra hoàn toàn, nhận diện chỉnh sửa cục bộ, kiểm tra hồ sơ nguồn gốc hay kết hợp các tác vụ này. Một bức ảnh chụp thật có một vùng do AI tạo ra là một trường hợp đánh giá khác với một cảnh do AI tạo ra hoàn toàn. Một bức ảnh thật nhưng bị dùng theo cách gây hiểu lầm trong giao dịch có thể vượt qua cả hai kiểm tra mà giao dịch vẫn cần được điều tra.
Tài liệu tổng quan của NIST công bố tháng 11 năm 2024 phân biệt việc theo dõi nguồn gốc với việc phát hiện nội dung tổng hợp, đồng thời giải thích rằng từng kỹ thuật chỉ là một thành phần phụ thuộc bối cảnh chứ không phải giải pháp toàn diện. Sự phân biệt này hữu ích khi xác định phạm vi. NIST AI 100-4, mục 1 và 3 (tiếng Anh)
Ghi lại định dạng tệp dự kiến, kênh tiếp nhận (email, Zalo, Messenger, cổng yêu cầu bồi thường hoặc ứng dụng nội bộ), mức chất lượng, khối lượng mỗi ngày và mức độ nhạy cảm. Đưa vào cả các tình huống thông thường như ảnh tải về từ ứng dụng nhắn tin hoặc ảnh chụp màn hình, chẳng hạn ảnh chuyển khoản; bài về ảnh chụp màn hình và ảnh bị nén giải thích vì sao các tệp này cần được thử riêng. Chỉ định một người chịu trách nhiệm xử lý hàng đợi xét duyệt phát sinh. Nếu không ai xử lý cảnh báo, thì dù sản phẩm có tính năng ấn tượng đến đâu, giá trị vận hành cũng rất hạn chế.
Rà soát trên tài liệu: tách yêu cầu bắt buộc khỏi tính năng phụ
Yêu cầu mỗi nhà cung cấp điền cùng một ma trận đáp ứng. Yêu cầu câu trả lời ghi rõ ngày và gắn với gói, phiên bản sản phẩm được chào. Đánh dấu từng năng lực là có sẵn, hạn chế, không hỗ trợ hoặc dự kiến; một cam kết trong lộ trình phát triển không đáp ứng được yêu cầu hiện tại.
| Tác vụ bắt buộc | Bằng chứng cần yêu cầu | Ranh giới cần làm rõ |
|---|---|---|
| Ảnh do AI tạo ra hoàn toàn | Đánh giá có ghi nhận rõ đầu vào là ảnh do AI tạo ra và ảnh chụp | Đã thử những nhóm ảnh và điều kiện nào? |
| Thay đổi nội dung cục bộ | Kết quả riêng trên ảnh có vùng chỉnh sửa được ghi nhận | Công cụ phát hiện thay đổi, định vị thay đổi hay cả hai? |
| Kiểm tra nguồn gốc (provenance) | Ví dụ kết quả xác thực và các định dạng được hỗ trợ | Công cụ có xác thực chữ ký và mối liên kết với nội dung ảnh, hay chỉ hiển thị metadata? |
| Xác định công cụ tạo ảnh | Đánh giá chứng minh cho các nhóm nguồn được nêu tên | Khi gặp nguồn lạ, công cụ có thể từ chối nêu tên không? |
| Tệp không được hỗ trợ | Trạng thái đã được ghi trong tài liệu, kèm ví dụ | Khi không xử lý được, hệ thống có báo một trạng thái rõ ràng thay vì đưa ra một điểm số tạo cảm giác yên tâm không? |
| Tích hợp vào quy trình xét duyệt | Giao diện, tính năng xuất kết quả hoặc tài liệu API sẵn có | Người xét duyệt có giữ được mối liên hệ giữa đầu vào và kết quả không? |
Với nguồn gốc, “tìm thấy Content Credentials” và “đã xác thực Content Credentials” là hai khẳng định khác nhau. Hãy hỏi công cụ chạy những kiểm tra xác thực nào và cách thể hiện hồ sơ bị thiếu, không hợp lệ hoặc không đáng tin. Tài liệu giải thích C2PA bản 2.2 (đúng phiên bản được trích dẫn) mô tả Content Credentials là thông tin nguồn gốc có thể phát hiện việc bị can thiệp; tài liệu không xem việc xác thực là kết luận rằng sự kiện được mô tả có thật. C2PA explainer, mục 2 (Goals and Non-goals) (tiếng Anh)
Tại Việt Nam, Luật Trí tuệ nhân tạo số 134/2025/QH15, có hiệu lực từ ngày 1 tháng 3 năm 2026, yêu cầu nhà cung cấp bảo đảm âm thanh, hình ảnh, video do hệ thống AI tạo ra được đánh dấu ở định dạng máy đọc được theo quy định của Chính phủ (khoản 2 Điều 11) và yêu cầu bên triển khai gắn nhãn dễ nhận biết cho nội dung mô phỏng ngoại hình, giọng nói của người thật hoặc tái hiện sự kiện thực tế (khoản 4 Điều 11). Nghị định 142/2026/NĐ-CP, có hiệu lực từ ngày 1 tháng 5 năm 2026, quy định việc đánh dấu kỹ thuật có thể thực hiện bằng cách tích hợp dấu hiệu nhận biết vào cấu trúc tệp hoặc vào metadata, hay dùng chữ ký số hoặc chữ ký điện tử (khoản 2 Điều 17). Hệ thống AI đã đi vào hoạt động trước ngày 1 tháng 3 năm 2026 có 12 tháng kể từ ngày đó để thực hiện các nghĩa vụ, hoặc 18 tháng với lĩnh vực y tế, giáo dục và tài chính (khoản 1 Điều 35 của Luật). Do đó, dấu hiệu máy đọc được là một tín hiệu hữu ích, nhưng tệp không có dấu hiệu thì không chứng minh được gì: dấu hiệu có thể chưa được áp dụng hoặc đã mất khi ảnh bị chụp màn hình, nén lại hay xử lý lại. Luật Trí tuệ nhân tạo 134/2025/QH15, Công báo; Nghị định 142/2026/NĐ-CP, Công báo. Bài C2PA, watermark AI và công cụ phát hiện ảnh giải thích chi tiết hơn.
Hãy đánh giá các tính năng đáp ứng yêu cầu của bạn trước khi chấm điểm các tính năng phụ. Một bản đồ nhiệt (heatmap) đẹp mắt không bù được cho định dạng đầu vào không được hỗ trợ, và một danh sách dài các công cụ tạo ảnh được hỗ trợ cũng không tự chứng minh được hiệu quả với chỉnh sửa cục bộ.
Xác minh hình ảnh của Fileverity gộp kiểm tra ảnh do AI tạo ra, chỉnh sửa ảnh và nguồn gốc trong một báo cáo, trong đó Content Credentials được đọc và xác thực theo đặc tả C2PA. Hãy bắt đầu với phạm vi xác minh hình ảnh, trang Tin cậy và bảo mật và bảng giá, rồi dùng ma trận đáp ứng để đối chiếu các kiểm tra đó với tác vụ của bạn. Người xét duyệt có thể chạy kiểm tra ảnh trong Console, còn hệ thống của bạn có thể gọi API phát hiện ảnh AI tự phục vụ; cả hai đều dùng số dư trả trước của không gian làm việc và có lượt dùng thử miễn phí ban đầu. Hãy cho chúng tôi biết người xét duyệt sẽ dùng kết quả thế nào (ứng dụng web, tệp xuất hay tích hợp) và khối lượng dự kiến, rồi chúng tôi sẽ xác nhận phương thức truy cập phù hợp. Enterprise bao gồm giá theo khối lượng, triển khai tại chỗ hoặc hoàn toàn ngoại tuyến và tích hợp tùy chỉnh.
Dữ liệu và quy định tại Việt Nam: câu hỏi cho bộ phận pháp chế
Hiệu lực của các văn bản dưới đây được kiểm tra ngày 4 tháng 11 năm 2026. Phần này là tổng quan, không phải tư vấn pháp lý và không đánh giá việc tuân thủ của bất kỳ nhà cung cấp nào. Hãy mời bộ phận pháp chế, bảo vệ dữ liệu và an toàn thông tin tham gia từ sớm.
- Văn bản hiện hành về dữ liệu cá nhân. Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15 có hiệu lực từ ngày 1 tháng 1 năm 2026 (khoản 1 Điều 38). Nghị định 356/2025/NĐ-CP, có hiệu lực cùng ngày, quy định chi tiết việc thi hành Luật và khiến Nghị định 13/2023/NĐ-CP hết hiệu lực (khoản 2 Điều 42). Nếu quy trình mua sắm của bạn vẫn dẫn chiếu Nghị định 13/2023, hãy cập nhật. Luật 91/2025/QH15, Công báo; Nghị định 356/2025/NĐ-CP, Công báo
- Hợp đồng giữa bên kiểm soát và bên xử lý. Nếu ảnh chứa dữ liệu cá nhân, chẳng hạn ảnh có người hoặc giấy tờ tùy thân, nhà cung cấp phân tích ảnh cho bạn có thể đóng vai trò bên xử lý dữ liệu cá nhân. Theo điểm a khoản 2 Điều 37 của Luật, bên xử lý chỉ được tiếp nhận dữ liệu sau khi có thỏa thuận, hợp đồng về xử lý dữ liệu với bên kiểm soát. Hãy yêu cầu thỏa thuận xử lý dữ liệu trước khi tải tệp thật lên.
- Dữ liệu nhạy cảm. Khoản 1 Điều 4 Nghị định 356/2025/NĐ-CP xếp vào dữ liệu cá nhân nhạy cảm, trong số các nhóm khác, dữ liệu sinh trắc học, hình ảnh thẻ căn cước, thẻ căn cước công dân, chứng minh nhân dân, cũng như thông tin thẻ ngân hàng và lịch sử giao dịch của tài khoản ngân hàng. Khi xử lý loại dữ liệu này, cơ quan, tổ chức phải thiết lập quy định phân quyền giới hạn truy cập, quy trình xử lý và các biện pháp bảo mật (khoản 2). Ảnh giấy tờ và ảnh chuyển khoản trong luồng tiếp nhận của bạn có thể rơi vào nhóm này; hãy xác định điều đó trước khi chọn mẫu thử.
- Xử lý ở ngoài lãnh thổ Việt Nam. Điểm c khoản 1 Điều 20 của Luật coi việc dùng nền tảng nằm ngoài lãnh thổ Việt Nam để xử lý dữ liệu cá nhân thu thập tại Việt Nam là chuyển dữ liệu cá nhân xuyên biên giới. Theo khoản 2 Điều 20, bên chuyển phải lập hồ sơ đánh giá tác động chuyển dữ liệu cá nhân xuyên biên giới và gửi một bản chính cho cơ quan chuyên trách trong vòng 60 ngày kể từ ngày đầu tiên chuyển; khoản 6 liệt kê các trường hợp không phải thực hiện, chẳng hạn cơ quan nhà nước có thẩm quyền chuyển dữ liệu hoặc chủ thể dữ liệu tự chuyển dữ liệu của mình. Mức phạt tiền tối đa đối với tổ chức vi phạm quy định về chuyển dữ liệu xuyên biên giới là 5% doanh thu của năm trước liền kề; nếu không có doanh thu của năm đó hoặc 5% doanh thu thấp hơn 3 tỷ đồng thì áp dụng mức tối đa 3 tỷ đồng (khoản 4 và khoản 5 Điều 8). Nghĩa vụ này thuộc về bên thực hiện việc chuyển, nên đây là câu hỏi dành cho bộ phận pháp chế của bạn: dịch vụ phân tích đặt ngoài Việt Nam có thuộc diện này không và, nếu có, hồ sơ đã được nộp chưa? Một bộ tệp thí điểm không chứa dữ liệu cá nhân, chẳng hạn ảnh sản phẩm không có người, có thể không phát sinh nghĩa vụ này, nhưng hãy để pháp chế xác nhận.
- Thông báo vi phạm. Khoản 1 Điều 23 yêu cầu thông báo cho cơ quan chuyên trách chậm nhất 72 giờ kể từ khi phát hiện vi phạm có thể gây tổn hại đến quốc phòng, an ninh quốc gia, trật tự, an toàn xã hội hoặc xâm phạm đến tính mạng, sức khỏe, danh dự, nhân phẩm, tài sản của chủ thể dữ liệu; bên xử lý phát hiện vi phạm phải thông báo kịp thời cho bên kiểm soát. Hãy hỏi nhà cung cấp sẽ báo cho bạn qua kênh nào và trong bao lâu.
- Phân loại hệ thống AI. Theo khoản 1 và khoản 2 Điều 10 của Luật Trí tuệ nhân tạo, nhà cung cấp tự phân loại hệ thống trước khi đưa vào sử dụng, và bên triển khai được kế thừa kết quả phân loại của nhà cung cấp. Hệ thống rủi ro trung bình hoặc rủi ro cao phải có hồ sơ phân loại kèm theo và được thông báo cho Bộ Khoa học và Công nghệ (khoản 1 và khoản 3). Hướng dẫn này không đánh giá một công cụ phát hiện ảnh thuộc mức rủi ro nào; hãy hỏi nhà cung cấp về mục đích sử dụng dự kiến, các mục đích loại trừ và cách họ xử lý việc phân loại, rồi nhờ pháp chế đánh giá.
- Cơ quan nhà nước và dữ liệu quản lý riêng. Nếu bạn là cơ quan nhà nước hoặc xử lý dữ liệu thuộc diện quản lý chuyên ngành, hãy cùng pháp chế kiểm tra thêm Luật Dữ liệu số 60/2024/QH15, có hiệu lực từ ngày 1 tháng 7 năm 2025, và quy định của ngành.
Cách Fileverity xử lý tệp của bạn: tệp chỉ được xử lý để phân tích, bị xóa sau khi phân tích và không bao giờ được dùng để huấn luyện hay tinh chỉnh mô hình phát hiện. Fileverity giữ bản ghi báo cáo gồm mã báo cáo, thời điểm cấp, giá trị băm SHA-256 của tệp và các phát hiện, để báo cáo có thể được xác minh về sau. Các địa điểm chính như sau:
| Hoạt động | Địa điểm |
|---|---|
| Phân tích ảnh và tài liệu | Máy chủ do Entogo vận hành tại Toronto, Canada |
| Lưu trữ tạm thời tệp tải lên cho đến khi phân tích xong | Montréal, Canada |
| Tài khoản và bản ghi báo cáo | Cơ sở dữ liệu tại Hoa Kỳ |
| Ứng dụng web | Hoa Kỳ |
Các dịch vụ DNS, bảo mật mạng và chống bot của nhà cung cấp hạ tầng chạy trên mạng toàn cầu. Danh sách đầy đủ các bên xử lý thứ cấp, kèm mục đích và địa điểm, có trên trang Tin cậy và bảo mật. Thỏa thuận xử lý dữ liệu được cung cấp cho khách hàng doanh nghiệp theo yêu cầu, xem thỏa thuận xử lý dữ liệu; hãy cùng pháp chế đối chiếu thỏa thuận với các yêu cầu nêu trên. Khi tệp không được phép rời hạ tầng của bạn, Fileverity cung cấp triển khai riêng cho khách hàng Enterprise theo yêu cầu.
Đặt điều kiện bắt buộc trước khi chấm điểm có trọng số
Một số yêu cầu nên loại phương án cho đến khi được giải quyết. Ví dụ gồm: nhà cung cấp dùng tệp bạn gửi để huấn luyện mô hình trong khi bạn cấm việc đó, nơi xử lý dữ liệu không tương thích (kể cả khi chưa rõ cách đáp ứng quy định về chuyển dữ liệu xuyên biên giới), định dạng tệp quan trọng không được hỗ trợ hoặc không có hướng xử lý khả thi cho các ca chưa chắc chắn. Tổ chức của bạn tự đặt các điều kiện này. Điểm phát hiện cao không thể bù cho một yêu cầu xử lý dữ liệu không đạt.
Sau khi các phương án vượt qua điều kiện bắt buộc, hãy dùng bảng tiêu chí có trọng số để so sánh một cách có hệ thống. Trọng số dưới đây là điểm khởi đầu cho quy trình do người xét duyệt trực tiếp thực hiện; hãy điều chỉnh chúng trước khi xem kết quả của nhà cung cấp.
| Tiêu chí | Trọng số | Bằng chứng cần có để đạt điểm cao |
|---|---|---|
| Phạm vi tác vụ | 25 | Các tác vụ bắt buộc được chứng minh trên tệp liên quan; giới hạn được ghi rõ |
| Chất lượng đánh giá | 25 | Nhãn độc lập, mẫu số được công bố, số lỗi và số đầu vào chưa giải quyết |
| Khả năng sử dụng của người xét duyệt | 20 | Người xét duyệt diễn giải được kết quả và ghi lại bước tiếp theo có lý do |
| Độ tin cậy vận hành | 15 | Lỗi, độ trễ, công suất xử lý và thay đổi phiên bản được xử lý theo cách có thể dự đoán |
| Quản trị dữ liệu | 10 | Điều khoản đã được duyệt và cách xử lý tệp tải lên cùng dữ liệu phái sinh được ghi rõ |
| Tổng chi phí vận hành | 5 | Chi phí được ước tính trên cùng khối lượng công việc, gồm cả xét duyệt thủ công |
Chấm điểm từng hàng từ 0 đến 4: 0 là không có bằng chứng; 1 là có tuyên bố bằng văn bản; 2 là có buổi trình diễn hoặc tài liệu một phần; 3 là bằng chứng mà nhóm của bạn đã đối chiếu với yêu cầu; 4 là bằng chứng đáp ứng tiêu chí nghiệm thu đã thỏa thuận từ trước. Dùng kết quả thí điểm cho hiệu năng và khả năng sử dụng, và dùng tài liệu hợp đồng hoặc vận hành đã được rà soát cho những tiêu chí mà loại tài liệu đó là bằng chứng phù hợp. Tính điểm bằng trọng số × điểm ÷ 4, rồi cộng lại, tối đa 100. Ghi bằng chứng và lưu ý bên cạnh mỗi điểm.
Tổng điểm này chỉ để hỗ trợ thảo luận. Đừng biến thông tin còn thiếu thành điểm trung lập ở giữa, và đừng chọn một ngưỡng đạt chung cho mọi trường hợp. Một phương án có thể đạt tổng điểm cao mà vẫn không đạt một tác vụ bắt buộc. Hãy ghi rõ điểm không đạt đó, rồi hoãn việc mua hoặc thu hẹp phạm vi dự kiến. Hình bên dưới tóm tắt trình tự: các điều kiện bắt buộc được giải quyết trước khi chấm điểm bằng chứng và trước khi quyết định triển khai có giới hạn.

Hãy giải quyết các yêu cầu bắt buộc trước khi chấm điểm phương án. Một điều kiện không đạt sẽ loại phương án cho đến khi vấn đề được giải quyết, bất kể tổng điểm có trọng số của nó.
Thử khả năng sử dụng với mẫu được phép trước khi thí điểm chính thức
Khi bước rà soát trên tài liệu đã làm rõ các yêu cầu cần thiết để chia sẻ tệp, hãy chọn một mẫu nhỏ đã được phép gồm tệp tiếp nhận thông thường, một mối lo ngại liên quan đã biết và một tệp có thể không phù hợp. Đừng đưa tệp nhạy cảm vào cho đến khi cách xử lý được duyệt. Mục đích là phát hiện sớm, với chi phí thấp, các điểm không khớp rõ ràng trong quy trình, chứ không phải để công bố tỷ lệ thành công dựa trên vài bức ảnh.
Hãy để chính những người xét duyệt sẽ sử dụng sản phẩm thử đúng giao diện hoặc phương thức tích hợp mà họ sẽ được cung cấp. Họ có xác định được đầu vào, giải thích được kết quả, phân biệt được kết quả chưa đủ cơ sở để kết luận với kết quả âm tính và viết được yêu cầu bằng chứng tiếp theo không? Ghi lại chỗ gây nhầm lẫn và thời gian xử lý. Nếu giao diện hoặc phần hỗ trợ đầu vào không đạt, hãy giải quyết vấn đề đó trước khi đầu tư vào một so sánh độ chính xác chính thức.
Hỏi rõ con số độ chính xác của công cụ phát hiện ảnh AI thực sự đo điều gì
Hãy yêu cầu thông tin về tập dữ liệu thử, định nghĩa nhãn, ngưỡng, phiên bản sản phẩm và các mẫu số. “Độ chính xác” có thể che giấu việc mẫu thử phần lớn là ảnh chụp hay phần lớn là ảnh do AI tạo ra. Hãy hỏi riêng: bao nhiêu ca dương tính liên quan được gắn cờ, bao nhiêu ca hợp lệ bị gắn cờ và bao nhiêu đầu vào không nhận được đánh giá dùng được.
Nghiên cứu đã công bố giúp minh họa vì sao phạm vi quan trọng. Nghiên cứu CIFAKE đánh giá một tác vụ phân loại nhị phân cụ thể, dùng ảnh thật và ảnh do mô hình latent diffusion tạo ra, tương ứng với các lớp của CIFAR-10. Kết quả công bố là bằng chứng về thí nghiệm đó; đó không phải phép đo một dịch vụ thương mại trên ảnh của khách hàng, trên chỉnh sửa cục bộ hay trên một quy trình làm việc khác. Bird và Lotfi, CIFAKE (tiếng Anh)
Với mỗi con số của nhà cung cấp, hãy yêu cầu đủ chi tiết để kiểm chứng lại tuyên bố: số ca dương tính và âm tính, số lỗi và cách xử lý các tệp bị loại. Hãy hỏi xem các biến thể liên quan của cùng một ảnh gốc có xuất hiện cả trong dữ liệu phát triển lẫn dữ liệu đánh giá không. Nếu nhà cung cấp không thể công bố tập dữ liệu, hãy yêu cầu mô tả đủ để đánh giá mức độ liên quan, và tự chuẩn bị một tập kiểm tra độc lập (holdout).
Thống nhất một quy tắc so sánh chung. Một lựa chọn hữu ích là cố định tỷ lệ dương tính giả tối đa: so sánh tỷ lệ phát hiện (recall) mà mỗi phương án đạt được khi vẫn nằm trong giới hạn đó. Lựa chọn khác là cố định mục tiêu tỷ lệ phát hiện: so sánh tỷ lệ dương tính giả và khối lượng xét duyệt cần có để đạt mục tiêu. Hãy chọn quy tắc trước khi thấy kết quả cuối cùng và nêu rõ mức độ không chắc chắn của các ước lượng. Cùng một ngưỡng điểm số ở các dịch vụ khác nhau không phải là một điểm vận hành chung, vì thang điểm của chúng có thể khác nhau.
Chọn ngưỡng bằng dữ liệu phát triển, rồi đánh giá cấu hình đã cố định trên tập kiểm tra độc lập. Nếu dịch vụ không cho điều chỉnh ngưỡng, hãy đánh giá thiết lập mặc định và ghi rõ nó có đáp ứng ràng buộc đã chọn hay không; đừng ngụ ý rằng mọi phương án được thử ở cùng một tỷ lệ lỗi. Sự khác biệt giữa điểm số và quyết định sau khi áp dụng ngưỡng, cũng như nhu cầu có dữ liệu riêng để chọn ngưỡng, được giải thích trong hướng dẫn về ngưỡng phân loại của scikit-learn (tiếng Anh).
Điểm 0,9 không mặc nhiên đồng nghĩa với xác suất 90% là ảnh do AI tạo ra. Hãy hỏi định nghĩa của nó và bằng chứng cho mọi cách diễn giải theo xác suất. Bài về độ chính xác và dương tính giả giải thích chi tiết các mẫu số, hiệu chỉnh và sự đánh đổi theo ngưỡng.
Đánh giá chính thức: xây dựng thí điểm với nhãn đáng tin
Dùng tệp đã được phép, có nguồn gốc được ghi nhận. Với ảnh chụp, hãy giữ hồ sơ chụp hoặc thu thập nếu có. Với ví dụ do AI tạo ra hoặc đã chỉnh sửa, hãy giữ hồ sơ tạo ra và mô tả những gì đã thay đổi. Dự đoán của một công cụ phát hiện khác không phải là nhãn chuẩn độc lập. Đưa các tệp chưa rõ nguồn gốc vào một bộ thăm dò riêng thay vì ép chúng vào phép tính độ chính xác chính.
Tạo hai bộ bổ sung cho nhau. Bộ chẩn đoán cố ý gồm đủ ví dụ của từng tác vụ quan trọng để làm lộ các lỗi. Mẫu vận hành mô phỏng cơ cấu và chất lượng của luồng công việc thực tế, để bạn ước lượng quy mô hàng đợi và thời gian xử lý. Không nên dùng trực tiếp một bộ chẩn đoán cân đối để dự đoán tần suất cảnh báo thực tế khi luồng tiếp nhận thật có cơ cấu khác.
Tách việc chọn ngưỡng khỏi đánh giá cuối cùng. Khi chia dữ liệu, hãy giữ ảnh gốc và các biến thể liên quan của nó trong cùng một tập, rồi cố định tệp đánh giá và thiết lập trước khi so sánh. Cho những người xét duyệt ban đầu xem cùng thông tin ngữ cảnh ở mọi phương án, nhưng giữ kín nhãn chuẩn cho đến khi các đánh giá của họ được ghi lại. Lưu kết quả thô của dịch vụ trước khi thảo luận với nhà cung cấp.
Bộ chẩn đoán giả định gồm 1.000 ảnh cho quy trình ảnh sản phẩm; không phải cỡ mẫu hay cơ cấu tiếp nhận được khuyến nghị.
| Nhóm | Số lượng minh họa | Mục đích |
|---|---|---|
| Ảnh chụp có nguồn gốc được chứng minh | 400 | Đo cảnh báo nhầm trên dữ liệu tiếp nhận thông thường |
| Ảnh chụp có chỉnh sửa thông thường được phép | 200 | Kiểm tra xem xử lý chấp nhận được có kích hoạt xét duyệt không |
| Ảnh do AI tạo ra hoàn toàn | 200 | Đo tác vụ toàn ảnh đã nêu |
| Ảnh chụp có chỉnh sửa nội dung cục bộ được ghi nhận | 200 | Kiểm thử yêu cầu chỉnh sửa cục bộ riêng |
Gắn thẻ định dạng tệp, nguồn, chủ đề và điều kiện nhận để kiểm tra được các nhóm con quan trọng. Một nhóm con nhỏ có thể làm lộ vấn đề nghiêm trọng nhưng quá nhỏ để ước lượng chính xác tỷ lệ lỗi. Khi không quan sát thấy lỗi nào, hãy báo cáo kèm mẫu số, chứ đừng quảng cáo đó là bằng chứng của tỷ lệ lỗi bằng không.
Nguyên tắc kỹ thuật: đo sự đánh đổi giữa rủi ro và độ bao phủ
Một dịch vụ có thể giảm lỗi trong số các ca nó trả lời bằng cách để các ca khó chưa được giải quyết. Đó có thể là một thiết kế hợp lý, nhưng nó làm thay đổi cách bộ phận mua sắm nên hiểu “độ chính xác”. Khung kỹ thuật phù hợp ở đây là dự đoán có chọn lọc (selective prediction): đánh giá cả tỷ lệ ca đủ điều kiện nhận được đánh giá dứt khoát lẫn tỷ lệ lỗi trong nhóm đã được đánh giá. Hai số đo này gọi là độ bao phủ (coverage) và rủi ro có chọn lọc (selective risk). Geifman và El-Yaniv, SelectiveNet, ICML 2019, mục 2 (tiếng Anh)
Với một bộ đánh giá đã gán nhãn, gọi N là số ca đủ điều kiện, A là số ca nhận đánh giá dứt khoát và E là số đánh giá sai trong A ca đó. Khi đó độ bao phủ = A / N và lỗi có chọn lọc = E / A. Nếu A = 0, giá trị sau không xác định, chứ không bằng không.
Các kết quả giả định dưới đây minh họa ba điểm vận hành trên cùng một bộ đánh giá 1.000 ca. Chúng giả định mọi yêu cầu đều hoàn tất và mọi ca đều đủ điều kiện, nên phần chưa được đánh giá chỉ gồm các ca chưa chắc chắn.
| Điểm vận hành minh họa | Đánh giá dứt khoát A | Sai E | Độ bao phủ | Lỗi có chọn lọc | Ca chưa chắc chắn |
|---|---|---|---|---|---|
| Chọn lọc hơn | 500 | 5 | 50% | 1% | 500 |
| Trung gian | 800 | 24 | 80% | 3% | 200 |
| Bao phủ rộng hơn | 950 | 57 | 95% | 6% | 50 |
Điểm đầu tiên đạt độ chính xác 99% trong số các ca đã trả lời, nhưng để một nửa đầu vào chưa được giải quyết. Chuyển từ điểm trung gian sang điểm bao phủ rộng hơn sẽ có thêm 150 câu trả lời và 33 lỗi trong bộ giả định này. Vì vậy nhóm được thêm vào có tỷ lệ lỗi 33 / 150 = 22%, với giả định các tập được đánh giá lồng nhau. Phép tính cho phần tăng thêm đó làm lộ ra sự đánh đổi mà các số trung bình tổng thể che giấu, như hình bên dưới minh họa.

Minh họa đánh đổi giữa rủi ro và độ bao phủ: tăng độ bao phủ từ 80% lên 95% thêm 150 đánh giá và 33 lỗi. Hãy so chi phí của các lỗi này với công sức cần có để giải quyết các ca chưa được trả lời.
Phân biệt rõ các đánh giá chưa chắc chắn, thất bại và không áp dụng là một nguyên tắc mà Fileverity áp dụng trong phân tích ảnh. Dự đoán có chọn lọc cung cấp khung đánh giá cho các kết quả này, chứ không phải mô tả kiến trúc mô hình của Fileverity. Một yêu cầu thất bại hoặc đầu vào không được hỗ trợ cần được báo cáo riêng, không được chuyển thành một đánh giá hoàn tất nhưng chưa chắc chắn hay một phát hiện âm tính.
Khi ra quyết định mua, hãy so sánh các nhà cung cấp ở cùng một độ bao phủ hoặc mức lỗi tối đa đã thống nhất và đếm khối lượng xét duyệt còn lại. Tách lỗi thành dương tính giả và âm tính giả vì chi phí của chúng khác nhau. Lỗi có chọn lọc thấp hơn chỉ có giá trị khi đi cùng mức độ bao phủ và khối lượng giải quyết mà nhóm của bạn chấp nhận được.
Đếm đầu vào chưa giải quyết và công việc xét duyệt
Giữ các trạng thái kết quả tách bạch: bị gắn cờ, không bị gắn cờ, chưa đủ cơ sở để kết luận, không được hỗ trợ và lỗi kỹ thuật. “Chưa đủ cơ sở để kết luận” nghĩa là dịch vụ không thể đưa ra đánh giá như dự kiến; lỗi kỹ thuật nghĩa là đánh giá không hoàn tất. Không trạng thái nào được âm thầm biến thành “ảnh thật”.
Báo cáo tỷ lệ dương tính giả trên các đầu vào âm tính đã biết đủ điều kiện và tỷ lệ phát hiện trên các đầu vào dương tính đã biết đủ điều kiện, nêu rõ có loại các ca chưa giải quyết hay không. Báo cáo thêm tỷ lệ phát hiện đầu cuối: số ca dương tính liên quan được gắn cờ chia cho tất cả ca dương tính liên quan đã gửi. Đặt cạnh nhau, hai nhóm số liệu này giúp nhận ra một dịch vụ chạy tốt trên một tập nhỏ được đánh giá nhưng từ chối xử lý phần lớn khối lượng.
Đo toàn bộ quy trình xét duyệt. Ghi thời gian mở hồ sơ, hiểu kết quả, kiểm tra bằng chứng hỗ trợ, yêu cầu thêm tệp và đóng hồ sơ hoặc chuyển lên cấp trên. Ghi nhận bất đồng giữa những người xét duyệt. Một kết quả trông chính xác nhưng liên tục dẫn đến kết luận thiếu căn cứ là vấn đề về khả năng sử dụng, kể cả khi bộ phân loại bên dưới hoạt động tốt.
Trong phép so sánh dưới đây, hai phương án giả định đều gắn cờ 80 ảnh mục tiêu và bỏ sót 20 ảnh. Hai phương án khác nhau ở số cảnh báo nhầm. Mỗi cờ được xét duyệt một lần và không có đầu vào chưa giải quyết nào khác. Ở đây, mỗi “ca” trong hình là một ảnh, không phải một hồ sơ gồm nhiều ảnh.
So sánh giả định: 1.000 ảnh được đánh giá, 100 ảnh mục tiêu, 900 ảnh âm tính; tám phút cho mỗi cờ và chi phí nhân công giả định 150.000 ₫/giờ. Chưa gồm phí phần mềm và chi phí của ca bị bỏ sót.
| Kết quả hoặc chi phí | Phương án A | Phương án B |
|---|---|---|
| Ca dương tính liên quan được gắn cờ | 80 | 80 |
| Cảnh báo nhầm trong 900 ca âm tính | 18 | 45 |
| Tỷ lệ dương tính giả | 2% | 5% |
| Tổng số cờ cần xét duyệt | 98 | 125 |
| Ca dương tính liên quan trên tổng số cờ | 81,6% | 64,0% |
| Thời gian xét duyệt | 784 phút | 1.000 phút |
| Chi phí xét duyệt với giả định 150.000 ₫/giờ | 1.960.000 ₫ | 2.500.000 ₫ |
Cả hai phương án có cùng tỷ lệ phát hiện đầu cuối 80%, nhưng B tạo thêm 27 lượt xét duyệt. Với các giả định đã nêu, đó là thêm 216 phút và thêm 540.000 ₫ chi phí xét duyệt cho mỗi 1.000 ảnh. Phí phần mềm của B phải thấp hơn của A hơn 540.000 ₫ trên mỗi 1.000 ảnh thì B mới rẻ hơn xét trên hai thành phần chi phí này. Hãy thêm chi phí của ca bị bỏ sót, độ trễ và việc gửi lại để điều chỉnh phép so sánh cho khớp luồng tiếp nhận của bạn. Hình bên dưới đặt hai phương án cạnh nhau để thấy phần chênh lệch đến từ cảnh báo nhầm.

Cả hai phương án đều tìm ra 80 ảnh mục tiêu. Phương án B thêm 27 cảnh báo nhầm, cần thêm 216 phút xét duyệt với tám phút cho mỗi cờ.
Kiểm tra bằng chứng mà người xét duyệt có thể lưu giữ
Yêu cầu các kết quả mẫu cho một ca bị gắn cờ, một kết quả âm tính thông thường, một đánh giá chưa đủ cơ sở để kết luận và một yêu cầu thất bại. Xác nhận người xét duyệt có thể gắn từng kết quả với tệp đã gửi, thời điểm xử lý và mã định danh phiên bản dịch vụ nếu có. Khi phù hợp, hãy lưu giá trị băm (hash) của tệp để phân biệt các tệp giống hệt nhau; giá trị băm không chứng minh rằng cảnh trong ảnh là thật.
Nếu có bản đồ nhiệt, hãy hỏi nó thể hiện sự chú ý của mô hình, một dự đoán định vị hay một đại lượng khác. Yêu cầu có chú giải và giải thích rõ các hạn chế. Đừng coi vùng được làm nổi bật là xác nhận độc lập về một chỉnh sửa.
Kiểm tra xem người xét duyệt có viết được một ghi chú không vượt quá bằng chứng hay không: “Dịch vụ gắn cờ ảnh đã gửi vì có thể có nội dung do AI tạo ra. Đã yêu cầu tệp gốc và ảnh bổ sung. Chưa đưa ra kết luận nào về giao dịch.” Cách viết này tách một kết quả quan sát được, một suy luận, một bước đối chiếu và một hành động nghiệp vụ.
Theo Điều 11 Luật Giao dịch điện tử số 20/2023/QH15, có hiệu lực từ ngày 1 tháng 7 năm 2024, thông điệp dữ liệu được dùng làm chứng cứ theo Luật này và pháp luật về tố tụng; giá trị chứng cứ được xác định căn cứ vào độ tin cậy của cách thức khởi tạo, gửi, nhận hoặc lưu trữ, cách thức bảo đảm và duy trì tính toàn vẹn, cách thức xác định người khởi tạo, cùng các yếu tố phù hợp khác. Vì vậy, nếu kết quả có thể phải dùng trong tranh chấp hoặc khi làm việc với cơ quan có thẩm quyền, hãy lưu tệp gốc cùng giá trị băm, kết quả gốc của dịch vụ, thời điểm xử lý, phiên bản và người đã xem xét. Quy định này không nói rằng báo cáo của một công cụ phát hiện mặc nhiên có giá trị chứng cứ; hãy hỏi pháp chế trước khi dựa vào nó. Luật Giao dịch điện tử 20/2023/QH15, Công báo; văn bản hợp nhất
Xác minh cách xử lý dữ liệu và hành vi vận hành
Nhờ các bộ phận nội bộ phù hợp rà soát nơi xử lý, bên xử lý thứ cấp, kiểm soát truy cập, thời gian lưu trữ và điều khoản về việc dùng dữ liệu để huấn luyện. Yêu cầu câu trả lời theo từng nhóm dữ liệu: tệp tải lên gốc, bản xem trước, metadata được trích xuất, kết quả, nhật ký ứng dụng và bản sao lưu. “Chúng tôi xóa tệp” là câu trả lời chưa đầy đủ nếu không nêu xóa gì, khi nào và còn lại gì.
Nếu bạn yêu cầu phải xóa dữ liệu hoặc hạn chế quyền truy cập, hãy đưa việc kiểm chứng vào tiêu chí nghiệm thu. Yêu cầu nhà cung cấp làm rõ bằng văn bản về quyền truy cập của bộ phận hỗ trợ và cách thông báo sự cố, rồi đối chiếu với yêu cầu thông báo trong 72 giờ ở phần trên.
Chạy thử tích hợp thực tế mà bạn định dùng. Thử một tệp không được hỗ trợ, một lần hết thời gian chờ, một lần gửi trùng, một lần chạm giới hạn công suất và một kết quả trả về sau khi bên gọi đã ngừng chờ. Xác nhận lần thử nào bị tính phí. Nếu cần API, hãy xác nhận API có sẵn trong gói được báo giá; bài hướng dẫn chọn API phát hiện AI trình bày phần rà soát tích hợp đó qua mười điểm kiểm tra.
Thống nhất cách thông báo thay đổi sản phẩm. Thay đổi ngưỡng, mô hình hoặc tiền xử lý có thể ảnh hưởng đến khả năng so sánh với kết quả thí điểm. Yêu cầu nhà cung cấp nêu rõ phiên bản sản phẩm (nếu có) và xác định khi nào bạn sẽ chạy lại các kiểm tra nghiệm thu. Giữ một quy trình dự phòng cho lúc dịch vụ ngừng hoạt động và một người chịu trách nhiệm có thể tạm dừng định tuyến tự động nếu khối lượng xét duyệt trở nên không kiểm soát được.
Đưa ra quyết định mua có phạm vi rõ ràng
Đưa phí gói đăng ký và phí sử dụng, công sức tích hợp, xét duyệt thủ công, việc gửi lại và các kiểm tra chất lượng liên tục vào mô hình chi phí. Dùng cùng một khối lượng công việc cho mọi phương án và nêu rõ các giả định. Đừng coi khoản tổn thất giả định được ngăn chặn là khoản tiết kiệm chắc chắn. Fileverity niêm yết giá bằng đô la Mỹ; nếu bạn so sánh với nhà cung cấp báo giá bằng đồng Việt Nam, hãy quy đổi theo cùng một tỷ giá và ghi rõ cách tính thuế (xem bảng giá hiện hành).
Hồ sơ quyết định cần nêu tác vụ được phê duyệt, các mục đích sử dụng bị loại trừ, kết quả các điều kiện bắt buộc, bằng chứng đã chấm điểm, kết quả thí điểm, các hạn chế chưa giải quyết và người chịu trách nhiệm. Xác định quy mô triển khai ban đầu và những trường hợp cần đánh giá lại. Việc phê duyệt có điều kiện, trong phạm vi hẹp, có thể phù hợp khi một tác vụ đã được hỗ trợ còn tác vụ khác chưa có bằng chứng.
Hãy coi việc đánh giá là trách nhiệm liên tục: xem xét lại mục đích sử dụng đã duyệt khi mô hình, đầu vào hoặc điều kiện vận hành thay đổi. Khung quản lý rủi ro AI (AI RMF) của NIST, mang tính tự nguyện, đặt việc đánh giá trong quy trình quản lý rủi ro rộng hơn đó. Tổng quan NIST AI RMF (tiếng Anh)
Những gì cần gửi cho chúng tôi
Hãy gửi nội dung sau cho Fileverity và mọi nhà cung cấp khác trong danh sách ngắn; chúng tôi sẽ trả lời từng dòng theo luồng tiếp nhận của bạn và phiên bản sản phẩm đang chào. Điền thông tin của bên mua và yêu cầu câu trả lời ghi rõ ngày và gắn với gói, phiên bản sản phẩm được chào.
| Nội dung trong yêu cầu của bạn | Đề nghị nhà cung cấp trả lời |
|---|---|
| Quyết định và bước tiếp theo: [một cờ cảnh báo sẽ kích hoạt việc gì] | Mục đích sử dụng được hỗ trợ, các mục đích loại trừ và cách xử lý kết quả chưa chắc chắn |
| Tác vụ bắt buộc: [tạo toàn ảnh, thay đổi cục bộ, nguồn gốc] | Trạng thái có sẵn, hạn chế, không hỗ trợ hoặc dự kiến của từng tác vụ, kèm tài liệu chứng minh |
| Đầu vào: [định dạng, kênh, kích thước, chất lượng và nội dung đại diện] | Yêu cầu đầu vào, các hạn chế quan trọng và cách gửi mẫu đã được phép một cách an toàn |
| Khối lượng: [ảnh/ngày, ảnh/hồ sơ, đỉnh tải và năng lực xét duyệt] | Phương thức truy cập sẵn có, điều kiện về công suất, hành vi khi lỗi và thông tin về thay đổi phiên bản |
| Đánh giá: [tỷ lệ dương tính giả tối đa hoặc mục tiêu tỷ lệ phát hiện] | Bằng chứng đánh giá liên quan, mẫu số, trường hợp loại trừ, độ bao phủ và những gì một thí điểm chính thức phải xác lập |
| Yêu cầu về dữ liệu: [nơi xử lý, thời gian lưu, quyền truy cập, mục đích được phép, thỏa thuận xử lý dữ liệu, chuyển dữ liệu ra nước ngoài] | Cách xử lý tệp gốc, dữ liệu phái sinh, kết quả, nhật ký và bản sao lưu; điều khoản áp dụng và các yêu cầu chưa giải quyết |
| Phạm vi thương mại: [dùng trên web hay tích hợp; khối lượng ban đầu và dự kiến] | Gói và báo giá, các lần thử bị tính phí, chi phí tích hợp và hỗ trợ cùng mọi phụ thuộc về phạm vi |
Gửi yêu cầu đã hoàn tất cho Fileverity và chúng tôi sẽ trả lời từng dòng theo luồng tiếp nhận của bạn: điều gì có thể trình diễn ngay, điều gì cần thí điểm trên tệp của bạn và điều gì nằm ngoài phạm vi cung cấp. Hãy giữ câu trả lời đó cạnh ma trận đáp ứng và bảng giá hiện hành, để quyết định mua dựa trên cùng khối lượng công việc và yêu cầu mà bạn đã đánh giá. Fileverity phân tích tệp trên máy chủ do Entogo vận hành tại Toronto, Canada và xóa tệp khi phân tích hoàn tất. Trang Tin cậy và bảo mật trình bày cách xử lý dữ liệu, gồm cả triển khai riêng cho Enterprise theo yêu cầu.
Tác giả Yang Zheng · Người kiểm duyệt Bill Liu