企业如何选择 AI 生成图片检测工具：采购评估与试点方法

选择 AI 生成图片检测工具，关键是检验它能否在您团队实际收到的文件上改善一个明确的复核决定。一次合格的采购应当带来可解释的检测证据、可承受的复核队列，以及对“无法评估的文件”的明确处理路径。不要从厂商排名或单一准确率数字入手，而要从业务决定、样本试用和正式试点入手。

建议分三个阶段推进，而不是一开始就做大规模基准测试。这与国内常见的需求调研、询价或比选、招标流程可以对应起来：

1. 书面评估：确认所需的检测任务、支持的文件、数据条款，以及目标产品或方案能否取得。上传任何文件之前，先淘汰明显不匹配的候选。
2. 授权样本试用：用少量有代表性、获准使用的文件试用，看复核人员能否看懂输出并据此采取有用的下一步。这是适配性检查，不是准确率估计。
3. 正式试点评估：用独立确定的标签、事先约定的误差上限和相同的工作量，检验剩余候选。用下文的评分表和成本比较记录决定。

文末附一份询价需求清单，可直接发给入围的服务商。

从工具要支持的业务决定出发

写一条需求，写明材料、问题和下一步动作。例如：“对商品状况照片做初筛，发现可能的内容改动；被提示或无法判定的案件转交经过培训的复核人员，由其索取原始文件。”这样的需求可以测试；“找出假图”则不能。

在给“阳性”下定义之前，先界定真正关心的问题：经允许的 AI 使用和常规修图可能是可以接受的。卖家是否诚实、照片所示事件是否如所述发生，需要检测分数以外的背景信息和佐证。

明确您需要的是检测整张生成的图片、识别局部改动、读取来源记录，还是这几项的组合。一张含有一块生成区域的照片，与一张整体生成的图片是不同的评估样本。一张被用于误导性交易的真实照片，可能两项检查都能通过，而交易本身仍需调查。

NIST 于 2024 年 11 月发布的综述区分了来源追踪与合成内容检测，并指出这些技术的作用取决于具体场景，任何一项单独使用都不构成完整方案，见 NIST AI 100-4 第 1、3 节。界定采购范围时，这一区分很有用。

请记录预期的文件格式、进件渠道、画质范围、日处理量和敏感程度，并写入常见的复杂情况，例如经微信等即时通讯工具转发的图片或截图。还要为由此产生的复核队列指定负责人。如果没有人能对提示采取行动，产品最亮眼的能力也可能没有实际业务价值。

书面评估：把必备能力与加分项分开

请每家服务商填写同一份能力覆盖表，并要求注明日期、对应所报方案与产品版本。每项能力标为“已提供”“有限支持”“不支持”或“规划中”；路线图上的承诺，不能满足当前需求。

对来源记录而言，“发现内容凭证”与“内容凭证校验通过”是两种不同的表述。请询问执行了哪些校验，以及缺失、无效和签名方不受信任的记录分别如何呈现。C2PA 2.2 说明文档把内容凭证描述为可发现篡改的来源信息，并明确它不对来源数据是否“真实”作价值判断，见 C2PA 2.2 说明文档。隐式标识、内容凭证与隐形水印三者的区别，见隐式标识、内容凭证与水印。

先评估满足您需求的功能，再给加分项打分。精美的热力图弥补不了不支持的输入格式；支持的生成工具列表再长，也不能证明局部改动的检测表现。

评估 Fileverity 时，可从图像鉴伪的检测范围、信任中心的数据处理说明和价格与方案入手。Fileverity 面向 AI 生成、图片篡改与来源核查三类问题设计；请用您的能力覆盖表确认哪些检查和接入方式适合目标任务。任何集成或部署要求，请与团队书面确认，不要因为产品类别名称而默认具备。

先过关口，再加权打分

有些要求在解决之前应当一票否决，例如：提交的材料会被用于训练、处理地点不符合要求、关键文件类型不受支持，或者对不确定的案件没有可行的处理路径。这些关口由贵单位自行设定。检测得分再高，也不能抵消一项未通过的数据处理要求。

候选通过关口后，再用加权评分表组织比较。下表权重适用于以人工复核为主的流程，仅供起步参考；请在看到厂商结果之前调整。

每行按 0–4 分打分：0 分表示没有证据；1 分表示只有书面声称；2 分表示有演示或部分文档；3 分表示证据已由您的团队对照需求核查；4 分表示证据达到了事先约定的验收条件。表现和可用性以试点结果为准；合同和运行方面则以审阅过的合同文本或运行文档为准。每项得分按 权重 × 得分 ÷ 4 计算，合计满分 100。每个得分旁边都要记录依据和保留意见。

这个总分只是供讨论使用的工具。不要把缺失的信息折算成中间分，也不要设定一个通用的及格线。候选可能总分很高，却在某项必备任务上不合格。请把这类不合格明确记录下来，推迟采购或缩小预期范围。

正式试点之前，先做授权样本试用

书面评估确认可以共享文件后，挑选一小批获得授权的样本，包括普通进件、一个已知的相关问题样本，以及一份可能不适合检测的文件。处理方式获批之前，不要放入敏感材料。这一步的目的是以较低成本发现明显的流程不匹配，而不是用几张图片宣传一个成功率。

请预期的复核人员使用他们将来实际拿到的界面或接入方式。他们能否认出输入文件、解释输出、区分“无法判定”与“阴性”，并写出下一份证据请求？记录他们的困惑之处和处理时长。如果界面或输入支持在这一步就不合格，请先解决这个问题，再投入正式的准确率比较。

追问“准确率”测的究竟是什么

请索取测试群体、标签定义、阈值、产品版本和分母。“准确率”可能掩盖样本主要是拍摄照片还是生成图片。请分别询问：多少相关阳性样本被提示，多少正常样本被提示，以及多少输入没有得到可用的评估。中文“准确率”“误报率”的口径差异与混淆矩阵的读法，见 AI 生成图片检测准确率与误报。

公开研究可以说明范围为何重要。CIFAKE 研究评估的是一项特定的二分类任务，使用的是真实图片和对应 CIFAR-10 类别的潜在扩散生成图片。其结果是关于那项实验的证据，不是商业服务在客户照片、局部改动或陌生流程上的测量结果，见 Bird 与 Lotfi，CIFAKE。

对每个厂商数字，请取得足以复原该说法的细节：阳性与阴性样本数、各类错误数和被排除文件的处理方式。如果厂商无法公开数据集，请其提供足以判断相关性的描述，并保留您自己的留出试点作为独立检查。

事先约定统一的比较规则。一种做法是固定误报率预算：比较各候选在满足该预算时达到的召回率。另一种是固定召回率目标：比较达到该目标所需的误报率和复核工作量。请在看到最终结果之前选定规则，并给出估计值的不确定性。不同服务的分数刻度可能不同，因此同一个分数阈值并不是共同的工作点。

用开发数据选定阈值，再在留出集上检验冻结后的设置。如果某项服务不提供阈值调节，就按其现有设置评估，并报告它是否满足选定的约束；不要暗示所有候选都在相同误差率下接受了测试。分数与阈值化判定的区别，以及为什么需要单独的阈值调优数据，见 scikit-learn 的阈值调优说明。

0.9 分并不自动等于“90% 的概率是 AI 生成”。请索取分数定义，以及任何概率解释所依据的证据。

正式试点：标签要站得住

请使用来源有记录、获得授权的材料。对于拍摄照片，尽可能保留拍摄或获取记录；对于生成或改动的样本，保留创作记录和改动说明。另一个检测工具的预测不是独立的标准答案。来源不确定的文件，请放入单独的探索集，不要硬塞进主要的准确率计算。

建立两组互补的样本。诊断集刻意为每项重要任务准备足够样本，以便暴露失败情形。业务样本尽量贴近实际进件的构成和画质，用来估计队列规模和处理时长。正负均衡的诊断集不能直接用来预测上线后的提示频率，因为实际进件的构成不同。

把阈值选择与最终评估分开：同一原图及其变体放在同一分区，比较开始前冻结评估文件和设置，复核人员完成记录之前不显示预期标签，与厂商讨论之前先保存原始输出。

假设：面向商品照片流程的 1,000 张诊断集，并非规定的样本量或进件构成。

为每个文件标注格式、来源、内容类别和交付状态，以便检查重要子群。一个小子群可能暴露严重问题，但样本太少，不足以精确估计其错误率。观察到零错误时，应连同分母一起报告，而不是宣传为“零错误率”。

技术原理：衡量风险与覆盖率的权衡

一项服务可以通过把较难的案件留作未决，来降低它所回答案件中的错误。这可能是合理的设计，但它改变了采购时解读“准确率”的方式。对应的技术框架是选择性预测：同时评估得到明确评估的合格案件所占比例（覆盖率）以及这部分案件中的错误率（选择性风险），见 Geifman 与 El-Yaniv，SelectiveNet，ICML 2019 第 2 节。设 N 为合格案件数，A 为得到明确评估的案件数，E 为这 A 件中评估错误的件数，则 覆盖率 = A / N，选择性错误率 = E / A。

下面的构造结果展示了同一组 1,000 件评估样本上的三个工作点，假设所有请求都已完成、所有案件都合格，因此未评估的部分只包括不确定的案件。

第一个工作点在已回答的案件中准确率为 99%，却有一半输入未决。从居中工作点移到覆盖更广的工作点，在这组假设数据中增加了 150 个回答和 33 个错误；在已评估子集逐级嵌套的前提下，新增部分的错误率为 33 / 150 = 22%。这一边际计算暴露了平均数字所掩盖的权衡。

Fileverity 的报告把“无法判定”与处理失败、不适用的评估分开列出。处理失败或不支持的输入应单独报告，既不应改记为已完成的“无法判定”，也不应改记为阴性结论。

采购时，请在约定的覆盖率或错误预算下比较厂商，并计算剩余的复核工作。把错误拆分为误报和漏检，因为两者代价不同。较低的选择性错误率，只有在覆盖率和处理未决案件的工作量都可以接受时才有价值。

统计未决输入与复核工作量

结果状态要明确区分：被提示、未被提示、无法判定、不支持和技术故障。“无法判定”表示服务无法完成预期评估；技术故障表示评估没有完成。两者都不应悄悄变成“真实”。

在已知阴性的合格输入上报告误报率，在已知阳性的合格输入上报告检出率，并说明是否排除了未决案件。同时报告端到端检出率：被提示的相关阳性数除以提交的全部相关阳性数。这两类指标结合起来，能暴露那种只在狭窄的已评估子集上表现好、却拒绝了大量工作的服务。

请测量完整的复核路径：打开案件、理解输出、核对佐证、索取其他文件、结案或上报，各用多少时间。记录复核人员之间的分歧。如果一个看似精确的结果反复导致缺乏依据的结论，即使底层分类器表现良好，这也是可用性问题。

在下面的比较中，两个虚构候选都提示了 80 张目标图片、漏掉 20 张，区别在于误报。每条提示复核一次，没有其他未决输入。此处每个“案件”指一张图片，而不是一次含多张图片的提交。

假设比较：1,000 张已评估图片，其中目标阳性 100 张、阴性 900 张；每条提示复核 8 分钟，人工成本按每小时 ¥150 估算。不含软件费用和漏检损失。

两个候选的端到端检出率都是 80%，但 B 多产生 27 次复核。按上述假设，每 1,000 张图片多出 216 分钟和 ¥540 的复核成本。只有当 B 的软件价格低到足以抵消这部分成本时，它在这两项上才更便宜。请再加入漏检、延误和重新提交的成本，使比较贴合您的进件情况。

检查复核人员能留存哪些证据

请索取有代表性的输出：一个被提示的结果、一个普通的阴性结果、一个“无法判定”的评估和一个失败的请求。确认复核人员能把每个结果与提交的文件、处理时间和服务版本标识对应起来。必要时保存文件哈希值以区分确切的文件；哈希值不能证明画面内容真实。

如果输出包含热力图，请询问它表示的是模型注意力、定位预测还是其他量，并要求提供图例和局限说明。检验复核人员能否写出有边界的记录：“该服务提示所提交图片可能含有生成内容。已索取原始文件和补充照片。尚未对该笔交易作出结论。”

以 Fileverity 为例，每份报告附有报告编号、文件的 SHA-256 哈希值、DigiCert 按 RFC 3161 加盖的第三方时间戳、数字签名 PDF 和公开核验页，并注明生成报告的分析配置版本。它是供人工复核使用的检测记录；在您的试点中，请同样核对这些记录能否满足贵单位的留档要求。

数据处理与合规审查

请由内部相应负责人审查处理地点、子处理方、访问控制、保存期限和训练使用条款。按数据类别分别索取答复：原始上传文件、预览图、提取的元数据、检测结果、应用日志和备份。“我们会删除文件”这句话并不完整，除非它写明删除什么、何时删除、还留下什么。

图片往往含有个人信息，例如理赔照片中的人脸、车牌，或售后照片中的收货地址。对国内买方而言，至少要逐项核对以下法规问题，并由法务或合规负责人得出结论：

• 委托服务商处理个人信息时，《个人信息保护法》第二十一条要求与受托人约定处理目的、期限、处理方式、个人信息种类、保护措施及双方权利义务，并对受托人进行监督；第五十五条要求在委托处理和向境外提供个人信息等情形下事前进行个人信息保护影响评估（全国人大网）。
• 处理地点在境外时，需要按第三十八条确定向境外提供个人信息的路径，即安全评估、个人信息保护认证、标准合同或其他法定条件。
• 《促进和规范数据跨境流动规定》（国家互联网信息办公室令第 16 号，2024 年 3 月 22 日公布施行）第五条列有免予申报安全评估、订立标准合同和认证的情形，例如关键信息基础设施运营者以外的数据处理者“自当年1月1日起累计向境外提供不满10万人个人信息（不含敏感个人信息）”；第七条、第八条则规定了需要申报安全评估或订立标准合同的数量门槛（国家网信办）。是否适用，取决于贵单位的身份、数据类型和累计数量。

因此，请服务商写明分析在哪里进行，并询问能否私有化部署，以及评估所需的材料由谁提供。以 Fileverity 为例：对不宜向境外提供的材料，企业版可按需私有化部署；使用托管服务时，图片与文档在 Entogo 运营、位于加拿大多伦多的服务器上分析，分析后即删除，仅保留文件哈希值和分析结果以便核验，客户文件不用于训练或调优模型，可选的网络副本搜索默认关闭。处理地点、子处理方名单见信任中心，代表企业客户处理个人数据的承诺见数据处理协议。向境外提供个人信息的评估路径，由贵单位法务或合规负责人按上述规定确定。

如果贵单位要求服务商具备特定的安全或管理体系资质，请把它写入关口要求，向各服务商索取证书或测评结论并自行核实，不要以厂商宣传材料为准。

如果需要删除或限制访问，请把对其的验证纳入验收；技术支持人员的访问方式和安全事件通知，也要取得书面说明。

检验真实的运行表现

请实际运行您打算使用的接入方式：测试不支持的文件、超时、重复提交和容量上限，并确认哪些尝试会计费。如果需要 API，请确认它在所报方案下确实可用。约定产品变更如何通知，因为阈值、模型或预处理的变化会影响与试点结果的可比性；为服务中断保留兜底流程，并指定一名在复核量失控时有权暂停自动分流的负责人。

作出有范围的采购决定

成本模型应包括订阅和用量费用、集成工作、人工复核、重新提交和持续的质量抽查。对每个候选使用相同的工作量，并列明假设。不要把推测的“避免损失”算作确定的节省。

决定记录应写明获批的任务、排除的用途、各关口结果、打分依据、试点结果、尚未解决的局限和责任人。规定首批部署的规模，以及触发重新评估的事件。当一项任务有证据支持、另一项仍缺乏证据时，有条件的窄范围批准可能是合适的。例如，理赔场景可以先在争议照片的技术复核环节试点，流程见理赔照片被 AI 篡改怎么办。

把评估当作持续的责任：当模型、输入或运行条件变化时，重新审视获批用途。NIST 的自愿性《人工智能风险管理框架》把评估放在更广泛的风险管理过程中，可作为国际参考，见 NIST AI RMF 概述。

Fileverity 如何对照本清单

以下仅列可核实的事实，详情以信任中心和价格页为准：

• 客户文件不用于训练或调优模型；上传文件在分析后即删除，仅保留报告编号、签发时间、文件哈希值与检测结果等核验记录。
• 分析在 Entogo 运营、位于加拿大多伦多的服务器上进行；处理地点、子处理方与数据处理协议见信任中心，企业版可按需私有化部署。
• “无法判定”作为独立结论列出，不会被计为“未发现异常”。
• 每份报告附 SHA-256 文件哈希值、RFC 3161 第三方时间戳与公开核验页。
• 企业版提供 API 接入、批量检测与系统集成。

询价需求清单

对每家入围服务商使用同一组问题。填好买方信息，并要求对方给出注明日期、对应所报方案与产品版本的答复。

在决定试点之前，请把填好的清单发送给 Fileverity，确认适配性，并请团队指出哪些现在即可演示、哪些需要在您的输入上评估、哪些超出所报范围。报告按次预付，当前价格见价格页；每个账号含 1 次免费图片检测和 1 次免费文档检测，可用于授权样本试用；企业版提供 API 接入、批量检测、系统集成和数据处理协议，并可按需私有化部署。请把答复与能力覆盖表放在一起，使采购决定建立在您所评估的同一工作量和需求之上。

作者 Yang Zheng · 审核 Bill Liu