跳至正文

准确率与误报率

AI 生成文本识别:准确率与评测方法

本页所有数字均来自 FVDOC V3 的留出验证,并标明各项数字对应的测试条件与适用范围。

最后更新

中文结果

  • 0.7%

    人工撰写的中文文本(网页与专业文书)被误判为 AI 撰写的比例。

  • 100%

    整篇由 AI 撰写的中文文档被检出的比例。

  • 0%

    人工撰写的中文法院判决书被误判为 AI 撰写的比例。

  • 0%

    人工撰写的中文行政公告被误判为 AI 撰写的比例。

FVDOC V3 留出验证集结果,2026 年 10 月

检出率

由 AI 撰写的文档被检出的比例
测试集检出率
整篇 AI 撰写的中文文档100%
整篇 AI 撰写的文档(五种语言,按语言)98–100%
OpenAI 模型系列100%
Anthropic 模型系列99.3%
Google 模型系列100%
DeepSeek 模型系列99.5%
开发中从未使用过的模型(每个模型)98.4–100%
开发中整体排除的模型系列96.5–100%
仿照真实文书类型、同一主题的 AI 撰写文档(中文)94%
同上,理赔类文档(多语言)91%

网站与报告都不判断文本出自哪一款 AI。

FVDOC V3 留出验证集结果,2026 年 10 月

功能验证与检测准确率,是两类证据

离线回归覆盖 38 个场景、35 份不同内容文件,其中 10 份为公开资料,并检查五语言报告生成与展示。这验证文件处理、正确拒绝和证据呈现,不是 AI/OCR 或造假检测准确率评测。已有模型数字只适用于声明的数据集、语言、任务与版本,不能推广到扫描字段、签名或所有文档。

上限为 50 MB、100 页和 60,000 词,具体检查另有资源限制。未检查、部分检查和无法确定分别显示。未发现异常不等于证明真实;不承诺恢复已删除历史或发现所有遮盖残留,也不宣称完整 UTS #39 或 PAdES 长期验证认证。

资料来源

先看定义

在 FVDOC V3 的留出验证中,人工撰写的中文文本被误判为 AI 撰写的比例为 0.7%,整篇由 AI 撰写的中文文档检出率为 100%。

  • 误报率

    人工撰写的文本被判为 AI 撰写的比例。这类错误直接影响提交方,因此是我们首先公开的指标。

  • 检出率

    AI 撰写的文本被正确识别的比例。文本经过改写、润色后,检出率会明显下降,详见“已知局限”。

  • 留出验证集

    未参与模型开发的测试文本。本页数字均在这类文本上测得。

各语言的误报率

人工撰写文本(网页与专业文书)被误判为 AI 撰写的比例
语言误报率
中文0.7%
英语0.2%
德语0.2%
西班牙语0.1%
法语0.9%

FVDOC V3 留出验证集结果,2026 年 10 月

专业文书

人工撰写的专业文书被误判为 AI 撰写的比例
文书类型误报率
中文法院判决书0%
中文行政公告0%
真实 PDF 文档(多语言)0%
法律文书(五种语言)0%
填写后的模板(中文)0%

验证中未出现误判,不代表同类文书永远不会被误判。

FVDOC V3 留出验证集结果,2026 年 10 月

篇幅与排版的影响

人工撰写文本在不同篇幅与排版下的误报率
条件误报率
150–300 个词(多语言)0.7%
300–1,000 个词(多语言)0.4%
1,000 个词以上(多语言)0.2%
排成信函或合同格式(中文)0.3%

中文篇幅按约 2 个汉字折合 1 个词计算。排版测试将人工撰写的文本加上编号、页码与签名栏,排成信函或合同格式。

FVDOC V3 留出验证集结果,2026 年 10 月

如何复核一个结论

检测结论是复核的起点。建议按以下四步处理,再作决定。

  1. 01 / 04

    查看被标记段落

    按报告注明的页码或段落序号,在原文中逐段阅读被标记的段落,判断其内容与上下文是否一致。

  2. 02 / 04

    对照原始来源

    索取原始电子文件或更早的版本,比较措辞与修改记录。

  3. 03 / 04

    了解撰写过程

    向提交方询问文件由谁起草、是否借助 AI 工具。借助 AI 起草本身往往是正当的。

  4. 04 / 04

    结合其他证据

    与卷宗中的其他材料交叉核对。不应单凭检测结论作出不利决定。

版本

FVDOC V3 · 验证日期 2026 年 10 月

适用范围与已知局限

这些情形与上面的结果同样重要。其中涉及 AI 改写、润色与混合撰写的情形,检出率较低,往往无法检出;阴性结果不能证明文档未经 AI 参与。每份报告都会按检测语言与篇幅,列出对应的适用范围。

  • AI 以人工原稿为底稿重写(“AI 洗稿”),并保留事实、人名与日期:检出率较低,这是检测难度很高的一类情形。
  • AI 改写人工文档的措辞,或刻意改得更像人写的:检出率较低,往往无法检出。
  • AI 对人工文本的轻度润色:检出率较低,结果因模型系列而异。
  • 人工文档中夹带的 AI 段落,包括较大篇幅的段落:检出可靠性低于整篇由 AI 撰写的文档。
  • 混合文档中,被标记段落通常只覆盖其中一部分 AI 撰写文字。
  • 零散分布在全文中的少量 AI 修改:基本检测不到。
  • 意译或回译后的 AI 文本:往往无法检出,因语言与方法而异。
  • AI 辅助写作的文本:检出率较低。
  • 正文不足约 350 个汉字(其他语言约 150 个词)时不出结论,只提示“文本不足,无法判定”。

常见问题

为什么不同 AI 生成内容检测工具结果差别那么大?

各工具面向的文本类型、报告方式与公开程度不同,同一段文字得到不同结果并不罕见。评估任何检测工具,建议先看三点:是否公开误报率;误报率是否按语言与文书类型分别测得;证据不足时,是否会给出“无法判定”。FVDOC V3 的这三项信息都公开在本页。

被误判成 AI 写的,怎么办?

如果您是文件的提交方,请向审核方提供撰写过程的材料,例如早期草稿、修订记录或原始电子文件。如果您是审核方,请按本页的四个步骤复核,不要仅凭检测结论作出不利决定。报告列明了被标记的段落与验证误差率,便于双方核对。

0.7% 的误报率是什么意思?应如何看待和处理误报?

指在验证中,人工撰写的中文文本有 0.7% 被误判为 AI 撰写,误判无法完全避免。因此报告只作为复核线索:请查看被标记段落,向提交方了解撰写过程,并结合卷宗中的其他材料判断,不应单凭检测结论作出不利决定。

为什么短文本不出结论?

文本越短,可供判断的信息越少,误判风险越高。在验证中,150–300 个词的人工撰写文本误报率为 0.7%,而 1,000 个词以上的为 0.2%。因此正文不足约 350 个汉字(其他语言约 150 个词)时,系统只提示“文本不足,无法判定”,不出具报告,也不扣减检测次数。

翻译过、改写过的 AI 文本还能检测出来吗?

往往检测不到。意译或回译后的 AI 文本,以及 AI 以人工原稿为底稿重写的文本,检出率较低,阴性结果不能证明文档未经 AI 参与。这类情形请结合原始电子文件与撰写过程复核。

决策之前,先检测文档。

检查收到的理赔材料、付款凭证或书面说明,查看文本、文件记录和适用字段中的疑点。先检测一份文档,也可联系我们评估批量审核与系统接入。