Wie zuverlässig erkennt Fileverity KI-generierten Text?

Die Offline-Regression umfasste 38 Szenarien mit 35 unterschiedlichen Dateiinhalten, darunter 10 öffentliche Dokumente, sowie Berichtserstellung und Darstellung in fünf Sprachen. Sie prüft Verarbeitung, korrekte Ablehnung und Belegdarstellung, nicht KI-/OCR- oder Betrugserkennungsgenauigkeit. Modellzahlen gelten nur für die genannten Daten, Sprachen, Aufgaben und Versionen, nicht pauschal für Scan-Felder, Signaturen oder alle Dokumente.

Web-Limits: 50 MB, 100 Seiten und 60.000 Wörter; zusätzliche Ressourcenlimits gelten je Prüfung. Nicht geprüft, teilweise geprüft und unbestimmt werden getrennt. Ein unauffälliges Ergebnis ist kein Echtheitsnachweis. Keine Zusage für gelöschte Historien, alle visuellen Schwärzungsreste, vollständige UTS-#39-Konformität oder zertifizierte PAdES-Langzeitvalidierung.

Die Fehlalarmquote (Falsch-positiv-Rate) gibt an, welcher Anteil tatsächlich von Menschen verfasster Texte fälschlich als KI-generiert eingestuft wird. Für die Prüfung von Geschäftsdokumenten ist sie die wichtigste Kennzahl, weil ein Fehlalarm einen unberechtigten Verdacht erzeugt.

Die Erkennungsrate gibt an, welcher Anteil KI-generierter Dokumente als solche erkannt wird. Sie hängt stark davon ab, wie viel KI-Text ein Dokument enthält und wie er entstanden ist.

„Nicht eindeutig“ bedeutet: Die Signale reichen für keine Einstufung aus. Der „Anteil des geprüften Textes in markierten Passagen“ gibt an, welcher Teil der bewerteten Wörter in markierten Passagen liegt; er ist keine Wahrscheinlichkeit. Zurückgehaltene Testdaten sind Dokumente, die bei der Entwicklung von FVDOC V3 nie verwendet wurden.

Eine niedrige Fehlalarmquote bedeutet nicht, dass ein einzelner positiver Befund mit derselben Sicherheit zutrifft. Wie belastbar ein Befund ist, hängt auch davon ab, wie häufig KI-Texte in den geprüften Unterlagen überhaupt vorkommen.

„Hinweise auf KI-generierten Text“ betrifft das Dokument als Ganzes. „Teilweise KI-Textsignale“ heißt, dass einzelne Passagen markiert sind; der Bericht nennt dann den Anteil des geprüften Textes in markierten Passagen. „Keine nennenswerten KI-Textsignale“ heißt nicht, dass ein Mensch den Text verfasst hat – nur, dass die Prüfung keine ausreichenden Signale gefunden hat.

„Nicht eindeutig“ erscheint, wenn die Signale für keine Einstufung genügen. Ist zu wenig Text vorhanden, wird gar nicht bewertet und nichts berechnet.

Die Prüfung ist so ausgelegt, dass sie im Zweifel lieber einen KI-Text übersieht, als einen menschlichen Text zu Unrecht zu markieren. Nicht markierte Passagen sind damit nicht als menschlich verfasst bestätigt.

Alle Werte stammen aus Testsätzen, die bei der Entwicklung von FVDOC V3 nie verwendet wurden. Für jede Sprache und jeden Dokumenttyp gibt es eigene Sätze.

Die menschlichen Texte stammen aus realen Geschäfts-, Rechts- und Verwaltungsquellen sowie von Webseiten. Die KI-Texte wurden mit Modellen der vier großen Modellfamilien erzeugt, dazu mit Modellen – und einer ganzen Modellfamilie –, die bei der Entwicklung bewusst ausgespart blieben.

Jeder Wert gilt für eine bestimmte Version und ein bestimmtes Datum: FVDOC V3, Oktober 2026.

Eine einzige Genauigkeitszahl sagt nichts darüber, an welchen Texten gemessen wurde, wie oft menschliche Texte fälschlich markiert werden und wo ein Verfahren versagt. Für einen Prüfbericht, der in eine Akte geht, zählen genau diese Angaben.

Deshalb veröffentlichen wir Fehlalarm- und Erkennungsquoten getrennt, je Sprache, Länge und Dokumenttyp – und benennen die Bedingungen, unter denen das Signal schwächer ist.

FVDOC V3 hat frühere Versionen vollständig abgelöst. Mit jeder neuen Version wird die Validierung wiederholt und diese Seite aktualisiert.

Jeder Prüfbericht nennt Modellversion, Validierungsdatum und die Adresse dieser Seite, damit sich ein Befund auch später den damals gültigen Messwerten zuordnen lässt.