Erkennung bewerten
Software zur Erkennung von KI-Bildern auswählen: Kriterien, Pilot und Kosten
Software zur Erkennung KI-generierter Bilder bewerten: Pflichtkriterien, Datenverarbeitung und Serverstandort, Pilotdesign und Vergleich des Prüfaufwands in Euro.
Veröffentlicht · Aktualisiert · 17 Min. Lesezeit
Auf dieser Seite
Wählen Sie Software zur Erkennung von KI-Bildern anhand einer konkreten Prüfaufgabe und Ihrer tatsächlichen Eingangsdaten. Sie brauchen verständliche Befunde, einen tragbaren Prüfaufwand und ein klares Vorgehen für Dateien, die das System nicht bewerten kann. Klären Sie Auftragsverarbeitung, Serverstandort, Löschung und fachliche Abdeckung vor dem ersten Upload. Erst danach lohnt der Vergleich in einem Pilotversuch mit eigenen Dateien.
Gehen Sie in drei Stufen vor, statt mit einem großen Benchmark zu beginnen:
- Vorprüfung nach Unterlagen: benötigte Aufgaben, unterstützte Dateien, Vertrags- und Datenbedingungen sowie Zugang zum angebotenen Tarif klären. Offensichtliche Fehlpassungen scheiden aus, bevor irgendetwas hochgeladen wird.
- Nutzbarkeitsstichprobe mit freigegebenen Dateien: Eine kleine Auswahl repräsentativer, zur Weitergabe freigegebener Dateien zeigt, ob Ihr Prüfteam die Ergebnisse versteht und daraus einen sinnvollen nächsten Schritt ableiten kann. Das ist ein Passungstest, keine Genauigkeitsmessung.
- Formale Bewertung (Pilot): Die verbleibenden Kandidaten werden gegen unabhängig festgestellte Labels, vorab vereinbarte Fehlergrenzen und denselben Arbeitsumfang getestet. Bewertungsraster und Kostenvergleich unten helfen, die Entscheidung zu dokumentieren.
Am Ende finden Sie eine Anfrage, die Sie an alle Anbieter der engeren Wahl senden können.
Auf einen Blick
| Stufe | Was Sie klären | Typisches Ausschlusskriterium |
|---|---|---|
| Pflichtanforderungen | Aufgaben, Formate, AVV, Datenstandort, Löschung, Training | Kein AVV, unzulässige Verarbeitungsorte, Nutzung Ihrer Dateien zum Training |
| Nutzbarkeitsstichprobe | Versteht Ihr Prüfteam die Ausgabe und den nächsten Schritt? | „Nicht eindeutig“ und „unauffällig“ sind nicht unterscheidbar |
| Pilot | Fehler am vereinbarten Arbeitspunkt, Abdeckung, Prüfaufwand in Euro | Kein Kandidat erreicht die vorab festgelegte Grenze |
| Entscheidung | Freigegebener Einsatz, ausgeschlossene Einsätze, Verantwortliche | Pflichtaufgabe ohne Beleg |
Mit der Entscheidung beginnen, die die Software stützen soll
Formulieren Sie eine Anforderung, die Material, Frage und nächste Maßnahme benennt. Zum Beispiel: „Fotos zum Warenzustand auf mögliche inhaltliche Veränderungen vorsortieren; markierte oder ungeklärte Fälle gehen an geschulte Sachbearbeitung, die eine Originaldatei anfordern kann.“ Das lässt sich testen. „Fake-Bilder finden“ nicht.
Legen Sie fest, was als relevanter Befund gilt, bevor Sie Labels vergeben. Zulässiger KI-Einsatz und übliche Bildbearbeitung können akzeptabel sein. Ob ein Anspruchsteller redlich ist oder ein fotografiertes Ereignis so stattfand wie beschrieben, verlangt Kontext und Absicherung, die über einen Detektorwert hinausgehen.
Klären Sie, ob Sie vollständig generierte Bilder erkennen, lokale Veränderungen finden, Herkunftsdaten prüfen oder diese Aufgaben kombinieren müssen. Ein echtes Foto mit einem neu erzeugten Bereich ist ein anderer Bewertungsfall als eine vollständig generierte Szene. Ein echtes Foto in einem irreführenden Zusammenhang kann beide Prüfungen bestehen, während der Vorgang trotzdem geklärt werden muss.
NIST unterscheidet in seiner Übersicht vom November 2024 zwischen der Nachverfolgung von Herkunftsdaten und der Erkennung synthetischer Inhalte und betont, dass keine dieser Techniken für sich eine umfassende Lösung bietet; ihr Wert hängt vom Anwendungsfall ab (NIST AI 100-4, Abschnitte 1 und 3). Diese Unterscheidung hilft, den Umfang sauber zu definieren. Wie sich Herkunftsdaten, Wasserzeichen und Bildanalyse ergänzen, vertieft der Ratgeber C2PA, KI-Wasserzeichen oder Bilddetektor.
Halten Sie Dateiformate, Eingangskanäle, Qualitätsspanne, Tagesvolumen und Schutzbedarf fest. Berücksichtigen Sie dabei alltägliche Erschwernisse wie Bilder aus Messengern oder Screenshots. Benennen Sie eine Verantwortliche oder einen Verantwortlichen für die entstehende Prüfwarteschlange. Wenn niemand auf eine Markierung reagieren kann, hat selbst die eindrucksvollste Funktion kaum betrieblichen Wert.
Vorprüfung: Pflichtfunktionen von attraktiven Extras trennen
Lassen Sie jeden Anbieter dieselbe Abdeckungsmatrix ausfüllen, datiert und bezogen auf den angebotenen Tarif und die Produktversion. Jede Funktion wird als verfügbar, eingeschränkt, nicht unterstützt oder geplant eingestuft; eine Roadmap-Zusage erfüllt keine heutige Anforderung.
| Benötigte Aufgabe | Anzufordernder Nachweis | Zu klärende Grenze |
|---|---|---|
| Vollständig generierte Bilder | Bewertung mit dokumentierten KI-Bildern und echten Fotos | Welche Generatoren und Bedingungen wurden getestet? |
| Lokale inhaltliche Änderungen | Eigene Ergebnisse auf Bildern mit dokumentierten bearbeiteten Bereichen | Erkennt der Dienst eine Änderung, lokalisiert er sie oder beides? |
| Prüfung von Herkunftsdaten | Beispielausgabe der Validierung, unterstützte Formate | Validiert er Signatur und Bindung oder zeigt er nur Metadaten an? |
| Generator-Zuordnung | Bewertung zu den genannten Quellkategorien | Kann er die Zuordnung bei unbekannter Quelle verweigern? |
| Nicht unterstützte Dateien | Dokumentierte Status mit Beispielen | Führt ein Fehlschlag zu einem eigenen Status statt zu einem beruhigenden Wert? |
| Einbindung in die Prüfung | Oberfläche, Export oder API-Dokumentation | Bleibt die Verbindung zwischen Datei und Ergebnis erhalten? |
Bei Herkunftsdaten sind „Content Credentials gefunden“ und „Content Credentials validiert“ verschiedene Aussagen. Fragen Sie, welche Validierungsschritte laufen und wie fehlende, ungültige und nicht vertrauenswürdige Einträge dargestellt werden. Die C2PA-Erläuterung beschreibt Content Credentials als manipulationsevidente Herkunftsinformation, trifft aber ausdrücklich kein Werturteil darüber, ob Inhalte wahr sind (C2PA Explainer 2.2, Ziele und Nicht-Ziele).
Bewerten Sie zuerst die Funktionen, die Ihre Anforderung abdecken, und erst danach Extras. Eine ansprechende Heatmap gleicht fehlende Formatunterstützung nicht aus, und eine lange Liste unterstützter Generatoren belegt keine Leistung bei lokalen Bearbeitungen.
Für Fileverity beginnen Sie mit dem Leistungsumfang der Bildforensik, den Angaben zu Sicherheit und Datenverarbeitung und den Preisen und Tarifen. Fileverity ist für die Prüfung auf KI-Generierung, Bildmanipulation und Herkunft ausgelegt; mit Ihrer Abdeckungsmatrix klären Sie, welche Prüfungen und Zugangswege zur vorgesehenen Aufgabe passen. API-Anbindung, Stapelverarbeitung und private Bereitstellung gibt es im Rahmen eines Enterprise-Vertrags auf Anfrage; bestätigen Sie solche Anforderungen mit dem Team, statt sie aus einer Produktkategorie abzuleiten.
Rechtlicher Rahmen und Datenverarbeitung
Stand: 28.10.2026. Dieser Abschnitt gibt einen Überblick und ist keine Rechtsberatung. Beziehen Sie Datenschutz, Informationssicherheit und gegebenenfalls Betriebsrat früh ein.
- Auftragsverarbeitung. Verarbeitet ein Dienstleister personenbezogene Daten in Ihrem Auftrag – Schadenfotos zeigen oft Personen, Kennzeichen oder Wohnungen –, dürfen Sie nach Art. 28 Abs. 1 DSGVO nur Auftragsverarbeiter einsetzen, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten. Sie schließen einen Vertrag zur Auftragsverarbeitung (AVV), und der Einsatz von Unterauftragsverarbeitern bedarf Ihrer vorherigen Genehmigung (Datenschutzkonferenz, Kurzpapier Nr. 13 „Auftragsverarbeitung“).
- Verarbeitung außerhalb der EU. Auftragsverarbeitung durch Dienstleister außerhalb von EU und EWR ist möglich, wenn zusätzlich die Anforderungen der Art. 44 ff. DSGVO erfüllt sind, etwa ein angemessenes Schutzniveau oder geeignete Garantien (ebenda). Kanada ist in der Liste der Angemessenheitsbeschlüsse der EU-Kommission aufgeführt, beschränkt auf kommerzielle Organisationen (Europäische Kommission, Angemessenheitsbeschlüsse). Für jeden weiteren Verarbeitungsort prüfen Sie die Grundlage gesondert.
- Serverstandort als Auswahlkriterium. In einer Bitkom-Befragung von 603 Unternehmen ab 20 Beschäftigten gaben 97 % an, dass der Serverstandort ihrer Cloud-Dienstleister bei der Anbieterwahl eine Rolle spielt (Bitkom, 20.07.2026). Fragen Sie deshalb nicht nur nach dem Ort der Analyse, sondern nach jedem Ort, an dem Uploads, Ergebnisse, Protokolle und Konten liegen.
- Mitbestimmung. Erfasst das Werkzeug, wer welche Datei wann geprüft hat, kann es eine technische Einrichtung sein, die Verhalten oder Leistung von Beschäftigten überwachen kann. Prüfen Sie gegebenenfalls die Mitbestimmung des Betriebsrats nach § 87 Abs. 1 Nr. 6 BetrVG. In Österreich und der Schweiz gelten eigene arbeits- und datenschutzrechtliche Regeln, die Sie gesondert klären.
- Nachweise zur Informationssicherheit. Zertifizierungen wie ISO/IEC 27001 oder ein BSI-C5-Testat werden in der DACH-Beschaffung häufig nachgefragt. Fragen Sie nach dem konkreten Nachweis, seinem Geltungsbereich und seinem Datum, statt sich auf allgemeine Formulierungen zu verlassen.
Was Fileverity dazu angibt: Dateien werden ausschließlich für die Analyse verarbeitet, danach gelöscht und nie zum Training genutzt; gespeichert bleiben der SHA-256-Hashwert und das Ergebnis, damit sich ein Bericht verifizieren lässt. Die Verarbeitungsorte im Überblick:
| Datenkategorie | Ort |
|---|---|
| Bild- und Dokumentanalyse | Von Entogo betriebene Server in Toronto, Kanada |
| Uploads bis zum Abschluss der Analyse | Temporäre Ablage in Montréal, Kanada |
| Konten und Berichtsdatensätze | Datenbank in den USA |
| Webanwendung | USA |
Alle Unterauftragsverarbeiter mit Zweck und Ort stehen auf der Seite Sicherheit und Datenschutz, der AVV nach Art. 28 DSGVO unter Auftragsverarbeitung. Wo Dateien die eigene Infrastruktur nicht verlassen dürfen, bieten wir Enterprise-Kunden auf Anfrage eine private Bereitstellung in privater Cloud oder On-Premises an.
Pflichtkriterien vor der gewichteten Bewertung
Manche Anforderungen schließen einen Kauf aus, bis sie geklärt sind: die Nutzung eingereichter Dateien zum Training, ein unzulässiger Verarbeitungsort, ein fehlender AVV, nicht unterstützte kritische Dateitypen oder kein gangbarer Weg für unsichere Ergebnisse. Ihre Organisation legt diese Kriterien fest. Ein starkes Erkennungsergebnis gleicht eine nicht erfüllte Datenschutzanforderung nicht aus.
Erst wenn ein Kandidat alle Pflichtkriterien erfüllt, strukturiert ein gewichtetes Raster den Vergleich. Die Gewichte unten sind ein Ausgangspunkt für einen prüfgeführten Prozess; passen Sie sie an, bevor Sie Anbieterergebnisse sehen.
| Kriterium | Gewicht | Nachweis für eine hohe Bewertung |
|---|---|---|
| Abdeckung der Aufgaben | 25 | Benötigte Aufgaben auf relevanten Dateien gezeigt; Grenzen dokumentiert |
| Qualität der Bewertung | 25 | Unabhängige Labels, offengelegte Nenner, Fehler und ungeklärte Eingaben |
| Nutzbarkeit für das Prüfteam | 20 | Prüfteam deutet Ergebnisse und dokumentiert begründete nächste Schritte |
| Betriebliche Zuverlässigkeit | 15 | Fehlschläge, Antwortzeiten, Kapazität und Versionswechsel vorhersehbar |
| Datenverarbeitung | 10 | Geprüfte Vertragsbedingungen und dokumentierter Umgang mit Uploads und abgeleiteten Daten |
| Gesamtbetriebskosten | 5 | Kosten auf demselben Arbeitsumfang modelliert, einschließlich manueller Prüfung |
Bewerten Sie jede Zeile von null bis vier: null heißt kein Nachweis; eins eine schriftliche Behauptung; zwei eine Vorführung oder teilweise Dokumentation; drei ein Nachweis, den Ihr Team gegen die Anforderungen geprüft hat; vier ein Nachweis, der die vorab vereinbarte Abnahmebedingung erfüllt. Für Leistung und Nutzbarkeit zählen Pilotergebnisse, für Vertrag und Betrieb die geprüften Unterlagen. Die Punkte ergeben sich als Gewicht × Bewertung ÷ 4, in Summe maximal 100. Notieren Sie neben jeder Bewertung den Nachweis und die Einschränkung.
Die Zahl ist eine Diskussionsgrundlage. Werten Sie fehlende Information nicht als neutralen Mittelwert, und legen Sie keine allgemeine Bestehensgrenze fest. Ein Kandidat kann eine hohe Gesamtpunktzahl erreichen und trotzdem eine Pflichtaufgabe verfehlen. Dokumentieren Sie das ausdrücklich und verschieben Sie den Kauf oder verengen Sie den Einsatzbereich.

Klären Sie Pflichtanforderungen, bevor Sie Kandidaten bewerten. Ein nicht erfülltes Kriterium führt zurück in die Klärung, unabhängig von der gewichteten Punktzahl.
Nutzbarkeitsstichprobe vor dem formalen Pilot
Sobald die Vorprüfung die Voraussetzungen für die Weitergabe von Dateien geklärt hat, wählen Sie eine kleine, freigegebene Stichprobe: gewöhnliche Eingänge, einen bekannten relevanten Fall und eine Datei, die womöglich ungeeignet ist. Sensible Daten bleiben außen vor, bis ihre Verarbeitung freigegeben ist. Ziel ist, offensichtliche Fehlpassungen günstig zu entdecken – nicht, aus einer Handvoll Bilder eine Erfolgsquote zu machen.
Lassen Sie die künftigen Prüferinnen und Prüfer genau die Oberfläche oder Anbindung nutzen, die sie später erhalten. Können sie die Eingabe zuordnen, das Ergebnis erklären, ein nicht eindeutiges von einem unauffälligen Ergebnis unterscheiden und die nächste Nachweisanforderung formulieren? Notieren Sie Unklarheiten und Bearbeitungszeit. Scheitert die Oberfläche oder die Formatunterstützung an diesem Punkt, lösen Sie das, bevor Sie in einen formalen Genauigkeitsvergleich investieren.
Was eine Genauigkeitsangabe tatsächlich gemessen hat
Fordern Sie Testmenge, Label-Definition, Schwellenwert, Produktversion und Nenner an. „Genauigkeit“ kann verbergen, ob die Stichprobe überwiegend aus Fotos oder aus KI-Bildern bestand. Fragen Sie getrennt, wie viele relevante positive Fälle markiert wurden, wie viele unbedenkliche Fälle markiert wurden und wie viele Eingaben keine verwertbare Bewertung erhielten.
Ein Beispiel aus der Forschung zeigt, warum der Umfang zählt. Die CIFAKE-Studie bewertet eine bestimmte Klassifikationsaufgabe mit echten Bildern und per Latent Diffusion erzeugten Bildern zu den zehn Klassen von CIFAR-10 und berichtet eine Genauigkeit von 92,98 % (Bird und Lotfi, CIFAKE). Das ist ein Ergebnis zu diesem Experiment, keine Messung eines kommerziellen Dienstes an Kundenfotos, lokalen Bearbeitungen oder unbekannten Eingangswegen.
Lassen Sie sich zu jeder Anbieterzahl so viel Detail geben, dass Sie die Aussage nachrechnen können: Anzahl positiver und negativer Fälle, Anzahl der Fehler, Behandlung ausgeschlossener Dateien. Fragen Sie, ob Varianten desselben Ausgangsbilds in Entwicklungs- und Bewertungsdaten vorkamen. Kann ein Anbieter seine Daten nicht offenlegen, verlangen Sie eine Beschreibung, mit der Sie die Relevanz beurteilen können, und behalten Sie Ihren eigenen Pilot als getrennte Prüfung.
Vereinbaren Sie eine gemeinsame Vergleichsregel. Eine Möglichkeit ist ein festes Fehlalarmbudget: Sie vergleichen die Trefferquote, die jeder Kandidat erreicht, solange er das Budget einhält. Eine andere ist eine feste Zieltrefferquote: Sie vergleichen Falsch-positiv-Rate und Prüfaufwand, die dafür nötig sind. Legen Sie die Regel fest, bevor Sie die Endergebnisse sehen, und weisen Sie die Unsicherheit der Schätzungen aus. Derselbe numerische Schwellenwert bei verschiedenen Diensten ist kein gemeinsamer Arbeitspunkt, weil sich die Werteskalen unterscheiden können.
Wählen Sie Schwellenwerte auf Entwicklungsdaten und bewerten Sie die eingefrorenen Einstellungen auf einer getrennten Testmenge. Bietet ein Dienst keine Schwellenwertsteuerung, bewerten Sie die verfügbare Einstellung und berichten Sie, ob sie die Vorgabe erfüllt – ohne zu suggerieren, alle Kandidaten seien bei identischer Fehlerquote getestet worden. Dass Schwellenwerte nicht auf denselben Daten abgestimmt werden sollten, auf denen das Modell trainiert wurde, erläutert der Leitfaden zur Schwellenwertabstimmung von scikit-learn.
Ein Wert von 0,9 bedeutet nicht automatisch eine Wahrscheinlichkeit von 90 %, dass ein Bild generiert ist. Fragen Sie nach der Definition und nach Belegen für jede Deutung als Wahrscheinlichkeit. Nenner, Kalibrierung und Schwellenwerte erklärt der Ratgeber Wie zuverlässig sind KI-Bilddetektoren? im Detail.
Formale Bewertung: ein Pilot mit belastbaren Labels
Verwenden Sie Material, das Sie nutzen dürfen und dessen Herkunft dokumentiert ist. Bewahren Sie bei Fotos Aufnahme- oder Erwerbsnachweise auf, bei generierten oder bearbeiteten Beispielen die Erstellungsnachweise und eine Beschreibung der Änderung. Die Vorhersage eines anderen Detektors ist kein unabhängiges Label. Dateien unsicherer Herkunft gehören in eine getrennte explorative Menge, nicht in die Hauptberechnung.
Bilden Sie zwei sich ergänzende Sammlungen. Eine Diagnosemenge enthält bewusst genug Beispiele jeder wichtigen Aufgabe, um Schwächen sichtbar zu machen. Eine betriebliche Stichprobe bildet Mischung und Qualität des tatsächlichen Eingangs ab, damit Sie Warteschlange und Bearbeitungszeit schätzen können. Eine ausgewogene Diagnosemenge sagt die Markierungshäufigkeit im Betrieb nicht voraus, wenn der echte Eingang anders zusammengesetzt ist.
Trennen Sie die Wahl des Schwellenwerts von der finalen Bewertung. Halten Sie Originale und ihre Varianten in derselben Teilmenge und frieren Sie Bewertungsdateien und Einstellungen vor dem Vergleich ein. Zeigen Sie dem Prüfteam bei allen Kandidaten dieselben Kontextinformationen, aber die erwarteten Labels erst, nachdem die Einschätzungen festgehalten sind. Sichern Sie die Rohausgaben der Dienste, bevor Sie sie mit dem Anbieter besprechen.
Fiktive Diagnosemenge mit 1.000 Bildern für Produktfotos; keine Vorgabe für Stichprobengröße oder Zusammensetzung.
| Sammlung | Beispielhafte Anzahl | Zweck |
|---|---|---|
| Fotos mit belegter Herkunft | 400 | Fehlalarme bei gewöhnlichen Eingängen messen |
| Fotos mit zulässigen Routinekorrekturen | 200 | Prüfen, ob unbedenkliche Bearbeitung Markierungen auslöst |
| Vollständig generierte Bilder | 200 | Die Aufgabe „ganzes Bild generiert“ messen |
| Fotos mit dokumentierten lokalen Änderungen | 200 | Die getrennte Anforderung „lokale Bearbeitung“ testen |
Versehen Sie die Dateien mit Merkmalen zu Format, Quelle, Motiv und Übertragungsweg, damit Sie wichtige Teilgruppen auswerten können. Eine kleine Teilgruppe kann ein ernstes Problem aufdecken, ist aber oft zu klein, um ihre Fehlerquote genau zu schätzen. Null beobachtete Fehler gehören mit ihrem Nenner berichtet, nicht als Beleg für eine Fehlerquote von null.
Abdeckung und Fehlerrate gemeinsam messen
Ein Dienst kann die Fehler unter den beantworteten Fällen senken, indem er schwierige Fälle offenlässt. Das kann sinnvoll sein, verändert aber, wie Sie „Genauigkeit“ lesen müssen. Der fachliche Rahmen dafür ist die selektive Vorhersage: Bewertet werden sowohl der Anteil der Fälle mit eindeutiger Einstufung (Abdeckung) als auch die Fehlerrate innerhalb dieser Fälle (selektives Risiko) (Geifman und El-Yaniv, SelectiveNet, ICML 2019, Abschnitt 2).
Für eine gelabelte Bewertungsmenge sei N die Zahl der geeigneten Fälle, A die Zahl der Fälle mit eindeutiger Einstufung und E die Zahl der falschen Einstufungen unter diesen A. Dann gilt Abdeckung = A / N und selektive Fehlerrate = E / A. Ist A = 0, ist die Fehlerrate nicht definiert, nicht null.
Die folgenden konstruierten Werte zeigen drei Arbeitspunkte auf derselben Bewertungsmenge mit 1.000 Fällen. Angenommen ist, dass alle Anfragen abgeschlossen wurden und alle Fälle geeignet waren; der nicht eingestufte Rest besteht also nur aus unsicheren Fällen.
| Fiktiver Arbeitspunkt | Eindeutige Einstufungen A | Falsch E | Abdeckung | Selektive Fehlerrate | Unsichere Fälle |
|---|---|---|---|---|---|
| Zurückhaltend | 500 | 5 | 50 % | 1 % | 500 |
| Mittel | 800 | 24 | 80 % | 3 % | 200 |
| Breite Abdeckung | 950 | 57 | 95 % | 6 % | 50 |
Der erste Arbeitspunkt erreicht 99 % Genauigkeit unter den beantworteten Fällen, lässt aber die Hälfte offen. Vom mittleren zum breiten Arbeitspunkt kommen 150 Einstufungen und 33 Fehler hinzu. Unter der Annahme ineinander geschachtelter Einstufungsmengen hat die hinzugekommene Gruppe also eine Fehlerrate von 33 / 150 = 22 %. Diese Grenzbetrachtung zeigt einen Zielkonflikt, den die Durchschnittswerte verdecken.

Fiktiver Zielkonflikt: Steigt die Abdeckung von 80 % auf 95 %, kommen 150 Einstufungen und 33 Fehler hinzu. Vergleichen Sie die Kosten dieser Fehler mit dem Aufwand für die offenen Fälle.
Auch Fileverity hält unsichere, fehlgeschlagene und nicht anwendbare Ergebnisse auseinander: Reicht die Beleglage in einer Analyse nicht aus, lautet das Ergebnis „Nicht bestimmbar“, und ein nicht unterstütztes Format wird als solches gemeldet. Die selektive Vorhersage liefert dafür den Bewertungsrahmen; sie beschreibt nicht den Aufbau der Analyse. Ein fehlgeschlagener Aufruf oder eine nicht unterstützte Datei gehört getrennt berichtet, nicht umgedeutet in ein unsicheres Ergebnis oder einen unauffälligen Befund.
Vergleichen Sie Anbieter bei vereinbarter Abdeckung oder vereinbartem Fehlerbudget und zählen Sie die verbleibende Prüfarbeit. Trennen Sie Fehler in Fehlalarme und übersehene Fälle, weil ihre Kosten verschieden sind. Eine niedrige selektive Fehlerrate ist nur zusammen mit einer Abdeckung und einem Klärungsaufwand etwas wert, die Ihr Team tragen kann.
Ungeklärte Eingaben und Prüfaufwand in Euro zählen
Halten Sie die Ergebnisstatus ausdrücklich auseinander: markiert, nicht markiert, nicht eindeutig, nicht unterstützt und technischer Fehlschlag. „Nicht eindeutig“ heißt, der Dienst konnte die vorgesehene Bewertung nicht erreichen; ein technischer Fehlschlag heißt, die Bewertung wurde nicht abgeschlossen. Keines von beiden darf stillschweigend zu „echt“ werden.
Berichten Sie die Falsch-positiv-Rate auf geeigneten, bekannt negativen Eingaben und die Trefferquote auf geeigneten, bekannt positiven Eingaben, jeweils mit dem Hinweis, ob ungeklärte Fälle ausgeschlossen sind. Berichten Sie zusätzlich die Gesamtausbeute: markierte relevante positive Fälle geteilt durch alle eingereichten relevanten positiven Fälle. Zusammen zeigen diese Werte, ob ein Dienst nur auf einem schmalen Ausschnitt gut abschneidet und einen großen Teil der Arbeit ablehnt.
Messen Sie den vollständigen Prüfweg: Fall öffnen, Ergebnis verstehen, ergänzende Nachweise prüfen, eine weitere Datei anfordern, Fall schließen oder eskalieren. Erfassen Sie, wo sich Prüfende uneinig sind. Ein Ergebnis, das präzise wirkt, aber immer wieder zu unbelegten Schlüssen führt, ist ein Nutzbarkeitsproblem – auch wenn der Klassifikator dahinter gut arbeitet.
Im folgenden Vergleich markieren beide fiktiven Kandidaten 80 Zielbilder und übersehen 20. Sie unterscheiden sich bei den Fehlalarmen. Jede Markierung wird einmal geprüft, weitere ungeklärte Eingaben gibt es nicht; ein „Fall“ ist hier ein einzelnes Bild.
Fiktives Beispiel: 1.000 bewertete Bilder, 100 Zielbilder, 900 unbedenkliche Bilder; 8 Minuten je Markierung, angenommener Stundensatz 45 € (keine Marktstatistik). Softwarekosten und Kosten übersehener Fälle sind nicht enthalten.
| Ergebnis oder Kosten | Kandidat A | Kandidat B |
|---|---|---|
| Markierte Zielbilder | 80 | 80 |
| Fehlalarme unter 900 unbedenklichen Bildern | 18 | 45 |
| Falsch-positiv-Rate | 2 % | 5 % |
| Zu prüfende Markierungen | 98 | 125 |
| Anteil Zielbilder an den Markierungen | 81,6 % | 64,0 % |
| Prüfzeit | 784 Minuten | 1.000 Minuten |
| Prüfkosten bei angenommenen 45 €/h | 588,00 € | 750,00 € |
Beide Kandidaten erreichen dieselbe Gesamtausbeute von 80 %, aber B erzeugt 27 zusätzliche Prüfungen. Unter den genannten Annahmen sind das 216 Minuten und 162,00 € mehr Prüfkosten je 1.000 Bilder. Ein niedrigerer Softwarepreis müsste diesen Betrag erst ausgleichen, bevor B bei diesen beiden Posten günstiger wäre. Ergänzen Sie Kosten für übersehene Fälle, Verzögerungen und erneute Einreichungen, um den Vergleich an Ihren Eingang anzupassen, und setzen Sie Ihren eigenen Stundensatz ein.

Beide Kandidaten finden 80 Zielbilder. Kandidat B erzeugt 27 zusätzliche Fehlalarme und damit 216 Minuten mehr Prüfzeit bei 8 Minuten je Markierung.
Was Ihr Prüfteam aus dem Ergebnis festhalten kann
Fordern Sie repräsentative Ausgaben für eine Markierung, ein gewöhnliches unauffälliges Ergebnis, eine nicht eindeutige Bewertung und einen fehlgeschlagenen Aufruf an. Prüfen Sie, ob sich jedes Ergebnis der eingereichten Datei, dem Bearbeitungszeitpunkt und einer Versionsangabe des Dienstes zuordnen lässt. Ein Hashwert der Datei, etwa SHA-256, unterscheidet exakte Dateien voneinander; dass die abgebildete Szene wahr ist, belegt er nicht.
Enthält das Ergebnis eine Heatmap, fragen Sie, ob sie die Aufmerksamkeit eines Modells, eine Lokalisierungsvorhersage oder eine andere Größe zeigt. Verlangen Sie eine Legende und eine klare Erläuterung der Grenzen. Eine farbige Hervorhebung ist keine unabhängige Bestätigung einer Veränderung.
Testen Sie, ob Ihr Prüfteam einen begrenzten Vermerk schreiben kann: „Der Dienst hat das eingereichte Bild auf möglicherweise generierte Inhalte markiert. Originaldatei und ergänzende Fotos sind angefordert. Eine Entscheidung über den Vorgang ist nicht getroffen.“ Damit sind Beobachtung, Schlussfolgerung, Absicherung und Maßnahme getrennt. Fileverity-Berichte tragen eine Berichts-ID, den SHA-256-Hashwert der Datei, das Analyseprofil, einen vertrauenswürdigen Zeitstempel nach RFC 3161 (DigiCert) und lassen sich auf einer öffentlichen Verifizierungsseite prüfen; ein Bericht ist ein Beleg für eine menschliche Entscheidung, keine Zertifizierung.
Datenverarbeitung und Betrieb im Test prüfen
Lassen Sie die zuständigen internen Stellen Verarbeitungsorte, Unterauftragsverarbeiter, Zugriffskontrollen, Aufbewahrung und Trainingsnutzung prüfen. Fordern Sie Antworten je Datenkategorie an: Original-Uploads, Vorschaubilder, ausgelesene Metadaten, Ergebnisse, Anwendungsprotokolle und Sicherungskopien. „Wir löschen Dateien“ ist unvollständig, solange offen bleibt, was wann gelöscht wird und was bleibt.
Wenn Löschung oder eingeschränkter Zugriff gefordert sind, machen Sie deren Nachweis zum Teil der Abnahme. Lassen Sie sich Support-Zugriffe und Meldewege bei Sicherheitsvorfällen schriftlich bestätigen.
Testen Sie genau die Anbindung, die Sie einsetzen wollen: eine nicht unterstützte Datei, eine Zeitüberschreitung, eine doppelte Einreichung, eine Kapazitätsgrenze und ein Ergebnis, das eintrifft, nachdem der aufrufende Prozess nicht mehr wartet. Klären Sie, welche Versuche berechnet werden. Brauchen Sie eine API, prüfen Sie ihre Verfügbarkeit im angebotenen Tarif, statt sie aus einer Exportfunktion abzuleiten.
Vereinbaren Sie, wie Produktänderungen mitgeteilt werden. Eine Änderung an Schwellenwert, Modell oder Vorverarbeitung kann die Vergleichbarkeit mit dem Pilot aufheben. Fordern Sie, wo möglich, Versionsangaben an und legen Sie fest, wann Sie die Abnahmeprüfung wiederholen. Halten Sie einen Ausweichprozess für Ausfälle bereit und eine verantwortliche Person, die eine automatische Weiterleitung aussetzen kann, wenn der Prüfaufwand nicht mehr beherrschbar ist.
Eine begrenzte Kaufentscheidung treffen
Nehmen Sie Lizenz- und Nutzungskosten, Integrationsaufwand, manuelle Prüfung, erneute Einreichungen und laufende Qualitätskontrollen in das Kostenmodell auf. Nutzen Sie für alle Kandidaten denselben Arbeitsumfang und legen Sie die Annahmen offen. Rechnen Sie spekulativ verhinderte Schäden nicht als sichere Einsparung.
Der Entscheidungsvermerk nennt die freigegebene Aufgabe, ausgeschlossene Einsätze, das Ergebnis der Pflichtkriterien, die bewerteten Nachweise, die Pilotergebnisse, offene Grenzen und die Verantwortlichen. Legen Sie den Umfang der ersten Einführung fest und die Ereignisse, die eine Neubewertung auslösen. Eine enge, bedingte Freigabe kann richtig sein, wenn eine Aufgabe belegt ist und eine andere noch nicht.
Verstehen Sie Bewertung als laufende Aufgabe: Prüfen Sie den freigegebenen Einsatz erneut, wenn sich Modell, Eingänge oder Betriebsbedingungen ändern. Das freiwillige AI Risk Management Framework von NIST ordnet solche Bewertungen in ein umfassenderes Risikomanagement ein (NIST AI RMF).
Anfrage an Fileverity (zum Kopieren)
Stellen Sie allen Anbietern der engeren Wahl dieselben Fragen. Füllen Sie Ihre Angaben aus und bitten Sie um eine datierte Antwort, bezogen auf den angebotenen Tarif und die Produktversion.
| Ihre Angaben | Vom Anbieter erbeten |
|---|---|
| Entscheidung und nächste Maßnahme: [was eine Markierung auslöst] | Vorgesehener Einsatz, ausgeschlossene Einsätze, Umgang mit unsicheren Ergebnissen |
| Benötigte Aufgaben: [vollständige Generierung, lokale Änderungen, Herkunftsdaten] | Status je Aufgabe (verfügbar, eingeschränkt, nicht unterstützt, geplant) mit Unterlagen |
| Eingaben: [Formate, Kanäle, Größen, Qualität, typische Motive] | Anforderungen an Eingaben, wichtige Grenzen, sicherer Rahmen für eine Nutzbarkeitsstichprobe |
| Arbeitsumfang: [Bilder pro Tag, Bilder pro Fall, Spitzen, Prüfkapazität] | Zugangsweg, Kapazitätsbedingungen, Verhalten bei Fehlschlägen, Informationen zu Versionswechseln |
| Bewertung: [Fehlalarmbudget oder Zieltrefferquote] | Relevante Bewertungsnachweise, Nenner, Ausschlüsse, Abdeckung, was ein Pilot klären muss |
| Datenverarbeitung: Wo werden Dateien verarbeitet und gespeichert? Gibt es einen AVV? | Orte je Datenkategorie, Unterauftragsverarbeiter, Löschfristen, Ausschluss der Trainingsnutzung, AVV nach Art. 28 DSGVO |
| Interne Beteiligung: [Datenschutz, Informationssicherheit, ggf. Betriebsrat] | Unterlagen zu technischen und organisatorischen Maßnahmen, Protokollierung von Nutzerzugriffen |
| Kommerzieller Rahmen: [Web-App oder Anbindung; Start- und erwartetes Volumen] | Tarif und Angebot, berechnete Versuche, Integrations- und Supportkosten, Abhängigkeiten |
Zu den veröffentlichten Preisen: Jedes Konto umfasst eine kostenlose Bild- und eine kostenlose Dokumentprüfung; die Preise der Analyse stehen auf der Seite Preise. Mengenpreise, API-Anbindung und private Bereitstellung sind Teil eines Enterprise-Vertrags; der AVV ist in Enterprise enthalten und für Kunden mit Guthaben auf Anfrage erhältlich. Einzelheiten unter Preise.
Datenschutz: Ihre Dateien werden nach der Analyse gelöscht und nie zum Training genutzt; die Analyse läuft auf von Entogo betriebenen Servern in Toronto, Kanada. Alle Verarbeitungsorte stehen unter Sicherheit und Datenschutz, der Vertrag nach Art. 28 DSGVO unter Auftragsverarbeitung.
Senden Sie die ausgefüllte Anfrage an unser Team, um die Passung vor einem Pilotprojekt zu klären; echte Fälle aus Ihrem Ablauf gehen wir gemeinsam mit Ihrem Team durch. Bitten Sie um eine Antwort, die trennt, was sich heute zeigen lässt, was eine Bewertung auf Ihren Dateien braucht und welche Anforderungen außerhalb des angebotenen Umfangs liegen. Wie Sie Fehlalarme und Arbeitspunkte im Pilot auswerten, beschreibt der Ratgeber Wie zuverlässig sind KI-Bilddetektoren?; wie sich Bildbefunde in der Schadenregulierung einordnen lassen, der Ratgeber Versicherungsbetrug mit KI: Schadenfotos prüfen.
Von Yang Zheng · Geprüft von Bill Liu