Wie wir die KI von Anonimatum in 10 Sprachen messen: Korpus, Recall und Präzision

Ein Anonymisierungswerkzeug wird an dem gemessen, was ihm entgeht. Deshalb testen wir die KI von Anonimatum bei jeder Änderung mit einem Korpus aus 6.123 Dokumenten in 10 Sprachen (Spanisch, Katalanisch, Galicisch, Baskisch, Englisch, Französisch, Deutsch, Italienisch, Portugiesisch und Rumänisch) und vergleichen, was sie erkennt, mit dem, was sie erkennen sollte. Dieser Artikel erklärt, was im Korpus steckt, wie wir messen und wo die Zahlen heute stehen, auch die, mit denen wir noch nicht zufrieden sind.

Was im Testkorpus steckt

Das Korpus mischt zwei Arten von Dokumenten. Die echten (4.805) sind größtenteils Veröffentlichungen öffentlicher Stellen unter Weiterverwendungslizenzen: Amts- und Gesetzblätter, Urteile und Beschlüsse von Gerichten, Entscheidungen von Datenschutz- und Informationsfreiheitsbehörden, Protokolle, Vereinbarungen und EU-Rechtsakte. Die synthetischen (1.318) erzeugen wir mit erfundenen Daten, um abzudecken, was in echten Dokumenten selten vorkommt: Gehaltsabrechnungen, Rechnungen, Verträge, Arztberichte, Formulare, E-Mails, Tabellen und Word- oder OpenDocument-Dateien mit komplexem Layout. Dazu gehören Rechnungen in allen Formen: PDF mit Text, gescannt, mit dem Handy fotografiert, als Word- und Excel-Datei, als E-Mail-Anhang und als E-Rechnung im XML-Format.

1.272 Dokumente sind Scans: Bevor nach personenbezogenen Daten gesucht wird, durchlaufen sie die Texterkennung (OCR) mit dem Modell der Dokumentsprache. Darunter sind schiefe oder gedrehte Seiten, Stempel, Flecken, Faxe, Handyfotos und Handschrift, denn genau dort scheitert Anonymisierung in der Praxis (siehe OCR-Risiken bei gescannten Dokumenten).

Wie wir messen: Recall und Präzision

• Recall (Trefferquote): welcher Anteil aller personenbezogenen Daten eines Dokuments von der KI erkannt wird. Ein Recall von 0,95 heißt, dass 5 von 100 durchrutschen. Für die Anonymisierung ist das die wichtigste Kennzahl: Was nicht erkannt wird, wird veröffentlicht.
• Präzision: welcher Anteil dessen, was die KI markiert, tatsächlich personenbezogen ist. Eine niedrige Präzision lässt keine Daten durch, bedeutet aber, bei der Prüfung überflüssige Markierungen zu entfernen.
• Strukturierte Kennungen (Ausweis- und Steuernummern, IBAN …): Sie müssen in Dokumenten mit Textebene vollständig erkannt werden; bei Scans wird toleriert, dass die OCR eine Ziffer falsch liest.

Von Hand geprüft oder automatisch annotiert

Um den Recall zu messen, muss man wissen, welche personenbezogenen Daten jedes Dokument enthält. Bei den synthetischen wissen wir es, weil wir sie erfunden haben. Bei den echten gibt es zwei Stufen:

Deshalb nennen wir für echte Dokumente zwei Recall-Werte: den der von Hand geprüften, der ein vollständiges Dokument am besten abbildet, und den aller echten (von Hand plus automatisch annotiert), der strenger ist, weil er Namen genau dort bündelt, wo Fehler am leichtesten passieren. Die Präzision wird an synthetischen und von Hand geprüften Dokumenten gemessen, in denen alles markiert ist.

Ergebnisse nach Sprache

Zahlen aus Testlauf Nr. 18 der KI vom 21. Oktober 2026. Die Präzision liegt in allen Sprachen zwischen 0,966 und 0,993.

Bei den von Hand geprüften echten Dokumenten erreichen 9 der 10 Sprachen 0,95 oder mehr; der niedrigste Wert ist 0,921 (Baskisch). Über alle echten Dokumente sind die niedrigsten Werte 0,855 (Rumänisch), 0,870 (Portugiesisch) und 0,899 (Italienisch). Bei den synthetischen Dokumenten, die die schwierigsten Fälle des Korpus bündeln (handschriftliche Scans, Faxe, Flecken, gedrehte Seiten), ist der niedrigste Wert 0,963 (Rumänisch).

Was sich im Oktober 2026 geändert hat

Vor den Verbesserungen dieses Monats waren die Zahlen deutlich schlechter. Für die Sprachen der Iberischen Halbinsel vergleichen wir den Recall bei von Hand geprüften echten Dokumenten, für die übrigen den über alle echten, denn dort lag das Problem.

• Baskisch (0,597 → 0,921): Adressen, bei denen der Straßentyp hinter dem Straßennamen steht („kalea“, „hiribidea“, „solairua“), Unterschriften in Großbuchstaben, Anreden wie „andrea“ und „jauna“ sowie Rechtsformen wie „S. Koop.“ oder „Fundazioa“.
• Französisch, Deutsch, Italienisch, Portugiesisch, Englisch und Rumänisch (Rumänisch von 0,412 auf 0,855): Anreden vor Namen, Besetzung der Gerichte, Namenslisten, der italienische Codice fiscale, Adressen und die Rechtsformen jedes Landes.
• Keine Rückschritte: Jede Verbesserung wird am vollständigen Korpus getestet; was eine Sprache gewinnt, darf keine andere verlieren.

Was noch besser werden muss

Was heute durchrutscht, konzentriert sich auf zwei Fälle, die vor allem im Wert über alle echten Dokumente sichtbar sind:

• Von der OCR falsch gelesene Namen. In einem Scan kann ein Name mit dem Nachbarwort verschmelzen, am Zeilenende getrennt werden oder vertauschte Buchstaben haben. Liest die OCR ihn nicht als Namen, erkennt ihn die KI nicht.
• Einzeln stehende Namen ohne Kontext. Ein seltener Nachname in einer Liste, ohne Anrede, Funktion oder Verb, ist schwer von einem beliebigen Wort zu unterscheiden. Das trennt die beiden Werte am stärksten in den Sprachen mit dem niedrigsten Recall über alle echten Dokumente.
• Im Baskischen kommen getrennte Nachnamen mit angehängter Kasusendung und ausländische Namen hinzu. Sein vorläufiges Minimum von 0,92 kann nur steigen, bis es die 0,95 der anderen Sprachen erreicht.

Bis dahin bleibt die praktische Antwort dieselbe: Die automatische Erkennung schlägt vor, ein Mensch prüft vor dem Anwenden, vor allem bei Scans. Die visuelle Anonymisierung nach Bereichen deckt ab, was die OCR nicht liest.

Läuft bei jeder Änderung der KI

Diese Tests sind keine Momentaufnahme für den Blog. Das vollständige Korpus läuft bei jeder Änderung der KI durch die kontinuierliche Integration, bevor sie in Produktion geht: Text wird extrahiert (bei Scans mit OCR), personenbezogene Daten werden erkannt und mit dem erwarteten Ergebnis verglichen. Jede Sprache hat einen Mindestwert für Recall und Präzision, der nur steigen kann; eine Änderung darunter wird nicht übernommen. Die Zahlen in diesem Artikel stammen aus diesen Berichten, und wir aktualisieren sie, wenn sie sich ändern.