Wissen · KI in der Praxis

Warum KI-Projekte in Kanzleien an alten Scans scheitern

Wenn eine Kanzlei ein KI-Werkzeug testet und die Ergebnisse enttäuschen, liegt die Ursache selten am Werkzeug. Meist hat das System einen Teil des Bestands schlicht nie lesen können, denn was für den Menschen ein Dokument ist, ist für den Computer oft nur ein Foto. Dieser Artikel erklärt, woran man das erkennt, warum es so häufig vorkommt und was sich dagegen tun lässt.

Woran merkt man, dass etwas nicht stimmt?

An Antworten, die lückenhaft sind, obwohl die Information nachweislich in den Akten liegt.

Die Symptome sehen im Alltag so aus: Die Suche findet den Schriftsatz von 2019 nicht, obwohl er im richtigen Ordner liegt. Die Abfrage nach einem Aktenzeichen liefert drei von fünf bekannten Treffern. Die Zusammenfassung einer Akte übergeht ausgerechnet die zentrale Anlage, auf die es ankam. Mal funktioniert es beeindruckend gut, mal versagt es bei einem Dokument, das jeder Referendar in einer Minute gefunden hätte.

Der naheliegende Schluss lautet: Die KI taugt nichts. Dieser Schluss ist verständlich, und er ist in den meisten Fällen falsch. Der tatsächliche Befund ist ein anderer: Das System konnte diese Dokumente nie lesen. Es hat nicht schlecht geantwortet, es hat auf einer unvollständigen Grundlage geantwortet, und zwar ohne das zu wissen oder zu sagen. Für das System existiert der Schriftsatz von 2019 nicht, weil aus seiner Sicht an dieser Stelle kein Text liegt, sondern ein Bild.

Wieso kann ein Computer ein Dokument nicht lesen, das jeder Mensch lesen kann?

Weil ein Scan zunächst nur ein Bild ist, und aus einem Bild wird Text erst durch einen eigenen Verarbeitungsschritt, der fehlschlagen kann, ohne dass es jemand bemerkt.

Eine Word-Datei oder eine direkt am Rechner erzeugte PDF enthält Text, den ein Programm unmittelbar verwenden kann. Ein eingescanntes Papier enthält dagegen nur Bildpunkte, genau wie ein Foto. Zwischen beidem liegt die Texterkennung: ein Verfahren, das im Bild Buchstaben zu erkennen versucht und daraus eine Textebene erzeugt. Bei einer sauberen, geraden, kontrastreichen Vorlage funktioniert das sehr gut. Bei allem anderen rät das Verfahren, mal besser, mal schlechter.

Der entscheidende Punkt für die Praxis: Das Ergebnis dieses Ratens sieht auf dem Bildschirm identisch aus. Die PDF öffnet sich, das Dokument ist für das menschliche Auge einwandfrei lesbar, denn das Auge sieht das Bild. Ob darunter eine brauchbare Textebene liegt, eine fehlerhafte oder gar keine, sieht man dem Dokument nicht an. Genau deshalb bleibt das Problem so lange unentdeckt: Es gibt keinen Moment, in dem es sich von selbst zeigt.

Was liegt in Kanzleiarchiven typischerweise vor?

Jahrzehnte an Dokumenten, die nie für maschinelle Verarbeitung gedacht waren.

Die Problemfälle lassen sich in drei Kategorien einteilen, und in gewachsenen Beständen kommen alle drei vor.

Die erste Kategorie: Dokumente ohne Textebene. Reine Bilder. Faxe aus Zeiten, in denen Faxe der Standard waren, in Auflösungen, bei denen auch ein Mensch rät. Stapelscans aus einer Kanzleiübernahme, schräg eingezogen, doppelseitig durcheinander. Durchschläge und verblasstes Thermopapier. Handakten, die irgendwann im Ganzen durch den Scanner liefen, damit das Papier ins Archiv konnte. Diese Dokumente sind für jedes durchsuchende System unsichtbar.

Die zweite Kategorie: Dokumente mit stillen Einzelfehlern. Scans, die auf den ersten Blick sauber erkannt wurden, in denen aber einzelne Zeichen falsch sind. Ein Stempel quer über dem Datum, eine Unterschrift durch den Betrag, eine Randnotiz im Fließtext. Ein Aktenzeichen mit einer falsch erkannten Ziffer ist dabei kein unleserliches Dokument, es ist ein falsches Dokument. Die Suche nach dem richtigen Aktenzeichen findet es nicht, und niemand erfährt davon. Diese Fehler fallen nicht beim Einrichten auf, sondern erst, wenn sich jemand auf ein Ergebnis verlässt.

Die dritte Kategorie, und in Beständen mit Dokumentenmanagementsystem vermutlich die häufigste: Dokumente mit veralteter Textebene. Viele PDFs wurden vor fünfzehn oder zwanzig Jahren beim Einscannen automatisch durch die damalige Texterkennung geschickt, oft direkt im Scanner oder beim Import ins System. Die Textebene existiert also, und genau das macht die Sache tückisch. Das Dokument gilt als durchsuchbar, das System zeigt es als erfasst an, kein Prüfschritt schlägt Alarm. Dass die Erkennungsqualität auf dem Stand von 2005 ist, sieht niemand. Schlimmer noch: Viele Verarbeitungsketten prüfen, ob eine PDF bereits Text enthält, und überspringen dann die erneute Erkennung. Das schlechte alte Ergebnis blockiert das gute neue. Und dem Dokument sieht man nicht an, ob seine Textebene von gestern stammt oder aus einer Zeit, in der Texterkennung ein anderes Handwerk war.

Die Pointe dieses Befunds: Nichts davon ist ein Versäumnis der Kanzlei. Niemand hat vor fünfzehn Jahren für eine Maschine gescannt, die es noch nicht gab. Die Bestände sind so, wie Bestände nach Jahrzehnten ehrlicher Arbeit aussehen. Nur trifft jetzt eine neue Technik auf sie, die stillschweigend voraussetzt, dass alles lesbar ist.

Warum verschweigen Anbieter dieses Problem?

Weil es in der Vorführung nicht sichtbar ist und im Angebot teuer wäre.

Unterstellen muss man dabei niemandem etwas. Die Mechanik erklärt sich selbst: Vorführungen laufen mit sauberen Beispieldokumenten, und mit denen laufen sie beeindruckend. Der Bestand des Kunden ist zu diesem Zeitpunkt noch von niemandem angesehen worden. Die Aufbereitung dieses Bestands einzupreisen würde das Angebot verteuern und den Glanz der Vorführung trüben. Also wird stillschweigend vorausgesetzt, dass der Bestand sauber ist, und die Enttäuschung stellt sich erst Monate später ein, wenn der Vertrag längst läuft.

Daraus ergibt sich eine Prüffrage, die jede Kanzlei vor einer Beauftragung stellen sollte: Haben Sie unseren Bestand geprüft, und was geschieht mit den Dokumenten, die nicht maschinenlesbar sind? Eine gute Antwort beschreibt eine Bestandsaufnahme vor dem Angebot und benennt den Umgang mit den Problemfällen. Eine ausweichende Antwort versichert, dass das System mit allem zurechtkommt. Diese Antwort sagt mehr über den Anbieter als jede Referenzliste.

Was lässt sich mit dem alten Bestand tun?

Mehr als früher, aber nicht alles, und der Weg beginnt mit einer Bestandsaufnahme statt mit einem Werkzeug.

Drei Dinge sollte man dazu wissen.

Erstens: Die Texterkennung hat sich in den letzten Jahren erheblich verbessert, gerade bei schwierigen Vorlagen. Vieles, was vor zehn Jahren unlesbar war, ist heute rettbar, auch schiefe Scans, Stempel und schwache Faxe. Ein alter Bestand ist kein verlorener Bestand. Das gilt auch für die dritte Kategorie: Alte Textebenen lassen sich verwerfen und neu erzeugen, wenn man weiß, welche Dokumente betroffen sind.

Zweitens: Es bleibt ein Rest, bei dem Aufwand und Nutzen abzuwägen sind. Nicht jedes Dokument aus dreißig Jahren muss durchsuchbar sein. Die Frage lautet: Welche Bestände braucht die Suche wirklich, und welche können Archiv bleiben? Diese Abwägung sollte bewusst getroffen werden, nicht durch Zufall dessen, was die Technik gerade geschafft hat.

Drittens, und am wichtigsten: die Reihenfolge. Erst sichten, in welchem Zustand welcher Teil des Bestands ist, auch durch Stichproben in die vorhandenen Textebenen. Dann entscheiden, was aufbereitet wird. Dann verarbeiten. Ein Projekt, das mit dieser Bestandsaufnahme beginnt, kostet am Anfang mehr Geduld und am Ende weniger Geld, weil es die Enttäuschung vorwegnimmt, statt sie einzubauen.

Wie eine Wissensdatenbank auf einem so bereinigten Bestand arbeitet, beschreibt der Artikel zur Kanzlei-Wissensdatenbank.

Häufige Irrtümer

"Unsere Akten sind digital, wir haben ja alles als PDF." Digital heißt nicht maschinenlesbar. Eine PDF kann vollwertigen Text enthalten, eine fehlerhafte Textebene oder nur ein Bild, und von außen sieht alles gleich aus. Selbst die durchsuchbare PDF kann eine zwanzig Jahre alte Erkennungsqualität in sich tragen.

"Dann jagen wir alles nochmal durch ein besseres Programm." Pauschal hilft das nicht. Bei manchen Dokumenten verhindert die vorhandene alte Textebene die Neuerkennung, bei anderen bleibt auch das zweite Raten Raten. Ohne vorherige Sichtung tauscht man bekannte Lücken gegen unbekannte.

"Dann tippen wir die wichtigen Sachen eben ab." Für Bestände in Kanzleigröße ist das keine Option. Für einzelne Schlüsseldokumente kann es die richtige sein. Wo die Grenze liegt, ist genau die Abwägung, die in die Bestandsaufnahme gehört.