Aletura · Transparenz
So arbeitet die Vertragsanalyse — und was heute validiert ist
Der End-to-End-Ablauf von der Upload-Prüfung bis zum Bericht, und der ehrliche Stand der Evaluation: was gemessen ist, und was nicht.
Ablauf der Analyse
- Upload und Prüfung: Dateityp, Größe und Seitenzahl werden gegen die konfigurierten Grenzen geprüft; je nach Bereitstellungsmodus gelten Zulassungsregeln.
- Deterministische Textextraktion: Vorhandener PDF-Text wird direkt übernommen; Seitenabdeckung und Lesbarkeit werden geprüft.
- Selektives lokales OCR: Nur bildbasierte Seiten werden lokal (Tesseract, im Speicher, ohne Dateiablage) gelesen, mit Lesbarkeits- und Abdeckungsprüfung und begrenzten Wiederholungen. Widersprüchliche Lesarten bleiben ungelöst — es wird nie stillschweigend gekürzt. Eine Provider-Vision-Recovery ist derzeit nicht aktiviert (dokumentierte Lücke).
- Maskierung: Erkannte persönliche Identifikatoren werden vor Indexierung und jedem Modellruf durch anfragegebundene Platzhalter ersetzt; ein Ausgangs-Guard prüft jeden Prompt.
- Index und Abruf: Der maskierte Text wird in einem pro Anfrage begrenzten Lucene/BM25-Index abgelegt; Fragen werden als gebündelte, begrenzte Batches parallel über einen zentralen, ratenbewussten Scheduler verarbeitet (Begrenzungen, Token-Zulassung, Backoff bei 429, begrenzte Retries).
- Klassifikation und Analyse: Vertragstyp und Prüffragen werden aus versionierten Frameworks bestimmt; jede Frage erhält einen expliziten Status.
- Belegprüfung und Absenz: „Nicht gefunden“ wird erst nach dokumentweiter Absenzvalidierung behauptet; widersprüchliche oder fehlende Belege bleiben als ungelöst markiert.
- Kanonische Fakten und Bericht: Fakten und Issues werden dedupliziert und abgeglichen; der Bericht wird in einer aufgelösten Berichtssprache erzeugt, Zitate bleiben im Originalwortlaut. Folgefragen laufen nur über das validierte Ergebnis.
Validierungsstatus (aktuell, ehrlich)
Gemessen (deterministischer CI-Lauf ohne Live-Modell, 2026-08-28): Spracherkennung 1,000; Klassifikation EN 0,846 und DE 0,846 (Gate ≥ 0,95 → FAIL); Abruf-Erinnerung EN 1,000, DE 0,818; Beleg-Span-Overlap 1,000; bekannte PII-Lecks 0; stille Kürzungen 0. Lokale OCR (real, 2026-10-28): Unicode-Wort-Recall bei 150/300 DPI 0,78/0,76 (Gate ≥ 0,75), Zeichengenauigkeit ca. 0,92–0,93.
Testkorpus: synthetische Primärkorpus (20 Fixture-Gruppen, 134 objektive Fakten), unabhängiger synthetischer Korpus (49 Gruppen, 412 Fakten/Fragen, 66 erwartete Absenzen) sowie teilbare reale Verträge (CUAD v1, extern, test-only, Lizenz beachtet) und ein mehrsprachiges kombiniertes Korpus (EN/DE als native Datensätze; FR/IT als freigeschaltete, noch unvalidierte Berichtssprachen; RO als konfiguriertes Ziel).
Benchmark-Sprachen: EN und DE sind als native Datensätze benchmarked. Die Berichtsausgabe in FR und IT wurde am 2026-11-03 über die versionierten sprachspezifischen Prompt-Vorlagen (language.native.3/language.native.4 im gepinnten Katalog) freigeschaltet und ist noch nicht benchmark-validiert; RO bleibt ein konfiguriertes Ziel ohne Validierung. Die Berichtssprache ändert nie das geltende Vertragsrecht.
NICHT VALIDIERT Alle modellgenerierten Metriken (kritische Faktentreue, NOT_FOUND-Präzision/-Recall, Negation, Beleg-Grounding, Folgefragen) sind im deterministischen CI NOT_EVALUATED; die Live-Qualität von Mistral ist nicht zertifiziert. Die Ende-zu-Ende-Sprachzertifizierung ist für alle Sprachen inklusive EN und DE UNVALIDATED. Deterministische Benchmarks belegen keine Live-Modellgenauigkeit, Severity-Kalibrierung oder Anbieter-Latenz.
Änderungsprotokoll der Validierung
| Datum | Änderung | Wirkung auf die Validierung |
|---|---|---|
| 2026-08-28 | Mehrsprachiger Benchmark-Lauf (deterministische Stufe, ohne Live-Modell) | Metriken oben; Zertifizierung UNVALIDATED |
| 2026-10-26 | OCR-Recovery-Review für Ganzseiten (alternative Layouts im selben Budget) | Strengere Kandidaten abgelehnt; Abdeckung bleibt maßgeblich |
| 2026-10-28 | Reale lokale OCR-Verifikation (15 mehrsprachige Varianten) | RO-Scan-Recall 0,78/0,76 über Gate; Zertifizierung weiter UNVALIDATED |
| 2026-11-02 | Prompt-Injection-Benchmark auf 8 Fixture-Paare erweitert (Zero-Width, Boundary-Forgery) | Sicherheits-Gates bestanden; keine Qualitätsaussage |
| 2026-11-03 | Optionale BYOK-Anbieter (OpenAI, Azure OpenAI, Azure Claude) hinter Endpunkt-Allowlist | Keine Änderung an Modellqualitäts-Aussagen; Standard bleibt Mistral EU |
| 2026-11-03 | FR/IT-Berichtsausgabe über die versionierten sprachspezifischen Prompt-Vorlagen freigeschaltet | FR/IT noch nicht benchmark-validiert; Zertifizierung bleibt UNVALIDATED |
Wenn sich Ergebnisse verbessern, wird diese Tabelle mit datierten Einträgen fortgeführt. Nichts auf dieser Seite behauptet eine Zertifizierung, Compliance oder Live-Genauigkeit, die nicht gemessen wurde.

