Harvey hat am 29. Oktober 2026 eine Erweiterung seines Legal Agent Benchmarks vorgestellt: LAB: United States Case Law. Sie prüft, ob KI-Modelle aus einer echten Gerichtsakte einen Schriftsatz recherchieren und schreiben können, ohne dass ein Anwalt eingreift. Die Aufgaben stammen aus öffentlichen Akten von US-Bundesgerichten. Aus einer Stichprobe von 200 Akten entstanden zunächst 40 Aufgaben, nach Prüfung und Nachbearbeitung von Hand sind es 100. Eine Aufgabe bleibt nur im Satz, wenn mehr als 95 % der Fundstellen des tatsächlich eingereichten Schriftsatzes in der Entscheidungsdatenbank CourtListener auffindbar sind.
Wie gemessen wird: Bewertet wird im Paarvergleich: Automatische Bewerter (Kriterien von Anwälten geprüft) wählen den besseren von zwei Schriftsätzen. Laut Harvey trennen knapp 700 Elo-Punkte das beste vom schwächsten Modell; das bestbewertete, Opus 5.5, gewinne mehr als 95 % der Duelle gegen die schwächsten.
Was Harvey als Fortschritt und was als Schwäche nennt: Laut Harvey schreibt eine kleine Gruppe von Modellen bereits vollständige erste Entwürfe. Auch die stärksten Entwürfe seien aber nach Harveys Maßstab noch nicht reif für die Einreichung bei Gericht. Genannt werden erfundene Inhalte (Halluzinationen), unnötige Zugeständnisse, aufgegebene Argumente und der Rückgriff auf Entscheidungen, die aufgehoben wurden oder das Gericht nicht binden.
Was das für eine deutsche Kanzlei heißt: Die Aufgaben stammen aus Verfahren vor US-Bundesgerichten und sind englisch. Für deutsche Schriftsätze sagen die Zahlen nichts. Erfundene Fundstellen, unnötige Zugeständnisse und aufgehobene oder überholte Entscheidungen kommen aber auch in deutschen Entwürfen vor: Wer einen KI-Entwurf unterschreibt, muss prüfen, ob jede zitierte Entscheidung existiert, ob sie die Aussage trägt und ob sie aufgehoben oder durch spätere Rechtsprechung oder eine Gesetzesänderung überholt ist. Wie das geht, zeigt unser Beitrag „Das Urteil gibt es, aber es sagt etwas anderes: KI-Zitate richtig prüfen“. Die Ergebnisse stammen vom Hersteller des Benchmarks und sind nicht unabhängig nachgeprüft. Beispielaufgaben veröffentlicht Harvey bisher nicht. Hilfsmittel, mit denen Forscher eigene Aufgaben dieser Art bauen können, will Harvey erst noch freigeben.