Vals AI führt seit Oktober 2026 eine neue Rangliste zu Harveys Legal Agent Benchmark (LAB), zuletzt aktualisiert am 24. Oktober. Sie heißt HLAB-Vals-1.1 und ersetzt die erste Fassung. Diese ist archiviert, ihr letzter Stand ist vom 18. Oktober. Harvey hatte LAB im Mai 2026 als offenen Benchmark für KI-Agenten vorgestellt. Ein Agent bekommt eine Mandatsakte mit Unterlagen und muss ein Arbeitsergebnis liefern, etwa ein Memo, eine Tabelle oder einen geänderten Vertrag. Eine Aufgabe gilt nur als gelöst, wenn jedes Prüfkriterium erfüllt ist.
Was neu ist: Harvey hat den nicht öffentlichen Prüfsatz von 120 Aufgaben bereinigt. 17 unlösbare Kriterien sind gestrichen, ein falsches Dokument ist ersetzt. Wie schon in der ersten Fassung bewerten zwei Sprachmodelle die Ergebnisse. Das beste Modell löst 27,1 % der Aufgaben vollständig, einzelne Kriterien erfüllen die besten Modelle zu über 90 %. Die Werte lassen sich laut Vals nicht mit der ersten Fassung vergleichen. Vals bezieht LAB auch in seinen Vals Legal Index ein, den es seit dem 23. Oktober 2026 führt. Dieser gewichtet Rechtsgebiete nach ihrem Anteil am Umsatz von US-Kanzleien. Den Namen „Index“ trägt dabei das Angebot von Vals, nicht eines von Harvey.
Was das für eine deutsche Kanzlei heißt: Zwei Dinge. Erstens zeigen die Zahlen, wie weit selbst die besten Systeme von fehlerfreier Arbeit entfernt sind: Auch beim besten Modell verfehlen rund drei von vier Ergebnissen mindestens ein Prüfkriterium, gemessen von zwei Sprachmodellen als Bewertern. Die anwaltliche Durchsicht bleibt Pflicht. Zweitens sind die Aufgaben englisch und an großen angloamerikanischen Kanzleien ausgerichtet. Wer ein Werkzeug für deutsches Recht auswählt, sollte es mit eigenen Musterakten prüfen. Ranglisten ersetzen das nicht. Und weil Ranglisten neue Fassungen bekommen, gehört zu jeder Platzangabe ein Datum.
Weitere Quellen: Vals Legal Index; Harvey, 06.05.2026 (abgerufen 26.10.2026)
Leistungswerte und Funktionen stammen vom Hersteller oder vom Betreiber der Rangliste. Die Nennung eines Modells oder Werkzeugs ist keine Empfehlung. Für den Einsatz in der Kanzlei gelten unter anderem § 43e BRAO und die DSGVO.