Бенчмарк по праву РФ: зачем он нужен и как устроена методика
Открытого набора вопросов по российскому праву с эталонными ответами мы не нашли. Сделали свой: 72 вопроса, 12 отраслей, три уровня сложности, балл от 0 до 100 и юрист, который утверждает каждый эталон.
Когда мы искали, с чем сравнить Лесто, оказалось, что сравнивать не с чем. Lexometrica Ground Truth — 30 кейсов по практике ВС, задания закрыты навсегда. «Делай Bench» — десять вопросов и одиннадцать юристов, разовый замер. Наборы на Hugging Face либо узкие (228 вопросов по одному закону), либо собраны с форумов и не годятся для эталона. У MERA права нет вовсе. Так появился свой бенчмарк.
Что проверяем
Ответ, на который юрист может опереться: правильный вывод, правильная норма, правильный пункт разъяснений высшего суда, без выдуманных ссылок и без опасных ошибок. Не проверяем стиль, длину и «дружелюбие» — длинный ответ не лучше короткого.
Набор: 72 вопроса
Двенадцать отраслей по шесть вопросов: наследование, договоры, труд, земля и недвижимость, семья, потребители, процесс, корпоративное право, административные правонарушения, налоги, ЖКХ, банкротство граждан. Три уровня: найти одну норму и правильно прочитать (25 вопросов); норма плюс разъяснение Пленума или исключение (35); несколько актов, коллизия, позиция КС или сложная фактура (12).
Пять типов: что говорит закон; применить норму к фактам; сроки и суммы; порядок действий; и ловушка — в вопросе неверная посылка или исключение, которое модель должна заметить. У каждого вопроса постоянный код вроде NAS-01, он не меняется при правке текста.
Эталон
Для каждого вопроса юрист утверждает четыре вещи: нормы, без которых ответ неполон; практику с номерами пунктов; правильный вывод в два-четыре предложения; и грубую ошибку — утверждение, за которое ответ получает ноль независимо от остального. Статьи сверяются скриптом с базой, смысл — юристом.
Балл
| Часть | Вес | Кто проверяет |
|---|---|---|
| Вывод верен | 40 | Модель-судья по эталону: верно / частично / неверно; юрист перепроверяет спорные |
| Нормы названы | 30 | Автоматически: доля статей эталона, названных вместе с актом |
| Практика названа | 20 | Автоматически: доля постановлений и пунктов; если практики в эталоне нет, вес уходит в нормы |
| Порядок действий | 10 | Судья: сказано ли, что делать дальше — срок, куда, какие документы |
Штрафы: выдуманная ссылка — минус 10 за каждую, не больше минус 30; грубая ошибка из эталона или ошибка, из-за которой клиент проиграет дело или пропустит срок, — ноль за вопрос; отказ отвечать при достаточных фактах — ноль.
Почему задания закрыты
Задания и эталоны не публикуются: так сервисы не смогут подогнать ответы под известные вопросы. Мы открываем методику, баллы и разбор на примерах, чтобы было видно, как считается результат. Одна треть набора (24 вопроса, второй и пятый в каждой отрасли) раньше предполагалась открытой; с 2 октября 2026 года закрыт весь набор.
Независимость
- Вопрос попадает в набор, только когда проверяющий юрист отметил его «Подходит». В версии 0.1 из 72 вопросов 71 приняты сразу, один переписан: про расходы на представителя мы неточно передали п. 11 постановления Пленума ВС № 1 от 21.01.2016.
- К версии 1.0 добавится второй, внешний юрист; вопрос принимается при согласии обоих.
- Вывод судят две модели. На 31 общем вопросе они сошлись в 19 случаях, по грубым ошибкам — во всех пяти. Расхождения уходят юристу.
- Используются только тексты нормативных актов и судебных решений — они не охраняются авторским правом. Учебники, комментарии и тесты ФПА не используются.
- Бенчмарк выходит под отдельным названием, не как рейтинг Лесто. Код проверки открыт.
Что уже есть
Первый прогон одиннадцати моделей по всем 72 вопросам сделан 17 сентября 2026 года, судейство закончено 18-го. Результаты — в следующей статье и на странице бенчмарка.
Материал подготовлен командой Лесто с использованием ИИ и не является юридической консультацией. Ссылки на нормы приведены по редакциям на дату публикации.
Ссылка