Методология контроля сложности
Как TeacherFlow измеряет и сохраняет сложность вариантов: профиль, пороги, проверки и эталонный набор.
Эта статья описывает, почему варианты можно считать сопоставимыми с эталоном и как это проверяется в сервисе. Краткий обзор для знакомства — в разделе Контроль качества; здесь — полное описание логики.
Цель и границы
Цель. Сгенерировать несколько вариантов так, чтобы каждый:
- сохранял дидактическую цель исходного задания (тот же навык, та же тема);
- имел сопоставимую когнитивную нагрузку (число шагов, тип операций, уровень Блума близок к эталону);
- имел уникальный ответ (защита от списывания);
- не выходил за рамки инвариантов (не появились лишние требования, не изменился тип ответа).
Чего мы не обещаем:
- Эквивалентность в смысле IRT (теории ответов на тестовые задания) — для неё нужны массовые данные реальных ответов учеников, которых на этапе прототипа нет.
- Универсальную математическую «правильность» решения на всех предметах — кроме простых числовых проверок нет единого решателя для любой задачи.
- Абсолютную сложность «в баллах ЕГЭ» — только относительную: вариант X сопоставим с эталоном по измеримым осям.
Что делаем: строим количественный профиль сложности по нескольким осям, сравниваем вариант с эталоном, применяем правила порогов по предмету и дополняем независимыми проверками на базе языковой модели. Итог — понятный вердикт для учителя, а не «чёрный ящик».
Профиль сложности
Каждое задание — эталон и каждый вариант — описывается набором из пяти базовых метрик:
| Метрика | Что отражает |
|---|---|
| Число шагов | Сколько атомарных шагов в решении |
| Операции | Какие действия нужны (сложение, уравнение, перевод и т.д.) |
| Уровень Блума | remember / understand / apply / analyze / evaluate / create |
| Лексическая сложность | Длина и структура текста условия |
| Форма ответа | число, выражение, список, текст, выбор |
Для математики дополнительно учитываются порядок величин (единицы, десятки, дроби…) и единственность решения.
Для английского — ориентировочный уровень CEFR (A2–B1 в демо) и набор грамматических конструкций, которые должны сохраниться.
Если предмет определён неточно, работает только базовый профиль из пяти метрик — сервис остаётся применимым, но предметные правила точнее.
Пороги и вердикт по осям
Между вариантом и эталоном считаются дельты по каждой оси. Примеры типовых допусков (конкретные числа задаются политикой предмета):
- шаги: разница не более 1;
- операции: не более одной лишней или пропущенной операции;
- уровень Блума: строгое совпадение;
- длина текста условия: порядка ±30% к эталону;
- форма ответа: строгое совпадение.
Итог по профилю:
- Принят — все оси в пределах порога.
- Внимание — одна «мягкая» ось слегка вышла за порог; учитель видит предупреждение и причину.
- Не принят — две и более оси нарушены или нарушены строгие оси (Блум, форма ответа); вариант отправляется на доработку или ручную правку.
Пороги хранятся в версионируемых политиках по предметам (математика, английский, базовая для остальных). Для каждого сохранённого комплекта вариантов фиксируется, какая политика применялась — это нужно для воспроизводимости и разбора спорных случаев.
Три независимые проверки
Числовой профиль — жёсткая часть. Поверх неё три смысловые проверки ловят то, что не видно в цифрах.
1. Структура и инварианты. На этапе анализа эталона система выделяет, что в вариантах обязано остаться неизменным (тип задачи, ключевые условия, формат ответа). Проверка сверяет вариант с этим списком: ничего важного не пропало и не добавилось лишнего.
2. Сложность «как для ученика». Сравниваются эталон и вариант с учётом уже посчитанного профиля: легче, сопоставимо или сложнее. Допускается небольшое отклонение; сильный дрейф ведёт к отклонению или перегенерации.
3. Смысл и уникальность. На вход подаются все варианты комплекта сразу: ищутся почти одинаковые формулировки, совпадения ответов, тривиальные копии (поменяли только одно имя).
Перед вызовом модели выполняются быстрые детерминированные проверки (совпадение ответов, похожесть текстов, ключевые фразы инвариантов). Если ответ однозначен, соответствующая проверка моделью не дублируется — это экономит время и стабилизирует результат.
Как принимается решение по варианту
| Ситуация | Действие |
|---|---|
| Профиль в норме и все три проверки согласны | Вариант принят |
| Профиль в норме, две из трёх проверок согласны | Предупреждение, учитель решает сам |
| Меньше двух согласий | Автоматическая доработка варианта (ограниченное число попыток) |
| После попыток всё ещё плохо | Пометка «нужна ручная проверка» |
| Жёсткое нарушение профиля (Блум, форма ответа) | Доработка независимо от «мягких» проверок |
Принятие требует согласия и числового профиля, и смысловых проверок.
Что видит учитель
На каждом варианте — бейдж (принят / внимание / доработка) и блок «Подробнее»:
- шаги, операции, Блум, длина текста, тип ответа — рядом с эталоном;
- сколько проверок согласилось;
- какая политика предмета применена.
При предупреждении или отказе — конкретная причина и действия: принять как есть, перегенерировать один вариант, отредактировать вручную.
Цепочка от эталона до вердикта
Техническая реализация описана в статье Цепочка генерации: анализатор → генератор (шаблон или GigaChat Pro) → дешёвые проверки → три судьи → голосование по YAML-политикам → починка только бракованных вариантов → сохранение. На странице — наглядная схема для демонстрации заказчику.
Эталонный набор (goldset) и качество релизов
Качество генерации не держится только на «нам кажется нормально». В проекте есть эталонный набор (goldset) — каталог пар «эталон — хороший вариант» по матрице школьных предметов (сейчас около 50 сцен), плюс 9 антипримеров — заведомо плохих вариантов, которые система должна отклонять.
При каждом существенном изменении промптов, политик или логики пайплайна прогоняется автоматический контроль на той же GigaChat, что в продакшене:
- доля успешных эталонных пар — не ниже 80%;
- доля отклонённых антипримеров — не ниже 80%.
Иначе изменение не принимается в рабочую версию. Это страховка для школы и для команды: регрессия видна до релиза, а не после жалоб учителей. Ядро с наиболее отработанными порогами — математика 5–9 и английский A2–B1; остальные предметы каталога подключаются к той же дисциплине по мере пополнения фикстур.
Открытые вопросы развития методики
- Калибровка порогов — после десятков реальных заданий в пилоте пороги могут уточняться.
- Стабильность уровня Блума на границе apply/analyze — усиливаем примерами в инструкциях модели.
- Новые предметы — подключаются отдельными политиками после методической проработки.
- IRT по реальным ответам учеников — перспектива после этапов сбора и проверки работ (см. План развития).