Контроль качества
Как TeacherFlow измеряет и удерживает сложность вариантов — профиль, проверки, эталонный набор.
6 тем в разделе
Что такое профиль сложности?
Это набор измеримых характеристик эталона: сколько шагов в решении, какие операции, уровень задачи, объём текста, лексика, форма ответа. Для математики и английского действуют отдельные правила с порогами — что считается «в норме», а что отклонением.
Профиль строится автоматически при разборе эталона и служит эталоном для каждого сгенерированного варианта.
Почему недостаточно одной проверки «похоже / не похоже»?
Один критерий легко ошибается: вариант короче, но не проще; другие числа, но тот же смысл; формулировка иная, но условие нарушено. Поэтому в полном режиме три независимые оценки: структура и инварианты, профиль сложности, предметный смысл. Итог — по согласованным правилам голосования, а не по одному ответу модели.
В быстром режиме проверок меньше — это осознанный компромисс ради скорости.
Что происходит, если вариант не проходит проверку?
Система пытается исправить вариант в рамках заданного бюджета попыток. Если не удаётся — вариант помечается как не прошедший, учитель видит причину и может перегенерировать только его или поправить вручную.
Мы не выдаём «тихо» сомнительный вариант без пометки.
Как вы проверяете, что качество не падает со временем?
Собран эталонный набор (goldset) — около 50 сцен «эталон → хороший вариант» по матрице школьных предметов и 9 антипримеров, которые система должна отклонять. Перед каждым обновлением промптов, политик и логики пайплайна тесты прогоняются на той же GigaChat, что в продакшене. Порог — не ниже 80% успеха на goldset и не ниже 80% отказов на антипаттернах.
Схема всей цепочки — в статье Цепочка генерации.
Как устроена цепочка от эталона до готовых вариантов?
Кратко: анализатор строит профиль и инварианты → генератор создаёт черновики (шаблон для простой числовой математики или GigaChat Pro) → дешёвые проверки → три судьи → голосование по порогам YAML → при браке починка только плохих вариантов → сохранение в библиотеку.
Наглядная схема и роль goldset — в статье Цепочка генерации.
Чем это отличается от «просто попросить ChatGPT»?
В чате нет зафиксированного профиля сложности, нет трёх независимых проверок, нет эталонного набора с порогом при обновлениях, нет явных режимов «быстро / строго» и нет интерфейса учителя: библиотека, классы, сравнение, экспорт, история.
TeacherFlow — специализированный инструмент под задачу вариантов одной работы, а не универсальный диалог.