Как устроен обучающий квиз: анатомия хорошего вопроса

Оформление весит меньше, чем кажется

Я собрал не одну сотню квизов и могу назвать главную причину, по которой они проваливаются. Не техника, не шум и не нехватка времени. Слабые вопросы. Класс отвечает быстро и правильно, все довольны, а на контрольной через неделю выясняется, что ничего не изменилось. Потому что вопросы проверяли узнавание формулировки, а не понимание, и угадывались по форме, а не по содержанию.

Механика тут известная. Эффект даёт извлечение из памяти: ученик должен достать ответ, а не опознать знакомое сочетание слов. Мета-анализ Yang и коллег 2021 года, собранный на 222 исследованиях и 48 478 учащихся в реальных классах, даёт для регулярного тестирования g = 0,499. Но это эффект извлечения. Если вопрос устроен так, что правильный вариант виден по длине строки, извлекать нечего, и цифра к вашему уроку отношения не имеет.

Дальше — разбор по частям: сам вопрос, варианты ответа, обратная связь и сборка комплекта. Про то, как всё это ведётся вживую, есть отдельный текст — квиз на уроке.

Четыре признака рабочего вопроса

Я проверяю каждый вопрос по четырём пунктам. Проверка занимает секунд десять и отсеивает примерно треть заготовок.

• Требует действия в голове. «Сформулируйте определение изотопа» — не требует, пересказать можно и не поняв. «У этих двух атомов одинаковое число протонов и разное число нейтронов — это изотопы или разные элементы» — требует.
• Имеет короткий проверяемый ответ. Число, «да» или «нет», одно слово, один вариант. Всё, что начинается с «расскажите о», в квиз не идёт: спорный ответ убивает темп и порождает разбирательство.
• Ловит типичную ошибку, а не редкую. Хороший вопрос-ловушка построен на ошибке, которую вы видели в тетрадях. Выдуманный подвох раздражает и учит недоверию к формулировкам.
• Отвечается за 15–30 секунд. Если вопрос требует трёх действий и черновика, это задача для урока, а не для квиза. Длинные выкладки ломают ритм и превращают игру в контрольную с таймером.

Дистракторы: там, где живёт вся диагностика

Неверные варианты ответа — не наполнитель. Это единственное место, где квиз работает как диагностика: по тому, какой именно дистрактор выбрал класс, вы понимаете, что именно сломалось. Правило у меня одно и жёсткое: каждый дистрактор — чья-то реальная ошибка. Не придуманная, а взятая из тетради, из ответа у доски, из прошлогодней контрольной.

Технически это выглядит так. Берёте последнюю проверочную, выписываете все неверные ответы, которые встретились больше одного раза, и сортируете по частоте. Три самых частых — это и есть ваши дистракторы на весь год. Они уже проверены классом, их не надо изобретать, и они точно попадают в реальную путаницу, а не в вашу гипотезу о ней.

Ещё одна вещь, которую замечаешь, только когда собираешь комплекты пачками: следите за позицией верного ответа. Человек, составляющий вопросы подряд, бессознательно чаще ставит правильный вариант вторым или третьим. Класс это считывает за пять вопросов, дальше начинает угадывать позицию. Перед уроком я просто перемешиваю порядок вариантов в каждом вопросе.

Пять типов вопросов, которые закрывают почти всё

Не нужно двадцати механик. Пяти хватает на любой предмет, и все они собираются из вашего же материала.

Обратная связь — половина всего эффекта

Самая недооценённая часть. В мета-анализе Rowland 2014 года общий эффект тестирования около 0,50, но он раскладывается неравномерно: с обратной связью 0,73, без обратной связи 0,39. Разница почти вдвое, и она достаётся бесплатно — нужно только не проглатывать разбор ради темпа.

На практике это одна фраза после каждого вопроса. Не «неверно, следующий», а «неверно, и вот почему туда попадают: вторая скидка считается от уже уменьшенной цены, поэтому не 30, а 28». Двадцать секунд. На двадцати вопросах это семь минут — ровно та часть урока, которую обычно и вырезают первой, а вырезать нужно последней.

Как собрать комплект за один вечер

Порядок действий, который у меня отработан до автоматизма. Двадцать вопросов выходят примерно за сорок минут, если не изобретать содержание с нуля.

1. Возьмите последнюю проверочную

   Выпишите задания, где ошиблась хотя бы треть класса. Это ваш каркас: тут уже видно, что не усвоено.

2. Переформулируйте под короткий ответ

   Каждое задание превратите в вопрос, ответом на который будет число, слово, «да» или «нет». Длинные формулировки сокращайте до одной строки.

3. Достаньте дистракторы из тетрадей

   Неверные ответы, встретившиеся дважды и чаще, становятся вариантами. Придумывать не нужно, класс уже всё придумал за вас.

4. Разложите по сложности

   Первые два-три вопроса должны быть доступны каждому, иначе слабая половина класса выключается на старте и до конца молчит.

5. Припишите разбор к каждому вопросу

   Одна фраза о том, почему неверный вариант притягателен. Именно она отделяет 0,73 от 0,39.

6. Прогоните вслух на скорость

   Прочитайте комплект вслух с секундомером. Всё, что читается дольше двенадцати секунд, режьте: на уроке это будет ощущаться вдвое длиннее.

Частые дефекты, которые видно только со стороны

Список собран по разборам чужих комплектов. Почти всё это я в своё время делал сам.

• Слова-маркеры. «Всегда», «никогда», «исключительно» в варианте почти гарантированно означают, что он неверный, и опытный ученик вычёркивает его не читая.
• Вопрос, отвечающий сам на себя. Формулировка содержит термин, который и надо было вспомнить. Проверьте: не подсказывает ли условие ответ.
• Двадцать вопросов на один параграф. Комплект должен покрывать тему, а не абзац. Иначе класс входит в режим «ищем в одном месте» и после игры не переносит знание никуда.
• Скорость вместо точности. Если балл идёт первому нажавшему, вы измеряете реакцию. Считайте правильность, а бонус за скорость давайте не больше чем в четверти вопросов. Подробнее — в разборе балльной системы.
• Вопросы по новой теме. Квиз проверяет и закрепляет, но не объясняет. Пока определение не введено, извлекать из памяти нечего.

И последнее. Комплект из двадцати вопросов живёт годами: он не устаревает вместе с классом, а дистракторы в нём только улучшаются, потому что каждый год добавляется новая частая ошибка. Один вечер вложений окупается на четырёх параллелях. Если хочется формата покрупнее, из тех же вопросов собирается «Своя игра», а как это вести голосом и темпом — в тексте про игротехнику.