Как устроен хороший вопрос: разбор на примерах

Главный критерий: вопрос должен браться логикой

Разница между школьным опросом и хорошим вопросом квиза в одном: опрос спрашивает то, что вы либо помните, либо нет, а вопрос квиза даёт материал, из которого ответ можно вывести. Команда, которая не знает точного факта, должна иметь шанс дойти до него рассуждением. Именно этот шанс превращает молчание в обсуждение.

Практическая проверка простая. Прочитайте свой вопрос человеку, который темы не знает, и спросите, есть ли у него хоть какая-то зацепка. Если он говорит «либо знаешь, либо нет», вопрос сырой. Если начинает рассуждать вслух, пусть и неверно, вопрос рабочий.

Анатомия вопроса

Любой мой вопрос состоит из четырёх частей, и каждая делает свою работу. Если какая-то часть отсутствует, это видно по реакции зала.

Критерий зачёта существует, даже если вы его не написали. Просто в этом случае он придумывается вами на ходу под давлением спорящей команды, и это худший момент для принятия решений. Я пишу его прямо в файле рядом с ответом: «засчитывается любая форма слова», «нужна точность до десятилетия», «фамилия без имени принимается».

Пять примеров: было и стало

Это настоящие правки из моей практики. Формулировки обобщены, суть изменений сохранена.

Типы вопросов, которые я использую

Двусмысленность: главный убийца вопроса

Всё, что можно понять двумя способами, будет понято вторым. Это не пессимизм, а статистика: чем больше команд, тем выше вероятность, что кто-то прочитает вашу формулировку не так, как вы задумывали, и формально окажется прав.

• Проверяйте местоимения. «Он» и «это» в длинной подводке почти всегда допускают второе прочтение. Заменяйте на существительное, даже если получается коряво.
• Уточняйте вид ответа. «Назовите» — что именно: фамилию, название, год, город? Пишите прямо: «назовите фамилию».
• Убирайте слова со вторым значением. Любой термин, у которого есть бытовое и научное значение, порождает спор.
• Следите за отрицанием. Вопросы «что из этого не является» читаются хуже и путают. Если без них никак, выделяйте отрицание голосом и на экране.
• Проверяйте, нет ли второго верного ответа. Самый частый дефект. Прогоняйте вопрос мыслью «а что ещё подходит под это описание».

Варианты ответа: сколько и какие

Если вопрос с вариантами, их должно быть три, а не четыре и не пять. Это не вкусовщина: мета-анализ Rodriguez, обобщивший восемьдесят лет исследований, показывает, что три варианта работают не хуже, а времени на вопрос уходит меньше. Четвёртый вариант почти всегда мусорный и отсеивается участниками мгновенно, то есть только удлиняет чтение.

Неверные варианты должны быть правдоподобными и, желательно, отражать типичные заблуждения по теме. Тогда результат становится диагностикой: вы видите не только, кто ошибся, но и на чём именно. Руководства по составлению тестовых заданий сходятся здесь в главном: варианты должны быть однородны по длине и по грамматической форме, потому что иначе самый длинный и подробный вариант выдаёт себя как правильный.

Разбор: половина ценности вопроса

Вопрос без разбора работает вполовину. Данные по эффекту тестирования устойчивы: извлечение из памяти с разбором сразу после ответа даёт заметно больше, чем извлечение без него, 0,73 против 0,39 по обобщению Rowland. Практически это значит, что разбор нужно писать одновременно с вопросом, а не импровизировать на площадке.

Мой формат разбора — две-три фразы: почему верен этот ответ, почему привлекателен неверный, где это встречается ещё. Третья фраза важнее, чем кажется: она привязывает факт к чему-то за пределами игры, и именно она чаще всего вспоминается через месяц. Как разбор встраивается в темп игры, разобрано в тексте как вести квиз.

Проверка вопроса перед игрой

Прогоняю каждый вопрос по семи пунктам. Занимает минуту, экономит спор на площадке.

1. Есть ли зацепка для вывода ответа? Если нет, это опрос, а не вопрос.
2. Может ли текст быть понят вторым способом? Читайте недоброжелательно, как читал бы соперник.
3. Есть ли второй верный ответ? Проверьте, что ещё подходит под описание.
4. Не подсказывает ли соседний вопрос? Ответ одного вопроса нередко лежит в подводке другого.
5. Ясно ли, в каком виде ждут ответ? Фамилия, год, город, число: скажите прямо.
6. Написан ли критерий зачёта? Что засчитывается, что нет, какая точность нужна.
7. Готов ли разбор? Две-три фразы, написанные заранее, а не придуманные в момент.

Отдельно стоит проверять источник каждого факта, особенно если черновик пришёл от нейросети: модель уверенно выдаёт правдоподобные, но неверные даты и авторство. Про то, как я это ловлю, написано в разборе нейросетей в разработке игр.

Что убивает вопрос

Пять дефектов, которые встречаются чаще всего в чужих пакетах, включая мои ранние.

• Длинная подводка. Всё, что длиннее трёх предложений, теряется на слух. К моменту вопросной части команда забыла начало.
• Вопрос ради красивого факта. Автор влюбился в факт и написал вопрос, который берётся только знанием этого факта. Такой вопрос никто не берёт, и он не запоминается.
• Ответ, требующий формулировки слово в слово. Спор гарантирован. Формулируйте так, чтобы ответом было одно слово, число или имя.
• Двойной вопрос. «Назовите автора и год» — это два вопроса, и половина команд ответит на один. Считать такое честно невозможно.
• Вопрос на возраст, а не на тему. Отсылки к тому, чего дети не застали, проверяют год рождения, а не знание. То же с молодёжными отсылками во взрослом зале.

Собрать из проверенных вопросов целый учебный пакет — отдельная задача: там появляются порядок, сложность и связь с темой урока. Про это подробно в текстах про учебный квиз и анатомию обучающего квиза.