PISA, TIMSS и PIRLS: что измеряют и где Россия

Три исследования и три разных вопроса

Их постоянно ставят в один ряд, хотя они отвечают на разные вопросы и даже тестируют разных детей. Прежде чем смотреть на баллы, надо разобраться с конструкцией, иначе любое сравнение будет бессмысленным.

Главное различие проходит между PISA и парой TIMSS/PIRLS. TIMSS строится вокруг того, что записано в учебных программах: организаторы собирают программы стран-участниц и включают в тест то, что изучается почти везде. PISA от программ отталкивается принципиально: задание может быть про расписание автобусов или про инструкцию к прибору, и проверяется способность применить умение там, где его никто не подсказывает. Поэтому одна и та же страна может выглядеть в этих исследованиях по-разному, и это не противоречие в данных, а разница в предмете измерения.

PIRLS: где у России самые высокие результаты

Динамика России в PIRLS по данным ФИОКО: 528 баллов и 16-е место в 2001 году (35 стран), 565 баллов и первое место в 2006-м (40 стран), 568 баллов и второе место в 2011-м (45 стран), 581 балл и первое место в 2016-м (50 стран и 11 территорий). Это самый устойчивый рост, который российская школа показала в международных измерениях: плюс 53 балла за пятнадцать лет.

В цикле PIRLS-2021 участвовали 57 стран и 8 отдельных территорий; данные собирались в разгар пандемии, и 14 стран перенесли тестирование на начало пятого класса. Среди 43 стран, тестировавших детей в конце четвёртого класса, российские четвероклассники показали 567 баллов — третий результат после Сингапура (587) и Гонконга (573). Москва участвовала как отдельная территория сравнения и получила 598 баллов, самый высокий показатель среди всех участников этого цикла.

TIMSS: математика и естествознание

Здесь у России тоже длинный и в целом восходящий ряд. В TIMSS-2019 участвовали более 580 тысяч учащихся из 64 стран. Российская выборка составила 4 022 четвероклассника из 201 школы и 3 901 восьмиклассник из 204 школ; всего в исследовании были задействованы учащиеся из 49 субъектов Российской Федерации.

По формулировке отчёта ФИОКО, Российская Федерация по всем направлениям исследования TIMSS сохранила и упрочила свои позиции по сравнению с 2015 годом. В международном отчёте IEA Россия названа среди стран, показавших высокие результаты по естествознанию в обоих классах наряду с Сингапуром, Китайским Тайбэем, Кореей, Японией и Финляндией.

Следующий цикл, TIMSS-2023, охватил 64 страны и 6 отдельных систем сравнения. Результатов Российской Федерации в международном отчёте этого цикла нет; на странице ФИОКО таблица результатов России также заканчивается циклом 2019 года.

PISA: самый длинный ряд и самые скромные результаты

Россия участвовала в PISA с первого цикла 2000 года. Последний цикл, по которому опубликованы российские результаты, — PISA-2018, в нём участвовали 79 стран мира. Ниже полный ряд по данным ФИОКО.

Пик пришёлся на цикл 2015 года: 495 баллов по чтению, 494 по математике, 487 по естествознанию. В 2018-м результаты снизились по всем трём направлениям. Места России среди стран-участниц в 2018 году: 31-е по читательской грамотности, 30-е по математической, 33-е по естественно-научной; в международном отчёте место указывается интервалом с учётом стандартного отклонения, и там это 26–36, 27–35 и 30–37 соответственно.

Почему в TIMSS результаты выше, чем в PISA

Это устойчивое наблюдение, и объяснение у него методическое, а не оценочное. TIMSS проверяет освоение того, что записано в программах, и российская программа по математике и естествознанию хорошо совпадает с международным содержанием теста. PISA проверяет применение в незнакомой ситуации: текст не учебный, вопрос сформулирован не как в параграфе, данных может не хватать или быть лишними.

Тот же разрыв виден внутри страны без всякой международной статистики: ребёнок, который уверенно решает типовое уравнение, спотыкается на задаче про расписание автобусов, потому что там надо сначала понять условие. Это дефицит не предметный, а связанный с работой с текстом, и лечится он не дополнительными примерами. Механику разбора условий и приёмы работы с непривычной формулировкой я собрал в материале про читательскую грамотность.

Общероссийская оценка по модели PISA

С 2019 года в России проводится собственная ежегодная оценка качества образования по модели PISA: те же три вида грамотности, та же 1000-балльная шкала, выборка девятиклассников. Это внутрироссийская процедура, а не участие в международном исследовании, и сравнивать её баллы напрямую с международными нельзя.

Здесь важна не столько динамика среднего, сколько вторая колонка. Доля учащихся ниже базового уровня по математике упала с 21,7% до 7,6% — на 14,1 процентного пункта. Рост среднего балла идёт преимущественно за счёт подтягивания слабых, а не за счёт усиления сильных. Это объясняет, почему учитель профильного класса никакого улучшения не чувствует: изменения происходят на другом конце распределения.

Ещё одна цифра из той же серии, полезная в разговоре с родителями. По оценке 2023 года девятиклассники, не занимающиеся дополнительно, показали 480 баллов по читательской грамотности, занимающиеся и в школе, и вне её — 516. По математической грамотности разрыв 485 против 510. Дополнительные занятия дают заметный, но не радикальный эффект, и он примерно одинаков для школьных и внешкольных форм.

Как этими данными пользоваться, не переоценивая их

1. Не сравнивайте баллы разных исследований. 567 в TIMSS и 479 в PISA — числа с разных шкал и по разным конструкциям. Между ними нельзя ставить знак сравнения.
2. Смотрите на место с учётом интервала. Международные отчёты дают место интервалом, потому что разница в два-три балла между странами статистически не значима. «Тридцать первое место» и «двадцать шестое» в PISA-2018 могут описывать одну и ту же позицию.
3. Помните про размер выборки. В TIMSS-2019 Россию представляли около восьми тысяч детей из 49 регионов. Это корректная вероятностная выборка, но она не позволяет делать выводы о вашем регионе или тем более о вашей школе.
4. Не переносите международный результат на класс. Ни один из этих тестов не даёт индивидуальной или школьной оценки: это инструмент мониторинга систем образования, а не диагностика ученика.
5. Разделяйте международное исследование и оценку по его модели. Общероссийская оценка по модели PISA использует ту же методику, но это отдельная процедура со своей выборкой и своими рядами.

И последнее, что я говорю коллегам, когда речь заходит об этих цифрах на педсовете. Международные исследования полезны ровно одним: они показывают, какие умения школа формирует хуже, чем считает. Российские дети стабильно сильны там, где надо воспроизвести и применить изученное, и заметно слабее там, где надо разобраться в незнакомом тексте и решить, каких данных не хватает. Это диагноз не системе, а конкретному дефициту, и работать с ним можно на любом уроке. Как встроить такую работу в методическое планирование, разбирается в материале про методическое объединение и в материале про школьную программу.