Приказ Рособрнадзора от 09.09.2019 N 1275 "Об утверждении Методики расчета по показателю 2.9.19 Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации"

ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ ОБРАЗОВАНИЯ И НАУКИ

ПРИКАЗ
от 9 сентября 2019 г. N 1275

ОБ УТВЕРЖДЕНИИ МЕТОДИКИ
РАСЧЕТА ПО ПОКАЗАТЕЛЮ 2.9.19 ФЕДЕРАЛЬНОГО ПЛАНА
СТАТИСТИЧЕСКИХ РАБОТ, УТВЕРЖДЕННОГО РАСПОРЯЖЕНИЕМ
ПРАВИТЕЛЬСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ ОТ 06.05.2008 N 671-Р,
"СРЕДНЕВЗВЕШЕННЫЙ РЕЗУЛЬТАТ РОССИЙСКОЙ ФЕДЕРАЦИИ В ГРУППЕ
МЕЖДУНАРОДНЫХ ИССЛЕДОВАНИЙ, СРЕДНЕВЗВЕШЕННОЕ МЕСТО
РОССИЙСКОЙ ФЕДЕРАЦИИ"

В целях обеспечения реализации Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, и с учетом приказа Федеральной службы по надзору в сфере образования и науки и Министерства просвещения Российской Федерации от 06.05.2019 N 590/219 "Об утверждении Методологии и критериев оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся" приказываю:

1. Утвердить прилагаемую Методику расчета по показателю 2.9.19 Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации".

2. Признать утратившим силу приказ Федеральной службы по надзору в сфере образования и науки от 17 апреля 2019 г. N 473 "Об утверждении Методики расчета по показателю 2.9.19 Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации".

3. Контроль за исполнением настоящего приказа возложить на заместителя руководителя С.М. Кочетову.

Руководитель
С.С.КРАВЦОВ

Формула расчета

Одним из ключевых показателей национального проекта Образование является "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации (не ниже)". Показатель рассчитывается на федеральном уровне в целом по Российской Федерации на ежегодной основе Федеральной службой по надзору в сфере образования и науки.

При использовании средневзвешенного показателя учитываются все наиболее распространенные международные исследования, относящиеся к оценке уровня общеобразовательной подготовки обучающихся: PIRLS (Международное исследование качества чтения и понимания текста), TIMSS (Международное исследование качества математического и естественнонаучного образования), PISA (Международная программа по оценке достижений учащихся). Краткие сведения об исследованиях приведены ниже.

Данные исследования направлены на оценку уровня подготовки обучающихся различного возраста и по различным аспектам. Кроме того, результаты России в этих исследованиях существенно различаются. Так, в исследовании качества чтения и понимания текста российские четвероклассники занимают 1 место, а в аналогичном исследовании PISA по читательской грамотности 15-летние граждане России занимают только 26 место. Различаются также и результаты, полученные российскими участниками схожего возраста в разных исследованиях. Например, в исследовании TIMSS по качеству математического образования российские восьмиклассники занимают 6 место, а в исследовании PISA по математической грамотности 15-летние граждане, среди которых также существенная доля восьмиклассников, занимают только 23 место, уступая многим из тех стран, результаты которых ниже России в исследовании TIMSS.

Показатель рассчитывается по формуле:

где:

F00 - Средневзвешенный результат Российской Федерации в группе международных исследований

Xi - место Российской Федерации в i-ом исследовании:

X1: PIRLS (4 класс) по качеству чтения и понимания текста

X2: TIMSS (4 класс) по математическому направлению

X3: TIMSS (4 класс) по естественнонаучному направлению

X4: TIMSS (8 класс) по математическому направлению

X5: TIMSS (8 класс) по естественнонаучному направлению

X6: PISA по направлению читательская грамотность

X7: PISA по направлению математическая грамотность

X8: PISA по направлению естественнонаучная грамотность

Ai - весовой коэффициент.

Ai = 1 + 0,067 (Xmax - Xi) / Xi, где Xmax - максимальное
из значений Xi

При построении средневзвешенного показателя используются весовые коэффициенты, которые учитывают различия в результатах России, полученных в разных исследованиях, и, тем самым, создают дополнительную мотивацию к одновременному повышению результатов и их выравниванию, поскольку для снижения значения итогового показателя необходимо добиваться как повышения мест России в различных исследованиях, так и сокращения разницы между ними. Такой учет обеспечивается за счет использования весового коэффициента Ai, который отличается от 1 на слагаемое, пропорциональное относительной разнице между местом Xi Российской Федерации в i-ом исследовании и максимальным местом Xmax России среди всех рассматриваемых исследований. Чем меньше различия между местами, занимаемыми Россией в разных исследованиях, тем ближе значения весовых коэффициентов к 1.

Влияние указанного фактора не должно быть определяющим при вычислении значения итогового показателя, поэтому в расчетах применен корректирующий коэффициент, значение которого определяется экспертно и принимается равным 0,067.

На текущий момент значение Xmax равно 32 - место России в исследовании PISA по естественнонаучной грамотности.

Расчет текущего значения показателя (на 30 декабря 2018 г.) представлен в таблице ниже.

Таблица.
Расчет текущего значения показателя

Источники данных для расчета показателей

Источниками данных для расчета показателя являются результаты следующих процедур:

1. Результаты последних проведенных международных сравнительных исследований PISA, TIMSS, PIRLS соответственно.

2. Результаты специально организованных по модели PISA процедур оценки качества подготовки обучающихся (далее - Общероссийская оценка по модели PISA).

При этом общероссийская оценка по модели PISA проводится только в те годы, когда не проводится основное исследование PISA. Сроки проведения процедур представлены ниже в таблице.

Таблица. Сроки проведения процедур оценки

Каждое из международных исследований PISA, TIMSS, PIRLS проводится по регламенту, устанавливаемому международными организациями (для PISA - ОЭСР, для TIMSS и PIRLS - IEA (Международная ассоциация по оценке образовательных достижений)). Проведение каждого из данных исследований длится в течение ряда лет и включает этапы сбора данных, формирования выборки участников, апробации, проведения оценочных процедур, обработки и анализа результатов.

Одним из результатов проведения каждого международного исследования является формирование рейтинга, в котором указывается место или вероятный диапазон мест каждой участвующей страны. В результате проведения общероссийской оценки по модели PISA подсчитывается средний балл страны, который можно сопоставить с баллами других стран, которые принимали участие в предыдущем цикле исследования.

Порядок осуществления оценки по модели PISA

Оценка по модели PISA основана на использовании технологий и решений проекта PISA For Schools, реализуемого ОЭСР. Основная идея проекта состоит в применении измерительных материалов и шкал оценивания PISA для оценки отдельных школ или групп школ.

Выборка

Оценка по модели PISA осуществляется на выборке участников. Выборка составляется специалистами ОЭСР и включает ориентировочно не менее 200 образовательных организаций общего образования и среднего профессионального образования не менее чем из 40 субъектов Российской Федерации.

Сроки проведения процедуры оценки

Оценка по модели PISA проводится в октябре или ноябре расчетного года.

Измерительные материалы

Измерительные материалы разрабатываются специалистами ОЭСР при экспертном участии представителей России. Перевод и адаптация материалов осуществляются экспертами - представителями Российской Федерации, верификация материалов осуществляется специалистами ОЭСР. Дополнительно может быть проведена экспертиза разработанных материалов на предмет соответствия требованиям Федеральных государственных образовательных стандартов (ФГОС).

Процедура и технологии

Оценка проводится на компьютерах. В оценке принимают участие все обучающиеся образовательной организации, попавшей в выборку, чей возраст на момент тестирования составляет от 15 лет и 3 месяцев до 16 лет и 2 месяцев (с 7-го класса). Для проведения процедуры должны быть обеспечены технические условия, включая необходимое количество компьютеров для одновременной посадки всех отобранных участников. Возможно проведение в несколько сессий. В процессе проведения процедур оценки в аудитории присутствуют не менее 2 наблюдателей, один - от субъекта Российской Федерации, один - согласованный с Рособрнадзором. Управление ходом процедуры исследования в аудитории осуществляет организатор. Выполненные участниками исследования задания оцениваются российскими экспертами. Наблюдатели, организаторы и эксперты проходят отбор и обучение.

Расчет величин X6, X7, X8

Поскольку Оценка по модели PISA проводится только в России, то в год проведения этой процедуры не возникает новый рейтинг стран. Баллы, полученные на выборке участников, позволяют лишь оценить положение России по отношению к другим странам в рамках последнего построенного рейтинга стран. Таким образом, величины X6, X7, X8, рассчитанные по результатам Оценки по модели PISA, являются вероятными оценками места России в случае, если бы основное исследование PISA проводилось в это же время.

Сбор данных и аналитика

В процессе проведения оценки по модели PISA осуществляется сбор данных, на основании которых проводится анализ. Целями анализа является выявление факторов, обуславливающих получение более высоких результатов оценки.

Параметры расчета показателей по годам

Для расчета показателя ежегодно должны быть рассчитаны величины X1, X2, ... X8. Параметры расчета этих величин по годам представлены ниже. Величины, относящиеся к каждому отдельному исследованию - PISA, TIMSS, PIRLS - представлены в отдельной таблице.

Таблица. Расчет величины X1 (место России
в исследовании PIRLS) по годам

Таблица. Расчет величин X2, X3, X4, X5
(места России в исследовании TIMSS)
по годам

Таблица. Расчет величин X6, X7, X8
(места России в исследовании PISA)
по годам

--------------------------------

<1> Исследование PISA-2018 проводится вне рамок национального проекта "Образование", однако его результаты используются для корректировки стартовых значений показателя. Кроме того, на основе сопоставления результатов PISA-2018 и оценки по модели PISA в 2019 году настоящая методика расчета показателя может быть скорректирована.

Таким образом, итоговый показатель "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации (не ниже)" может быть рассчитан в следующие сроки.

Таблица. Сроки расчета
итогового показателя по годам

Сведения об исследованиях PIRLS, TIMSS, PISA

PIRLS (Progress in International Reading Literacy Study) - международное исследование качества чтения и понимания текста. Данное мониторинговое исследование организовано Международной ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement). Целью исследования является сопоставление уровня понимания текста четвероклассниками из различных стран мира.

В цикле исследования PIRLS-2011 Российская Федерация в 4 классах по читательской грамотности 2 место среди 49 участников, последнем цикле исследования PIRLS-2016 в 4 классах по читательской грамотности 1 место среди 50 участников.

TIMSS (Trends in Mathematics and Science Study) - международное исследование по оценке качества математического и естественнонаучного образования. Данное исследование организовано Международной ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement).

Каждые четыре года (1995 г., 1999 г., 2003 г., 2007 г., 2008 г., 2011 г., 2015 г., 2019 г.) в рамках исследования TIMSS оценивается общеобразовательная подготовка учащихся 4 и 8 классов по математике и естественнонаучным предметам.

В последнем цикле исследования TIMSS-2015 Российская Федерация заняла в 4 классах по математике 7 место среди 49 участников, в 8 классах по математике 6 место среди 39 участников, в 4 классах по естествознанию 4 место среди 47 участников, в 8 классах по естествознанию 7 место среди 39 участников.

Международная программа по оценке образовательных достижений учащихся PISA (Programme for International Student Assessment) является мониторинговым исследованием качества общего образования, которое отвечает на вопрос "Обладают ли учащиеся 15-летнего возраста, получившие обязательное общее образование, знаниями и умениями, необходимыми им для полноценного функционирования в современном обществе, т.е. для решения широкого диапазона задач в различных сферах человеческой деятельности, общения и социальных отношений?" Данная программа осуществляется Организацией Экономического Сотрудничества и Развития (OECD - Organization for Economic Cooperation and Development). Исследование проводится трехлетними циклами начиная с 2000 года.

В последнем цикле исследования PISA-2015 среди 70 участников Российская Федерация заняла 32 место по естественнонаучной грамотности, 23 место по математической грамотности, 26 место по читательской грамотности.