Приказ Рособрнадзора от 17.04.2019 N 473 "Об утверждении Методики расчета по показателю 2.9.19 Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации"

ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ ОБРАЗОВАНИЯ И НАУКИ

ПРИКАЗ
от 17 апреля 2019 г. N 473

ОБ УТВЕРЖДЕНИИ МЕТОДИКИ
РАСЧЕТА ПО ПОКАЗАТЕЛЮ 2.9.19 ФЕДЕРАЛЬНОГО ПЛАНА
СТАТИСТИЧЕСКИХ РАБОТ, УТВЕРЖДЕННОГО РАСПОРЯЖЕНИЕМ
ПРАВИТЕЛЬСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ ОТ 06.05.2008 N 671-Р,
"СРЕДНЕВЗВЕШЕННЫЙ РЕЗУЛЬТАТ РОССИЙСКОЙ ФЕДЕРАЦИИ В ГРУППЕ
МЕЖДУНАРОДНЫХ ИССЛЕДОВАНИЙ, СРЕДНЕВЗВЕШЕННОЕ МЕСТО
РОССИЙСКОЙ ФЕДЕРАЦИИ"

В целях обеспечения реализации Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, во исполнение пункта 1 поручения Первого заместителя Председателя Правительства Российской Федерации - Министра финансов Российской Федерации А.Г. Силуанова от 21.02.2019 N СА-П6-1312 и с учетом писем Федеральной службы государственной статистики от 29.03.2019 N СЕ-01-7/916-МВ и от 12.04.2019 N СЕ-01-7/1097-МВ приказываю:

1. Утвердить прилагаемую Методику расчета по показателю 2.9.19 Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации".

2. Контроль за исполнением настоящего приказа возложить на заместителя руководителя С.М. Кочетову.

И.о. руководителя
С.М.КОЧЕТОВА

Формула расчета

Одним из ключевых показателей национального проекта Образование является "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации".

При использовании средневзвешенного показателя учитываются все наиболее распространенные международные исследования, относящиеся к оценке уровня общеобразовательной подготовки обучающихся: PIRLS (Международное исследование качества чтения и понимания текста), TIMSS (Международное исследование качества математического и естественнонаучного образования), PISA (Международная программа по оценке достижений учащихся). Краткие сведения об исследованиях приведены ниже.

Данные исследования направлены на оценку уровня подготовки обучающихся различного возраста и по различным аспектам. Кроме того, результаты России в этих исследованиях существенно различаются. Так, в исследовании качества чтения и понимания текста российские четвероклассники занимают 1 место, а в аналогичном исследовании PISA по читательской грамотности 15-летние граждане России занимают только 26 место. Различаются также и результаты, полученные российскими участниками схожего возраста в разных исследованиях. Например, в исследовании TIMSS по качеству математического образования российские восьмиклассники занимают 6 место, а в исследовании PISA по математической грамотности 15-летние граждане, среди которых также существенная доля восьмиклассников, занимают только 23 место, уступая многим из тех стран, результаты которых ниже России в исследовании TIMSS.

Показатель рассчитывается по формуле:

где:

F00 - Средневзвешенный результат Российской Федерации в группе международных исследований

Xi - место Российской Федерации в i-ом исследовании:

X1: PIRLS (4 класс) по качеству чтения и понимания текста

X2: TIMSS (4 класс) по математическому направлению

X3: TIMSS (4 класс) по естественно-научному направлению

X4: TIMSS (8 класс) по математическому направлению

X5: TIMSS (8 класс) по естественно-научному направлению

X6: PISA по направлению читательская грамотность

X7: PISA по направлению математическая грамотность

X8: PISA по направлению естественнонаучная грамотность

Ai - весовой коэффициент.

Ai = 1 + 0,067 · (Xmax - Xi) / Xi, где Xmax - максимальное из значений Xi

При построении средневзвешенного показателя используются весовые коэффициенты, которые учитывают различия в результатах России, полученных в разных исследованиях, и, тем самым, создают дополнительную мотивацию к одновременному повышению результатов и их выравниванию. Такой учет обеспечивается за счет использования весового коэффициента Ai, отличается от 1 на слагаемое, пропорциональное относительной разнице между местом Xi Российской Федерации в i-ом исследовании и максимальным местом Xmax России среди всех рассматриваемых исследований. Чем меньше различия между местами, занимаемыми Россией в разных исследованиях, тем ближе значения весовых коэффициентов к 1.

Влияние указанного фактора не должно быть определяющим при вычислении значения итогового показателя, поэтому в расчетах применен понижающий коэффициент, значение которого выбрано таким образом, чтобы при величине относительной разницы (Xmax - Xi) / Xi, равной 30, весовой коэффициент был равен 2. Таким образом, коэффициент пропорциональности в итоговой формуле: (3 - 1) / 30 0,067.

На текущий момент значение Xmax равно 32 - место России в исследовании PISA по естественнонаучной грамотности.

Расчет текущего значения показателя на 2019 год представлен в таблице ниже.

Таблица. Расчет значения показателя на 2019 год

Источники данных для расчета показателей

Источниками данных для расчета показателя являются результаты следующих процедур:

1. Результаты последних проведенных международных сравнительных исследований PISA, TIMSS, PIRLS соответственно.

2. Результаты специально организованных по модели PISA процедур оценки качества подготовки обучающихся (далее - Оценка по модели PISA).

При этом Оценка по модели PISA проводится только в те годы, когда не проводится основное исследование PISA. Сроки проведения процедур представлены ниже в таблице.

Таблица. Сроки проведения процедур оценки

Каждое из международных исследований PISA, TIMSS, PIRLS проводится по регламенту, устанавливаемому международными организациями (для PISA - ОЭСР, для TIMSS и PIRLS - IEA (Международная ассоциация по оценке образовательных достижений)). Проведение каждого из данных исследований длится в течение ряда лет и включает этапы сбора данных, формирования выборки участников, апробации, проведения оценочных процедур, обработки и анализа результатов.

Одним из результатов проведения каждого международного исследования является формирование рейтинга, в котором указывается место или вероятный диапазон мест каждой участвующей страны. В результате оценки по модели PISA подсчитывается средний балл страны, который можно сопоставить с баллами других стран, которые принимали участие в предыдущем цикле исследования.

Порядок осуществления оценки по модели PISA

Оценка по модели PISA основана на использовании технологий и решений проекта PISA For Schools, реализуемого ОЭСР. Основная идея проекта состоит в применении измерительных материалов и шкал оценивания PISA для оценки отдельных школ или групп школ.

Выборка

Оценка по модели PISA осуществляется на выборке участников. Выборка составляется специалистами ОЭСР и включает ориентировочно не менее 200 образовательных организаций общего образования и среднего профессионального образования не менее чем из 40 субъектов Российской Федерации.

Сроки проведения процедуры оценки

Оценка по модели PISA проводится в октябре расчетного года.

Измерительные материалы

Измерительные материалы разрабатываются специалистами ОЭСР при экспертном участии представителей России. Перевод и адаптация материалов осуществляются экспертами-представителями Российской Федерации, верификация материалов осуществляется специалистами ОЭСР.

Процедура и технологии

Оценка проводится на компьютерах. В оценке принимают участие все обучающиеся образовательной организации, попавшей в выборку, чей возраст на момент тестирования составляет от 15 лет и 3 месяцев до 16 лет и 2 месяцев (с 7-го класса). Для проведения процедуры должны быть обеспечены технические условия, включая необходимое количество компьютеров для одновременной посадки всех отобранных участников. Возможно проведение в несколько сессий. В процессе проведения процедур оценки в аудитории присутствуют не менее 2 наблюдателей, один - от субъекта Российской Федерации, один - от Рособрнадзора. Управление ходом процедуры исследования в аудитории осуществляет организатор. Выполненные участниками исследования задания оцениваются российскими экспертами. Наблюдатели, организаторы и эксперты проходят отбор и обучение.

Расчет величин X6, X7, X8

Поскольку Оценка по модели PISA проводится только в России, то в год проведения этой процедуры не возникает новый рейтинг стран. Баллы, полученные на выборке участников, позволяют лишь оценить положение России по отношению к другим странам в рамках последнего построенного рейтинга стран. Таким образом, величины X6, X7, X8, рассчитанные по результатам Оценки по модели PISA, являются вероятными оценками места России в случае, если бы основное исследование PISA проводилось в это же время.

Срок расчета указанных величин - 1 квартал года, следующего за годом проведения Оценки по модели PISA.

Сбор данных и аналитика

В процессе проведения оценки по модели PISA осуществляется сбор данных, на основании которых проводится анализ. Целями анализа является выявление факторов, обуславливающих получение более высоких результатов оценки.

Параметры расчета показателей по годам

Для расчета показателя ежегодно должны быть рассчитаны величины X1, X2, ... X8. Параметры расчета этих величин по годам представлены ниже. Величины, относящиеся к каждому отдельному исследованию - PISA, TIMSS, PIRLS - представлены в отдельной таблице.

Таблица. Расчет величины X1 (место России в исследовании PIRLS) по годам

Таблица. Расчет величин X2, X3, X4, X5 (места России в исследовании TIMSS) по годам

Таблица. Расчет величин X6, X7, X8 (места России в исследовании PISA) по годам

--------------------------------

<1> Исследование PISA-2018 проводится вне рамок национального проекта "Образование", однако его результаты используются для корректировки стартовых значений показателя. Кроме того, на основе сопоставления результатов PISA-2018 и оценки по модели PISA в 2019 году настоящая методика расчета показателя может быть скорректирована.

Таким образом, итоговый показатель "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации" может быть рассчитан в следующие сроки.

Таблица. Сроки расчета итогового показателя по годам

Сведения об исследованиях PIRLS, TIMSS, PISA

PIRLS (Progress in International Reading Literacy Study) - международное исследование качества чтения и понимания текста. Данное мониторинговое исследование организовано Международной ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement). Целью исследования является сопоставление уровня понимания текста четвероклассниками из различных стран мира.

В цикле исследования PIRLS-2011 Российская Федерация в 4 классах по читательской грамотности 2 место среди 49 участников, последнем цикле исследования PIRLS-2016 в 4 классах по читательской грамотности 1 место среди 50 участников.

TIMSS (Trends in Mathematics and Science Study) - международное исследование по оценке качества математического и естественнонаучного образования. Данное исследование организовано Международной ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement).

Каждые четыре года (1995 г., 1999 г., 2003 г., 2007 г., 2008 г., 2011 г., 2015 г., 2019 г.) в рамках исследования TIMSS оценивается общеобразовательная подготовка учащихся 4 и 8 классов по математике и естественно-научным предметам, а также подготовка учащихся 11 классов по углубленным курсам математики и физики.

В последнем цикле исследования TIMSS-2015 Российская Федерация заняла в 4 классах по математике 7 место среди 49 участников, в 8 классах по математике 6 место среди 39 участников, в 4 классах по естествознанию 4 место среди 47 участников, в 8 классах по естествознанию 7 место среди 39 участников.

Международная программа по оценке образовательных достижений учащихся PISA (Programme for International Student Assessment) является мониторинговым исследованием качества общего образования, которое отвечает на вопрос "Обладают ли учащиеся 15-летнего возраста, получившие обязательное общее образование, знаниями и умениями, необходимыми им для полноценного функционирования в современном обществе, т.е. для решения широкого диапазона задач в различных сферах человеческой деятельности, общения и социальных отношений?" Данная программа осуществляется Организацией Экономического Сотрудничества и Развития (OECD - Organization for Economic Cooperation and Development). Исследование проводится трехлетними циклами начиная с 2000 года.

В последнем цикле исследования PISA-2015 среди 70 участников Российская Федерация заняла 32 место по естественнонаучной грамотности, 23 место по математической грамотности, 26 место по читательской грамотности.