7. Выбор методов для проверки гипотез
7. Выбор методов для проверки гипотез 
7.1. Для проверки схожих гипотез могут быть использованы схожие методы. Гипотеза и метод ее проверки в совокупности определяют предварительный результат проверки гипотезы.
Обобщенные формулировки связанных между собой структурных элементов дизайна (критериев аудита, гипотез, методов и предварительных результатов) в контексте различных задач в рамках мероприятий приведены в таблицах 1 - 5 настоящего раздела и могут быть адаптированы и конкретизированы в рамках подготовки дизайна аудита с учетом его особенностей.
При выборе методов для проверки гипотез в контексте различных задач в рамках мероприятий рекомендуется учитывать следующее.
7.1.1. Анализ достижения результатов
В качестве первого шага в рамках анализа достижения результатов мер (комплексов мер) может проводиться сравнительный анализ значений показателей, характеризующих непосредственные и конечные результаты, а также итоговые эффекты: сравнение плановых и фактических значений показателей, сравнение значений показателей в различные периоды, а также в различных разрезах. При этом важно учитывать, что сравнительный анализ значений показателя, характеризующего результат, не позволяет формулировать выводы о влиянии меры (комплекса мер), если достижение этого результата вызвано не только этой мерой (комплексом мер), но также и иными факторами. В таких случаях рекомендуется проведение оценки влияния (подпункт 7.1.5 Методических рекомендаций).
Выбор методов, которые используются для проверки гипотез о причинах недостижения результатов, обусловлен типом рассматриваемого результата (непосредственный или конечный результат, итоговый эффект), а также предметом аудита. Так, например, для установления причин недостижения результатов в части востребованности результатов могут быть использованы такие методы, как:
обследование для анализа возможности использования результатов (например, объектов инфраструктуры);
социологические методы для выявления мнений выгодоприобретателей о причинах невостребованности результатов;
анализ содержания нормативных и иных документов для получения информации о процессах в рамках достижения результатов.
Таблица 1
|
Критерий аудита
|
Гипотезы
|
Методы
|
Предварительные результаты
|
|
- запланированные результаты меры достигнуты
|
- запланированные значения показателей, характеризующих результаты меры, достигнуты во всех субъектах Российской Федерации во все годы реализации меры
|
- запрос данных о фактических и плановых значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки, возможное решение - запрос данных из нескольких источников);
- сравнение плановых и фактических значений показателей
|
- запланированные значения показателей, характеризующих результаты меры, достигнуты (не достигнуты), в т.ч. где, кем и т.д.;
- уровень достижения результатов меры различается в XX раз по субъектам Российской Федерации, различным социально-демографическим группам;
- на достижение значений показателей, характеризующих результаты меры, направлена в том числе деятельность коммерческих, общественных и иных организаций, не относящихся к участникам реализации меры
|
|
- максимальное и минимальное значения показателей, характеризующих результаты меры, различаются в XX раз для различных субъектов Российской Федерации, различных социально-демографических групп
|
- запрос данных о фактических значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки);
- сравнение фактических значений показателей в разрезе субъектов Российской Федерации, различных социально-демографических групп
|
||
|
- отсутствует информация об иных мерах государственной политики и (или) коммерческих, общественных и прочих проектах, направленных на достижение анализируемого результата
|
- анализ нормативных и иных документов, в т.ч. корпоративной отчетности компаний, отчетности общественных и иных организаций
|
||
|
- результаты используются выгодоприобретателями
|
- установлены факты использования результатов выгодоприобретателями
|
- запрос и анализ документальных подтверждений использования
результатов;
- обследование с фиксацией фактического использования результатов
|
- установлены факты неиспользования результатов [например, построенные объекты не введены в эксплуатацию, закупленное оборудование не используется, результаты исследований не внедрены]
|
|
- результаты меры востребованы у выгодоприобретателей
|
- результаты меры востребованы не менее, чем у XX% ее выгодоприобретателей, в т.ч. в разрезе определенных групп
|
- запрос данных о тех, кто:
- воспользовался результатами меры;
- подавал документы для того, чтобы воспользоваться результатами, и соответствовал критериям для использования результатов (ограничение - данные о тех, кому было отказано, могут существовать в разрозненном виде, содержать пропуски и ошибки);
- является выгодоприобретателем меры;
- вычисление доли выгодоприобретателей, желавших воспользоваться результатами меры <27>, из общей численности выгодоприобретателей меры
|
- результаты меры были востребованы у YY% выгодоприобретателей, однако определенная группа не пользовалась результатами;
- причинами невостребованности результатов является [выявленные причины];
- AA% выгодоприобретателей не воспользовались результатом меры по причине 1, BB% - по причине 2, CC% - по причине 3. При этом ZZ% готовы были бы использовать результат меры, при устранении [описание недостатков с точки зрения выгодоприобретателей]
|
|
- причиной невостребованности меры со стороны определенной группы выгодоприобретателей является [предполагаемые причины - например, построенный объект инфраструктуры неудобно расположен или имеет неудобный режим работы; мера поддержки не решает проблемы, с которыми сталкиваются выгодоприобретатели и т.д.]
|
- запрос информации о характеристиках результатов;
- обследование результатов;
- интервью, опрос (анкетирование) выгодоприобретателей, не воспользовавшихся результатом
|
||
|
- выгодоприобретатели меры, удовлетворены ее результатами
|
- более XX% выгодоприобретателей, воспользовавшихся результатами меры, удовлетворены ее результатами
|
- опрос (анкетирование) выборочной совокупности выгодоприобретателей [параметры выборки], (ограничение - отсутствие репрезентативности по [указать, какому] параметру)
|
- YY% выгодоприобретателей, воспользовавшихся результатами меры и участвовавших в опросе, удовлетворены ее результатами, что свидетельствует в пользу результативности меры (YY% > XX%);
- повышению удовлетворенности результатами меры может способствовать устранение следующих факторов [причины, которые будут упомянуты респондентами как важные]
|
|
- среди причин недостаточной удовлетворенности результатами меры выгодоприобретатели отмечают следующие: [предполагаемые причины]
|
- интервью, фокус-группы с выгодоприобретателями из числа [описание групп респондентов - например, представители крупных, средних предприятий], отобранными по критериям [описание критериев отбора]
|
--------------------------------
<27> Включает как тех, кто воспользовался результатами, так и тех, кто совершил все необходимые для этого действия и соответствовал всем необходимым условиям, но не смог воспользоваться результатами меры в силу независящих от себя причин (например, ограниченности объема средств поддержки).
|
Пример анализа достижения результатов
|
|
1. Критерий аудита: запланированные результаты предоставления социального контракта достигнуты.
Гипотеза: уровень реальных доходов получателей социального контракта через год после его завершения в среднем выше, чем до заключения социального контракта.
Метод: сравнение реальных доходов получателей социального контракта до его заключения и через год после его завершения, усредненных по множеству получателей социального контракта.
Предварительные результаты: в среднем по всем субъектам Российской Федерации реальные доходы получателей социального контракта выросли по прошествии года после его завершения в сравнении с реальными доходами до заключения социального контракта.
|
|
2. Критерий аудита: востребованность меры поддержки экспортеров составляет не менее, чем XX%.
Гипотеза: мера поддержки экспортеров востребована не менее, чем у XX% выгодоприобретателей.
Метод: вычисление доли экспортеров, воспользовавшихся поддержкой, среди всех экспортеров, характеристики которых позволяют претендовать на меру поддержки (при условии доступности меры для всех таких соискателей); сравнение вычисленной доли с критерием аудита.
Предварительные результаты: мера поддержки была востребована у YY% выгодоприобретателей, что выше, чем в разработанном критерии аудита (YY% > XX%)
|
7.1.2. Оценка использования ресурсов, включая их экономность
В качестве первого шага при оценке использования ресурсов может быть проведен сравнительный анализ плановых и фактических затрат ресурсов. Однако такой анализ не является достаточным для формулирования выводов об экономности, поскольку не предполагает оценку возможности использования меньшего ресурса для достижения заданного результата.
Таблица 2
|
Критерий аудита
|
Гипотезы
|
Методы
|
Предварительные результаты
|
|
- фактические значения затрат ресурсов на реализацию меры не превышают запланированные
|
- фактические значения затрат ресурсов на реализацию меры не превышают запланированные во всех субъектах Российской Федерации во все годы реализации меры
|
- запрос данных о фактических и плановых значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки);
- сравнение плановых и фактических значений показателей
|
- объем использованных ресурсов не превышает запланированные значения по Российской Федерации в целом, однако в определенных субъектах были превышения
|
|
- фактические затраты ресурсов на достижение результата не превышают среднерыночные
(в сопоставимых условиях)
|
- фактические затраты ресурсов на достижение результата не превышают среднерыночные
(в сопоставимых условиях)
|
- исследование рыночных цен, сравнение с ними
(ограничение - обоснованность сравнения с рынком)
|
- фактические затраты ресурсов на достижение результата не превышают среднерыночные
(в сопоставимых условиях)
|
|
- отсутствуют факты неэкономного использования ресурсов, направленных на достижение результата
|
- отсутствуют факты использования ресурсов с превышением обоснованной потребности
|
- запрос и анализ документов, содержащих обоснование потребности в ресурсах, сравнение с фактическими затратами
|
- затраты ресурсов не превышают обоснованные потребности
|
|
Пример анализа использования ресурсов
|
|
Критерий аудита: отсутствуют факты неэкономного использования ресурсов, направленных на разработку проектно-сметной документации.
Гипотеза: осуществлялась разработка проектно-сметной документации для объектов, в отношении которых ранее было принято решение, исключающее необходимость их строительства.
Метод: запрос проектно-сметной документации, обоснований необходимости строительства объектов.
Предварительные результаты: выявлено, что в отношении XX объектов была разработана проектно-сметная документация на сумму YY рублей после решения, исключающего необходимость их строительства
|
7.1.3. Оценка соответствия результатов деятельности объекта аудита (контроля) положениям нормативного или иного документа
Таблица 3
|
Критерий аудита
|
Гипотезы
|
Методы
|
Предварительные результаты
|
|
- результаты деятельности объекта аудита (контроля) соответствуют
[положение нормативного, иного документа]
|
- результаты деятельности объекта аудита (контроля) не соответствуют
[положение нормативного, иного документа]
|
- запрос данных и информации
- сопоставление с критериями
|
- деятельность объекта аудита (контроля) не соответствует
[положение нормативного, иного документа];
- последствиями несоответствия являются [описание последствий]
|
|
- характеристики результатов меры соответствуют
[положение нормативного, иного документа]
|
- характеристики результатов меры не соответствуют критериям (в т.ч. в части технических характеристик, сроков и т.п.)
|
- сбор данных о состоянии
характеристик результатов меры, в т.ч. с помощью запросов информации, наблюдения, лабораторных исследований;
- сравнение с критериями
|
- характеристики результатов меры не соответствуют критериям в части [каких именно] характеристик
|
|
Примеры оценки соответствия результатов деятельности положениям нормативного документа
|
|
1. Критерий аудита: результаты деятельности объекта аудита (контроля) в рамках администрирования подсистемы управления национальными проектами государственной интегрированной информационной системы управления общественными финансами "Электронный бюджет" (далее - ГИИС "Электронный бюджет") соответствуют Концепции создания и развития государственной интегрированной информационной системы управления общественными финансами "Электронный бюджет" (распоряжение Правительства Российской Федерации от 20 июля 2011 г. N 1275-р).
|
|
Гипотезы:
осуществляется надлежащий контроль качества данных, формируемых в подсистеме управления национальными проектами ГИИС "Электронный бюджет";
качество данных, формируемых в подсистеме управления национальными проектами ГИИС "Электронный бюджет", позволяет использовать их в качестве инструментария для принятия обоснованных управленческих решений.
Метод: анализ качества данных, анализ работоспособности системы межведомственного электронного взаимодействия (далее - СМЭВ).
Предварительные результаты: данные, формируемые в ГИИС "Электронный бюджет", содержат существенные недостатки в части качества. Получение качественных данных посредством СМЭВ затруднено. Имеющийся уровень качества данных снижает возможности мониторинга, а также более глубоких оценок реализации мер (комплексов мер), на основе которых можно принимать обоснованные управленческие решения.
|
|
2. Критерий аудита: состав дорожного покрытия на участке дороги XX соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия".
Гипотеза: состав дорожного покрытия на участке дороги XX не соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия".
Метод: взятие образцов дорожного покрытия и их лабораторный анализ.
Предварительные результаты: участок дороги XX не соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия" в части химического состава асфальтобетонного покрытия
|
7.1.4. Анализ процессов на предмет соответствия положениям нормативных и иных документов
Анализ процессов является частным случаем оценки соответствия деятельности объекта аудита (контроля) положениям нормативных и иных документов.
Рекомендуется учитывать, что применение различных методов при анализе процессов позволяет получить доказательства различного уровня надежности. Так, выводы о соответствии деятельности объекта аудита положениям нормативных, иных документов, сделанные только лишь на основании таких методов, как интервью и опросы, могут быть оспорены объектом аудита (контроля). При анализе процессов рекомендуется применять эти методы, в том числе для формирования предположений о наличии нарушений и (или) недостатков, а после этого при необходимости проводить сбор и анализ достаточных и надлежащих доказательств.
Рекомендуется учитывать, что наблюдение может обеспечивать получение доказательств выполнения процессов сотрудниками объекта аудита (контроля), но ограничено тем периодом времени, когда оно проводится, а также тем фактом, что само наблюдение может оказать влияние на то, каким образом сотрудники объекта аудита (контроля) выполняют процессы.
Наблюдение в комбинации со сбором и анализом документальной информации может помочь выявить несоответствие между фактической реализацией процессов и информацией, отраженной в документах объекта аудита (контроля) о процессах, что может являться необходимым обоснованием результатов и выводов мероприятия.
Таблица 4
|
Критерий аудита
|
Гипотезы
|
Методы
|
Предварительные результаты
|
|
- реализация процесса соответствует
[положение нормативного, иного документа]
|
- реализация процесса не соответствует установленным требованиям к нему
|
- анализ содержания документов, описывающих процесс;
- сбор данных о практиках реализации процесса с помощью опросов и интервью с непосредственными исполнителями и (или) выгодоприобретателями;
- наблюдение за реализацией процесса;
- сбор и анализ документальных подтверждений несоответствия деятельности объекта аудита в рамках реализации процесса требованиям, содержащимся в нормативных правовых актах, иных документах
|
- реализация процесса не соответствует требованиям к нему в части [чего именно]
|
|
Примеры анализа процессов
|
|
1. Критерий аудита: сроки рассмотрения заявлений получателей на оказание социальной поддержки соответствуют [реквизиты нормативного, иного документа].
Гипотеза: заявления получателей на оказание социальной поддержки рассматриваются несвоевременно.
Методы: опрос тех, кто подавал заявления, в том числе как получателей помощи, так и тех, кому в помощи было отказано;
запрос у органов социальной защиты документов, содержащих информацию о сроках подачи и рассмотрения заявлений о выделении помощи, с последующим сравнением этих сроков с нормативами.
Предварительные результаты: X% людей, подавших заявления на получение помощи, получили ответ вовремя, остальные либо не получили его, либо получили с задержкой.
|
|
2. Критерий аудита: документооборот в организации ведется в соответствии с [реквизиты нормативного, иного документа].
Гипотеза: документооборот в организации не ведется в предусмотренной для этого положениями [реквизиты нормативного, иного документа] внутренней информационной системе.
Методы: интервью с сотрудниками организации о практиках ведения документооборота в части постановки задач, взаимодействия различных подразделений, ведения отчетности для выявления того, какие из модулей информационной системы, вероятно, слабо используются и почему это происходит;
запрос информации у организации о функционале информационной системы; информации, подтверждающей ведение документации в информационной системе.
Предварительные результаты: информационная система не используется сотрудниками для ведения документации [какой именно], вместо внутренней информационной системы для решения [каких именно] задач используется MS Excel, что не соответствует положениям [реквизиты нормативного, иного документа]
|
7.1.5. Оценка влияния
Оценка влияния проводится в рамках аудита эффективности. Оценка влияния исследует величину вклада деятельности объектов аудита (контроля) по достижению непосредственных результатов за счет использования федеральных и иных ресурсов, которая явилась причиной или, как ожидается, послужит причиной достижения конечных результатов и (или) итоговых эффектов, характеризующих стратегические цели социально-экономического развития Российской Федерации <28>.
--------------------------------
<28> Согласно пункту 4.2.8(1) СГА 104.
Данная оценка предполагает выявление причинно-следственных связей, включая выявление существующих внешних и внутренних условий функционирования объекта аудита (контроля), а также социальных, экологических, экономических и иных последствий, целостных и устойчивых изменений в системах или нормах.
При проведении оценки влияния могут быть использованы специальные методы эконометрического анализа, которые в научной литературе объединяются в класс под общим названием "квазиэкспериментальные методы". Данные методы основаны на сравнении двух групп объектов <29> - группы объектов, на которые было оказано воздействие в результате реализации мер (она называется экспериментальной группой, или группой воздействия), и группы объектов, на которые не было оказано такого воздействия (она называется контрольной группой и служит базой для сравнения). Свойства эксперементальной группы должны быть максимально близки к свойствам контрольной группы (точный смысл такой близости определяется отдельно для каждого метода) - это требуется для отделения результата влияния, вызванного реализацией мер, от результатов воздействия других факторов.
--------------------------------
<29> Здесь и далее в данном подпункте под объектами понимаются единицы наблюдения, на которые может оказываться воздействие в результате реализации мер - объектами в разных ситуациях могут быть, например, предприятия, домохозяйства, отдельные люди и т.п.
Выбор конкретного метода из этого класса методов зависит от имеющихся данных и исследуемой ситуации. Например:
если вероятность получения воздействия определяется характеристиками объекта, и при этом у объекта отсутствуют ненаблюдаемые характеристики, которые могут влиять на результат воздействия, то используется метод сопоставления наблюдений экспериментальной и контрольной групп. В данном методе объектам, подвергшимся воздействию, сопоставляются объекты, на которые воздействие не оказывалось. При этом сопоставление происходит по характеристикам, которые могут оказывать влияние на результат применения к ним рассматриваемой меры. Способы сопоставления могут быть различными: это может быть вероятность получения воздействия в случае сопоставления по индексу соответствия <30> либо величина "близости" объектов друг к другу по совокупности признаков при условии заранее выбранного расстояния в пространстве признаков;
--------------------------------
<30> Пункт 2.1.2.1.6 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141175.
если до начала воздействия наблюдается параллельная динамика целевого показателя экспериментальной и контрольной групп и есть основания ожидать ее продолжения после начала воздействия, можно рассмотреть применение метода разность разностей <31>;
--------------------------------
<31> Пункт 2.1.2.1.10 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141179.
если есть некая граница в значениях некоторого показателя, разделяющая контрольную и экспериментальную группы, можно рассмотреть применение разрывного регрессионного дизайна <32>.
--------------------------------
<32> Пункт 2.1.2.1.9 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141178.
Помимо квазиэкспериментальных методов можно рассмотреть применение панельной регрессии <33>, в которую в качестве одной из объясняющих переменных включена величина воздействия, а также все важные факторы, которые могли повлиять на целевой показатель.
--------------------------------
<33> Пункт 2.1.2.1.2 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141172.
Таблица 5
|
Критерий аудита
|
Гипотеза
|
Методы
|
Предварительные результаты
|
|
- мера положительно повлияла на
[социально-экономический показатель]
|
- мера положительно повлияла на
[социально-экономический показатель]
|
- данные об экспериментальной и контрольной группах за несколько лет до и после начала действия меры:
- индикатор принадлежности к экспериментальной или контрольной группе
- показатели, характеризующие главные факторы, потенциально влияющие на целевой показатель;
- метод разность разностей/метод разрывного регрессионного дизайна/метод сопоставления по индексу соответствия (при выполнении предпосылок методов)
|
- реализация меры привела к увеличению [социально-экономического показателя] на YY%, причем YY > 0, что говорит о положительном влиянии меры на этот показатель
|
|
Пример оценки влияния
|
|
Критерий: результаты деятельности институтов развития положительно повлияли на налоговые доходы региона.
Гипотеза: результаты деятельности институтов развития положительно повлияли на налоговые доходы региона.
Методы: собрать данные о предприятиях, получивших поддержку от институтов развития (экспериментальная группа), и об аналогичных предприятиях без такой поддержки (контрольная группа). Данные должны охватывать период действия институтов развития и период до начала их работы. Данные должны включать уплаченные налоги, активы, выручку, прибыль (убыток), численность сотрудников, регион функционирования предприятия и показатели других важных факторов, влияющих на налоговые поступления;
применить разность разностей после проверки выполнения предпосылок метода.
Предварительные результаты: реализация мероприятий институтами развития увеличила налоговые поступления от предприятий региона на XX%
|
7.2. Рекомендуется оценивать методы в части их ограничений на предмет пригодности для проверки гипотезы (валидности):
операционная валидность отвечает на вопросы о том, действительно ли мы измеряем то, что планировали, и так, как планировали;
внутренняя валидность отвечает на вопросы о степени объяснения причинно-следственных связей;
внешняя валидность говорит о возможности распространения полученных результатов на иной, отличный от оцениваемого, контекст;
валидность статистических выводов говорит о степени корректности статистического анализа и сделанных на его основании выводов.
Для каждого типа валидности можно выделить ряд характерных потенциальных проблем согласно приложению N 6 к Методическим рекомендациям.
