Приложение 3. МЕТОДИКА ПРОВЕДЕНИЯ ОБЗОРА ЛИТЕРАТУРЫ ПО ВОПРОСАМ, АКТУАЛЬНЫМ ДЛЯ ПРОВЕДЕНИЯ АУДИТА
Приложение N 3
к Методическим рекомендациям
по подготовке дизайна
аудита соответствия
и аудита эффективности
Обзор литературы рекомендуется проводить в четыре шага:
Шаг 1. Определение стратегии поиска, включающей:
1) определение ключевых слов в рамках релевантных тем, то есть в рамках предмета мероприятия, предварительных целей и вопросов мероприятия;
2) определение ключевых акторов <1>, связанных с научно-исследовательской или аналитической работой по релевантной теме (ключевых исследователей, научно-исследовательских и иных организаций) предмета аудита;
--------------------------------
<1> Ключевые акторы могут быть определены на основе таких показателей как ученая степень, ученое звание, занимаемая должность, индекс цитирования Хирша, цитируемость в СМИ, участие в конференциях и круглых столах и др.
3) определение ключевых источников информации (научных журналов, конференций, научно-исследовательских семинаров) по предмету аудита.
|
Пример
|
|
В рамках вопроса одного из мероприятий Счетной палаты по анализу реализации социального контракта как меры социальной поддержки населения для подготовки обзора литературы были определены:
1) ключевые слова ("обусловленные трансферты", "необусловленные трансферты", "универсальное пособие", "результативность социального контракта", "результативность служб социальной защиты/работников служб социальной защиты", "микросимуляционное моделирование для оценки результатов социальной поддержки");
2) ключевые акторы (научно-исследовательские и иные организации: Институт социальной политики Высшей школы экономики, Институт социального анализа и прогнозирования РАНХиГС, Всемирный банк, Центр финансов социальной сферы НИФИ, индивидуальные исследователи - авторы публикаций по релевантным темам в последние 5 лет);
3) ключевые источники информации (информация научно-исследовательских семинаров по бедности и уровню доходов НИУ ВШЭ, РАНХиГС, НИФИ, научные журналы "Журнал Новой экономической ассоциации", "Вопросы экономики", "Экономическая политика" и др.)
|
Шаг 2. Поиск источников. Поиск качественных (т.е. выполненных на высоком научном уровне) источников (работ) для обзора литературы осложняется большим и растущим с каждым годом количеством научных статей (каждый год в мире публикуется несколько миллионов статей в реферируемых научных журналах), аналитических докладов, а также усложнением фрагментации научных направлений. При этом пробелы в обзоре литературы могут привести к тому, что будут упущены важные и уже полученные результаты, не будут найдены подходящие методы и данные, или будут сформированы некорректные выводы по итогам обзора литературы.
Процедуры поиска литературы включают:
1) поиск статей по ключевым словам в электронных базах данных, в интернете, в библиотеках;
2) поиск информации на сайтах определенных научно-исследовательских организаций, статей исследователей, в выпусках научных журналов, информации новостей и материалов конференций на основе определенных ключевых акторов и ключевых источников информации;
3) поиск на основе цитирующих и цитируемых работ;
4) поиск на основе рекомендаций экспертов.
Рекомендуется проводить поиск с помощью специализированных поисковых систем <2>. Также могут использоваться репозитории оценок, научных исследований, рандомизированных экспериментов, содержащие результаты исследований и их обобщение по установленным критериям (при наличии).
--------------------------------
<2> Например, Академия Google (https://scholar.google.com/) или Consensus (https://consensus.app/, использующий генеративный искусственный интеллект) по ключевым словам и текстам публикаций научных журналов, препринтов, рецензий, материалов научных конференций и семинаров и т.п. Также могут быть использованы базы данных Web of Science, Science Direct, CyberLeninka, eLibrary (https://elibrary.ru), но их содержание индексируется специализированными поисковыми системами.
При поиске работ рекомендуется обращать внимание на такие классы научных статей как:
1) обзорные статьи с описанием одной или нескольких гипотез;
2) систематические обзоры - научные обзоры ряда научных статей в рамках определенной поставленной задачи для критического анализа и обобщения (как правило, с использованием протокола, снижающего вероятность неполного обзора научного знания и вероятности системных ошибок при анализе);
3) мета-анализ - научные исследования, проводимые в целях обобщения результатов нескольких исследований с помощью статистических методов.
Кроме того, следует иметь в виду, что в научных статьях обязательно присутствует обзор литературы с описанием результатов, полученных в данной предметной отрасли на момент написания и редактирования статьи.
Следует отметить, что поиск литературы представляет собой итеративный процесс, при котором процедуры поиска могут повторяться на основе новой информации (ключевых слов, авторов, статей) и по мере погружения в тему. Поиск литературы завершается, когда процедуры поиска перестают добавлять новую информацию, и достигается максимальный охват источниками.
Итеративный процесс поиска литературы отражен на рисунке ниже.
Шаг 3. Оценка и отбор источников (работ). На этом шаге проводится:
1) изучение результатов поиска:
с точки зрения отношения к предмету и целям аудита, вопросам мероприятия. Для этого необходимо получить представление о теме и содержании работ (часто для этого достаточно изучить аннотацию и при необходимости выводы статьи);
с точки зрения качества исследований. Как правило, с более высоким качеством исследований и, соответственно, валидностью результатов ассоциированы такие признаки, как:
рейтинг издания (научного журнала);
исследовательский рейтинг авторов научной публикации (например, индекс Хирша);
качество методов сбора и анализа данных, а также прозрачность и подробность описания методов и их ограничений;
наличие или возможность получить по запросу авторам использованные данные, а также скрипты их обработки и анализа.
Оценка валидности исследовательских методов, как правило, является достаточно сложной и требует исследовательских компетенций. При этом для целей обзора литературы качественными (валидными) работами могут быть признаны те, по которым не установлено явных ограничений по использованным методам (в этом случае работа включается в обзор).
По результатам формируется итоговый список источников, которые войдут в обзор литературы;
2) изучение наиболее ценных работ (итогового списка источников), для чего рекомендуется:
внимательно прочитать статью и выделить в ней гипотезы, описание методов сбора и анализа данных, описание данных, допущения и ограничения методов, результаты;
сопоставить результаты с другими работами по данной теме, обратить внимание на наличие или отсутствие консенсуса в результатах, проанализировать вероятные причины противоречий;
выделить наиболее подходящие для включения в обзор литературы фрагменты статей (включая краткое описание методов сбора и анализа данных, а также описание данных).
Важно, что в обзор литературы включаются не все проанализированные работы, а лишь те, исключение упоминаний о которых препятствует получению наиболее ценной информации в рамках мероприятия.
Шаг 4. Подготовка аналитической записки (справки) с обзором литературы.
В обзор включаются краткие описания результатов и выводов работ из итогового списка работ, а также контекста (временного, территориального), данных и методов сбора и анализа данных (каждая работа описывается, как правило, 3 - 8 предложениями). Так как обзор литературы предполагает критический анализ научных статей и аналитических докладов, рекомендуется проводить обзор литературы силами не менее чем двух сотрудников. Проведение критического анализа в рамках обзора литературы несколькими сотрудниками выступает формой его валидации и повышает доверие к результатам.
Процесс проведения обзора литературы подробно описан на схеме ниже: