<Информация> Банка России "О принципах и подходах Банка России к проведению валидации рейтинговых систем банков в рамках реализации ПВР"

ЦЕНТРАЛЬНЫЙ БАНК РОССИЙСКОЙ ФЕДЕРАЦИИ

ИНФОРМАЦИЯ

О ПРИНЦИПАХ И ПОДХОДАХ
БАНКА РОССИИ К ПРОВЕДЕНИЮ ВАЛИДАЦИИ РЕЙТИНГОВЫХ СИСТЕМ
БАНКОВ В РАМКАХ РЕАЛИЗАЦИИ ПВР

Вопрос. Как Банк России будет проводить оценку банковских методик управления кредитными рисками и моделей количественной оценки кредитных рисков, используемых для расчета величины кредитного риска на основе внутренних рейтингов для включения в нормативы достаточности капитала банка (далее - ПВР) на соответствие требованиям Положения Банка России от 06.08.2015 N 483-П "О порядке расчеты величины кредитного риска на основе внутренних рейтингов" (далее Положение N 483-П) и Указания Банка России от 06.08.2015 N 3752-У "О порядке получения разрешений на применение банковских методик управления кредитными рисками и моделей количественной оценки кредитных рисков в целях расчета нормативов достаточности капитала банка, а также порядке оценки их качества" (далее Указание N 3752-У)?

Ответ. Положение N 483-П и Указание N 3752-У реализуют подход к оценке кредитного риска на основе внутренних рейтингов, предусмотренный документом Базельского комитета по банковскому надзору "Международная конвергенция измерения капитала и стандартов капитала: новые подходы" (International Convergence of Capital Measurement and Capital Standards. A Revised Framework, Basel Committee on Banking Supervision)"International Convergence of Capital Measurement and Capital Standards Comprehensive Version, June 2006" (Базель II), и в соответствии с частью 1 статьи 72.1 Федерального закона от 10.07.2002 N 86-ФЗ "О Центральном банке Российской Федерации (Банке России)" N ФЗ-86 (далее Федеральный закон N 86-ФЗ) устанавливают требования, которым должны соответствовать банки для получения разрешения Банка России на применение данного подхода в целях расчета нормативов достаточности капитала.

Выдача разрешения на применение ПВР для расчета нормативов достаточности капитала в соответствии с частями 2 и 3 статьи 72.1 Федерального закона N 86-ФЗ будет производиться Банком России после проведения всесторонней оценки рейтинговых систем банков и процессов по управлению кредитным риском на соответствие требованиям Положения N 483-П и Указания N 3752-У.

В соответствии с частью 3 статьи 72.1 Федерального закона N 86-ФЗ Указание N 3752-У устанавливает порядок оценки качества банковских методик управления кредитными рисками и моделей количественной оценки кредитных рисков для целей выдачи такого разрешения. Этот порядок описывает процесс взаимодействия Банка России с банком, подавшим ходатайство на получение разрешения для применения ПВР, этапы и направления проведения оценки.

Приведенный ниже набор методов и инструментов, которые могут быть использованы Банком России в рамках валидации рейтинговых процессов и валидации моделей количественной оценки компонентов кредитного риска, в том числе указанные количественные тесты, не является исчерпывающим. В процессе валидации порядок действий сотрудников Банка России может быть скорректирован с учетом индивидуальных особенностей внутренних кредитных процессов и рейтинговых систем банка.

Оценка рейтинговых систем банка на соответствие требованиям Положения N 483-П и Указания N 3752-У (далее - валидация) включает широкий спектр возможных методов и инструментов, позволяющих оценить, насколько эффективно рейтинговая система банка дифференцирует заемщиков по уровню риска, а также насколько оценки компонентов кредитного риска (вероятности дефолта - PD, уровня потерь при дефолте - LGD, величины кредитного требования, подверженной риску дефолта, - EAD) интегрированы в бизнес-процессы банка.

При проведении валидации Банк России руководствуется рядом принципов, разработанных Базельским комитетом по банковскому надзору и изложенных в документе "Update on work of the Accord Implementation Group related to validation under the Basel II Framework" (January 2005).

1. Основной целью валидации рейтинговых систем банка является проверка предсказательной способности банковских оценок кредитного риска, а также того, насколько данные оценки интегрированы в бизнес-процессы банка.

Рейтинговые системы банка должны эффективно дифференцировать риск (кредитные требования или заемщики, которым был присвоен относительно худший рейтинг, должны иметь большую вероятность потерь), а также точно оценивать величину ожидаемых потерь. При значительном расхождении прогнозных оценок с фактическими значениями должна происходить переоценка компонентов кредитного риска.

Для оценки соблюдения банками данного принципа Банк России будет проводить соответствующие количественные тесты, описанные в Разделе 3.

2. Банк несет ответственность за полноту и правильность валидации собственных рейтинговых систем.

Проведение внутренней валидации рейтинговых систем банка является первичной обязанностью банка.

Для оценки соблюдения банками этого принципа Банк России будет проводить оценку качества внутрибанковской валидации и ее результатов, которая может проводиться с использованием собственных методик Банка России.

3. Валидация является итерационным процессом.

Валидация рейтинговых систем банка не должна рассматриваться как разовая процедура.

В соответствии с Указанием N 3752-У Банк России осуществляет валидацию в несколько этапов. На первом этапе проводится первичная оценка рейтинговых систем банка, по итогам которой банку направляется предварительный акт с описанием выявленных несоответствий. Банку предоставляется время (не более года) на их устранение. На втором этапе осуществляется итоговая валидация внесенных банком изменений в рейтинговые методики и модели.

После выдачи разрешения Банк России на основе предоставляемой банком отчетности проводит контроль соблюдения плана поэтапного перехода на ПВР в отношении классов (сегментов) кредитных требований, кредитный риск по которым банк продолжает рассчитывать согласно упрощенному стандартизированному подходу (УСП). После завершения плана поэтапного перехода (продолжительностью не более трех лет), в соответствии с пунктом 13.1 Указания N 3752-У Банк России проводит оценку выполнения плана.

В случае внесения банком существенных изменений в рейтинговые системы, на применение которых было получено разрешение Банка России, пунктом 14 Указания N 3752-У предусмотрена процедура валидации существенных изменений со стороны Банка России.

4. Не существует единого подхода к проведению валидации.

В связи с разнообразием банковских методик и процессов оценки кредитного риска единого стандарта проведения их валидации не существует. В соответствии с пунктом 6.1 Указания N 3752-У Банк России перед началом валидации составляет индивидуальный план валидации, содержащий перечень планируемых мероприятий. При проведении валидации Банк России учитывает всю доступную информацию о рейтинговых системах включая индивидуальные особенности применяемых банком методик.

5. Валидация осуществляется при помощи как качественных, так и количественных методов.

Валидация рейтинговых систем включает оценку не только технических характеристик разработанных банком моделей оценки риска, но также качественные аспекты, такие как интеграция рейтинговых систем во внутренние процессы банка и др.

В соответствии с данным принципом Банк России проводит валидацию по двум основным направлениям оценки: качественную валидацию, описанную в Разделе 2 настоящего документа, и количественную валидацию, описанную в Разделе 3.

6. Процедуры и результаты проводимой банком внутренней валидации рейтинговых систем банка должны быть предметом независимой оценки.

Процедуры и результаты внутренней валидации должны регулярно оцениваться независимым структурным подразделением банка.

Для оценки соблюдения банком данного принципа Банк России оценивает организационную структуру банка, включая сложившуюся на практике систему административной подчиненности подразделений, осуществляющих разработку рейтинговых моделей, и подразделений (сотрудников), осуществляющих их валидацию.

Оценка рейтинговых процессов (далее - качественная валидация) во многом зависит от особенностей банка и его внутренних процессов. Оценка проводится на основе:

- анализа внутренней документации, полученной от банка при подаче ходатайства на применение ПВР в соответствии с Приложением 2 к Указанию N 3752-У. При необходимости Банк России в процессе валидации может запросить у банка дополнительные документы;

- проведения интервью с сотрудниками банка;

- анализа выборок данных.

Проводится анализ таких аспектов качественной валидации, как выполнение банком теста на использование, интеграции рейтингов в бизнес-процессы банка, корпоративного управления, определения дефолта, порядка признания и учета обеспечения в рамках ПВР, а также подходов к стресс-тестированию.

Процесс проведения качественной валидации рейтинговых систем банка должен быть организован таким образом, чтобы минимизировать количество повторений отдельных шагов анализа в силу того, что банк предоставляет внутренние документы в течение определенного времени. Проверка внутренней документации и информации банка со стороны Банка России производится только после получения полного объема запрашиваемой документации.

Схема процесса проведения качественной валидации представлена в Таблице 1.

Таблица 1. Процесс качественной валидации рейтинговых систем банка

В рамках проверки сегментации кредитных требований осуществляется следующее.

1. Анализ разделения банком кредитных требований на сегменты и их покрытие соответствующими внутренними рейтинговыми моделями или УСП в соответствии с Инструкцией Банка России от 03.12.2012 N 139-И "Об обязательных нормативах банков" (далее - УСП) на основе плана внедрения ПВР на момент подачи ходатайства.

2. Анализ заявленной сегментации кредитных требований на предмет соблюдения требований к частичному использованию УСП на постоянной основе, изложенных в пункте 1.13 Положения N 483-П:

являются ли заявленные кредитные требования несущественными с точки зрения их размера и уровня риска;

являются ли заявленные кредитные требования требованиями к суверенным заемщикам при малом количестве таких заемщиков;

связано ли внедрение ПВР для заявленных классов кредитных требований со значительными издержками для банка.

Одновременно Банк России может провести проверку случайной выборки заемщиков (контрагентов) на предмет корректности их отнесения к различным сегментам кредитных требований. На основе случайной выборки также проводится анализ бизнес-процессов банка для проверки достоверности отнесения кредитных требований к сегментам, по отношению к которым применяется УСП.

3. Анализ заявленной сегментации кредитных требований на соблюдение требований в части использования ПВР. Проводится качественный анализ сегментов кредитных требований, заявленных для применения к ним ПВР, на соответствие требованиям к распределению по основным классам кредитных требований (корпоративные заемщики, суверенные заемщики, розничные заемщики и т.д.). Осуществляется проверка случайной выборки заемщиков (контрагентов) для целей оценки корректности их отнесения к классам кредитных требований. На основе случайной выборки также проводится анализ бизнес-процессов банка для проверки достоверности использования заявленной банком классификации кредитных требований, по отношению к которым применяется ПВР.

4. Анализ полноты учета новых и существующих операций в сегментации кредитных требований.

5. Анализ условий и сроков внедрения ПВР для соответствующих классов кредитных требований. Осуществляется проверка выписок протоколов заседаний Наблюдательного совета, Правления и профильных комитетов банка, а также анализ аналитической отчетности и плана внедрения ПВР в отношении:

доли покрытия ПВР кредитных требований банка;

условий внедрения ПВР, предложенных банком для планируемой доли покрытия кредитных требований;

сроков внедрения ПВР банком, включая планируемые даты внедрения моделей в бизнес-процессы банка и в процесс оценки достаточности капитала банка, в соответствии с пунктом 1.11 Положения N 483-П.

При проведении оценки качества корпоративного управления банка на предмет соответствия требованиям Положения N 483-П проверяется полнота предоставленной банком документации. Перечень документов, которые необходимо предоставить в Банк России при подаче заявки, представлен в Приложении 2 к Указанию N 3752-У. При необходимости Банк России в процессе валидации может запросить дополнительные документы.

В целях проверки соответствия банка требованиям Положения N 483-П проводится:

1. Анализ роли наблюдательного совета (совета директоров) банка.

Данный анализ включает оценку внутреннего документа банка, устанавливающего порядок работы, обязанности, функции и уровень принимаемых решений наблюдательного совета банка. В частности, осуществляется качественная оценка закрепления во внутреннем документе следующих функций наблюдательного совета:

утверждение всех существенных элементов рейтинговых систем в соответствии с пунктом 15.3 Положения N 483-П;

утверждение результатов стресс-тестирования компонентов кредитного риска в соответствии с пунктом 12.5 Положения N 483-П;

обеспечение достаточного уровня подготовки и квалификации сотрудников. Проводится проверка внутренних документов банка, регламентирующих порядок предоставления наблюдательному совету внутренней аналитической отчетности по кредитному риску. Также может проводиться качественная проверка случайной выборки выписок из протоколов заседаний наблюдательного совета на предмет фактического выполнения требований Положения N 483-П.

Анализ степени вовлеченности наблюдательного совета в реализацию ПВР будет осуществляться на основе предоставленных банком документов, регулирующих порядок работы наблюдательного совета (устава, положения о наблюдательном совете (при наличии), положения о комитете по рискам при наблюдательном совете (при наличии), выписок из протоколов заседаний наблюдательного совета и соответствующего комитета (при наличии) за предшествующие три года в части вопросов внедрения и применения ПВР), а также в ходе интервью с должностными лицами банка.

2. Анализ роли правления банка.

На основании оценки внутреннего документа Банка о порядке работы правления Банка, информации, полученной от сотрудников банка, анализа выборки выписок из протоколов заседаний Правления банка, а также описания процессов банка проводится:

качественная оценка функций правления банка, касающихся контроля за соответствием рейтинговых систем и систем управления кредитными рисками, требованиям Положения N 483-П, в том числе:

контроль за предоставлением наблюдательному совету информации о существенных изменениях и исключениях из установленных внутренних процедур, которые могут оказать существенное влияние на результаты функционирования рейтинговых систем, а также мерах, принятых для устранения выявленных недостатков;

проверка внутренних документов банка, регламентирующих порядок предоставления правлению внутренней аналитической отчетности в части кредитного риска.

Анализ степени вовлеченности правления в реализацию ПВР будет осуществляться на основе анализа предоставленных банком документов, регулирующих порядок работы правления (положения о правлении (при наличии), выписок из протоколов заседаний правления за предшествующие три года в части вопросов внедрения и применения ПВР и методологии оценки кредитных рисков), а также в ходе проведения интервью с должностными лицами банка.

3. Анализ распределения функций кредитных комитетов, участвующих в рейтинговом процессе.

Проводится оценка наличия иерархии кредитных комитетов и выполнения ими функций по предоставлению кредитов клиентам банка. Проводится анализ распределения функций между кредитными комитетами, участвующими в рейтинговом процессе, на основе случайной выборки выписок из протоколов заседаний кредитных комитетов, а также внутреннего документа банка, устанавливающего процедуры распределения (делегирования) полномочий между кредитными комитетами по таким вопросам, как рассмотрение и утверждение заявок на реструктуризацию кредитов, рассмотрение и утверждение стратегий по работе с проблемными кредитами и т.д.

Анализ роли специализированных комитетов в реализации ПВР будет осуществляться на основе анализа предоставленных банком документов, регулирующих порядок работы специализированных комитетов (положений о специализированных комитетах, выписок из протоколов заседаний специализированных комитетов за предшествующие три года по вопросам внедрения и применения ПВР и методологии оценки кредитных рисков), а также в ходе проведения интервью с должностными лицами банка.

4. Анализ функций подразделения по управлению кредитными рисками в рамках рейтингового процесса:

- функций управления кредитными рисками в рамках рейтинговых систем. Данная проверка включает анализ внутреннего документа банка, регулирующего деятельность подразделения по управлению кредитными рисками на предмет поддержания качества корпоративного кредитного портфеля на уровне, соответствующем профилю риска банка. В частности, может проводиться качественная оценка закрепления во внутренних документах банка следующих функций риск-менеджмента:

контроль уровня риска по классам кредитных требований;

разработка и анализ отчетов о результатах функционирования рейтинговых систем;

контроль функционирования моделей, используемых в рейтинговых системах;

контроль любых изменений в процессах и критериях присвоения рейтингов, а также в моделях по оценке компонентов кредитного риска и отражение таких изменений и их причин во внутренних документах банка;

контроль критериев отнесения заемщиков (финансовых инструментов) к разрядам рейтинговой шкалы для оценки их прогнозной способности;

анализ точности моделей, используемых в рейтинговых системах банка, и, при необходимости, корректировка и усовершенствование моделей;

проведение стресс-тестирования компонентов кредитного риска в соответствии с требованиями пунктов 12.22 - 12.25 Положения N 483-П;

участие в контроле качества кредитного портфеля корпоративных заемщиков банка;

участие в процессе регулярного пересмотра рейтингов клиентов;

участие в разработке стратегии управления рисками банка;

анализ порядка признания и учета полученного обеспечения;

- функций разработки рейтинговых моделей. Проверяется, регламентированы ли требования к разработке рейтинговых моделей и функции подразделения по разработке рейтинговых моделей;

- функций валидации рейтинговых моделей. Проводится проверка внутреннего документа банка, регламентирующего процесс внутренней валидации рейтинговых систем банка. Проверяется в соответствии с пунктом 15.5 Положения N 483-П, проводится ли внутренняя валидация сотрудниками, независимыми от подразделения, отвечающего за разработку рейтинговых систем и количественную оценку компонентов кредитного риска, и от бизнес-подразделений банка.

При проведении оценки качества процессов валидации будет уделяться внимание:

распределению функций валидации между подразделениями банковской группы и подразделениями банка в случае использования общих для банковской группы внутренних рейтинговых систем;

внутренним процессам валидации в рамках оценки рейтингового процесса;

использованию рейтинговых моделей во внутренних процессах банка;

порядку признания и учета обеспечения и иных инструментов снижения кредитного риска.

5. Анализ кредитных процессов.

Для анализа кредитных процессов в корпоративном и розничном кредитовании проводится:

оценка внутренней документации банка в отношении кредитной политики банка на предмет использования рейтингов и оценок вероятности дефолта в кредитном процессе;

оценка внутренних документов Банка, устанавливающих порядок присвоения рейтингов корпоративным (суверенным, банковским) и розничным заемщикам.

6. Анализ функций внутреннего аудита.

Проводится анализ внутреннего документа банка, регламентирующего деятельность внутреннего аудита, на предмет закрепления в нем следующих функций:

оценки качества процедур внутренней валидации рейтинговых систем, контроля за тем, чтобы внутренняя валидация проводилась в соответствии с установленными процедурами;

подтверждения обоснованности выводов, полученных по итогам проведения внутренней валидации, на основе выборочной проверки глубины, охвата и качества проведенной внутренней валидации;

оценки обоснованности количественных оценок компонентов кредитного риска и процедуры их отражения во внутренней документации;

проверки корректности признания дефолта;

подтверждения проведения внутренней валидации сотрудниками, независимыми от подразделения, отвечающего за разработку рейтинговых систем и количественную оценку компонентов кредитного риска, способными объективно оспорить полученные результаты, а также отсутствия конфликта интересов в процессе внутренней валидации в соответствии с пунктом 15.5 Положения N 483-П;

проверку процессов разработки, внедрения и валидации рейтинговых систем;

проверку использования рейтинговых систем в бизнес-процессах банка.

В соответствии с пунктами 13.3 - 13.7 Положения N 483-П проводится всесторонняя оценка используемого банком определения дефолта, которая может включать:

1) детальную проверку внутренних документов банка, устанавливающих определение дефолта и его применение на предмет соответствия пунктам 13.3 - 13.7 Положения N 483-П;

2) качественную оценку закрепления во внутренней документации банка таких аспектов определения дефолта, как:

наличие неавтоматизированного учета дефолта;

порядок распространения дефолтов на связанные с заемщиком стороны;

наличие критериев выхода заемщика из состояния дефолта;

процедур регулярного независимого контроля за правильностью и своевременностью идентификации событий дефолта;

использование внутренних информационных систем для присвоения статуса дефолта и внутренних баз данных для хранения информации о дефолтах клиентов банка;

наличие коллегиального органа управления банка, принимающего решения об отнесении заемщика к категории "дефолт";

описание и использование системы сигналов раннего предупреждения дефолтов.

3) проверку случайной выборки наблюдений на предмет соответствия процесса признания дефолта внутренней документации банка.

4) проверку случайной выборки ссуд в течение периода предшествующих пяти лет на предмет соответствия критериев признания дефолта требованиям пунктов 13.3 - 13.7 Положения N 483-П.

В рамках всесторонней оценки использования моделей оценки компонентов кредитного риска может проводиться проверка:

1) расчета, утверждения и обновления кредитных рейтингов заемщиков;

2) расчета, утверждения и обновления оценок уровня потерь при дефолте заемщиков (LGD);

3) расчета, утверждения и обновления оценок величины кредитного требования, подверженной риску дефолта (EAD);

4) использования оценок компонентов кредитного риска в процессе принятия решений;

5) использования оценок компонентов кредитного риска в ценообразовании;

6) использования оценок компонентов кредитного риска в системе кредитных лимитов;

7) использования оценок компонентов кредитного риска в процессе мониторинга качества кредитного портфеля;

8) использования оценок компонентов кредитного риска в целях управления эффективностью деятельности банка.

Для проверки использования оценок компонентов кредитного риска в рамках планирования экономического капитала может проводиться оценка:

1) процессов, процедур и методологических аспектов использования оценок компонентов кредитного риска;

2) показателей эффективности внутренних процессов банка по управлению кредитным риском;

3) процесса стратегического планирования, распределения и управления капиталом на покрытие кредитного риска.

Для проверки использования оценок компонентов кредитного риска в процессе стратегического планирования капитала и его распределения может проводиться оценка:

1) закрепления во внутренней документации банка следующих функций:

проведение внутрибанковской оценки использования компонентов кредитного риска в процессе стратегического планирования (PD, LGD и EAD; ожидаемые потери; неожиданные потери);

влияния изменения величин компонентов кредитного риска на процесс стратегического планирования.

2) случайной выборки процессов управления капиталом банка, в которых используются оценки компонентов кредитного риска на соответствие внутренним документам банка.

Для проверки интеграции рейтинговых систем в управленческую отчетность может проводиться оценка:

1) наличия внутренних рейтингов в управленческой отчетности;

2) сформированной случайной выборки (выписок из протоколов встреч Правления и/или Наблюдательного совета банка), на предмет обсуждения и использования результатов работы рейтинговой системы в управленческой отчетности банка.

Данная оценка может включать следующие виды обеспечения:

фондированное обеспечения;

нефондированное обеспечение.

Осуществляется проверка внутренней документации банка, устанавливающей порядок работы с различными видами обеспечения в рамках БПВР, которая может включать следующие действия:

1) качественную проверку внутренней документации банка на соответствие признаваемого в рамках ПВР обеспечения в части регламентации процесса работы с обеспечением, оценки качества обеспечения, оценки соответствия обеспечения требованиям, установленным главами 16 - 17 Положения N 483-П, процесса учета обеспечения в рамках расчета взвешенных по риску активов;

2) проверку сформированной случайной выборки на предмет соответствия внутренних процессов банка внутренней документации.

3) проверку сформированной случайной выборки ссуд на предмет соответствия учитываемого обеспечения требованиям глав 16 - 17 Положения N 483-П к оценке и признанию обеспечения.

В соответствии с требованиями Положения N 483-П проводится оценка стресс-тестирования компонентов кредитного риска (PD, LGD и EAD) на основе внутренней документации банка, а также случайной выборки выписок заседаний наблюдательного совета банка, отражающих обсуждение результатов стресс-тестирования.

Основными целями проверки процедур стресс-тестирования банка являются:

оценка роли руководства банка и наблюдательного совета в определении процесса стресс-тестирования кредитного риска в рамках ПВР;

анализ влияния результатов стресс-тестирования на нормативы достаточности капитала и отражения их во внутренней аналитической отчетности банка;

анализ разработанных банком сценариев стресс-тестирования.

В рамках оценки процедур стресс-тестирования банка может проводиться:

1) проверка внутренней документации банка, содержащей описание методик и процедур инициативного стресс-тестирования компонентов кредитного риска, периодичности проведения и предоставления отчетности по результатам стресс-тестирования компонентов кредитного риска для, в том числе и оценку влияния реализации сценариев на нормативы достаточности капитала банка;

2) качественная проверка внутренней документации банка на предмет вовлеченности наблюдательного совета банка в разработку процедур стресс-тестирования;

3) проверка сформированной случайной выборки на предмет выполнения внутренних процедур стресс-тестирования, предоставления отчетности наблюдательному совету банка с периодичностью, установленной во внутренних документах банка, а также результаты обсуждения и учета данной информации наблюдательным советом банка.

Проводится проверка используемых банком сценариев в рамках стресс-тестирования компонентов кредитного риска в целях оценки:

выявления событий или будущих изменений экономических условий, которые могут иметь неблагоприятные последствия для банка;

учета информации об имевших место событиях кризисного характера;

учета миграции кредитных рейтингов по разрядам рейтинговой шкалы в зависимости от предположений об ухудшении кредитных условий.

На основе предоставленной внутренней документации может проводиться анализ эффективности комплекса мер, разработанных банком для минимизации потерь в случае реализации сценариев в рамках стресс-тестирования компонентов кредитного риска.

Валидация моделей количественной оценки компонентов кредитного риска банка (далее - количественная валидация) осуществляется с учетом особенностей банковских методик построения моделей, объема и качества выборок, а также особенности сегментации кредитных требований.

Схема процесса проведения количественной валидации представлена в Таблице 2.

Таблица 2. Процесс количественной валидации

Проведение количественной оценки моделей проводится по следующим направлениям:

1. Анализ методологии, положенной в основу модели. Осуществляется оценка соответствия теоретических оснований модели требованиям Положения N 483-П. При проведении количественных тестов Банк России руководствуется рекомендациями и перечнем тестов, приведенных Базельским комитетом по банковскому надзору в документе "Working Paper N 14. Studies on the Validation of Internal Rating Systems" (May 2005). В рамках этого анализа оценивается, насколько используемый банком подход к разработке модели может привести к искажению оценки кредитного риска заемщика, в том числе к недооценке параметров риска, а также удостоверяется, что при оценке параметров кредитного риска банк использует всю существенную информацию. По результатам первичного анализа предоставленной документации Банк России может при необходимости запросить дополнительную документацию, позволяющую провести количественную валидацию модели в полном объеме (например, программные коды, реализующие модель, документацию с указанием всех изменений, внесенных в модель).

2. Оценка качества модели, в рамках которой оцениваются, насколько применяемый банком процесс оценки компонентов кредитного риска, например, присвоение рейтинга, может привести к искажению оценки кредитного риска заемщика, в частности, соответствие сегмента заемщика выбранной модели; репрезентативность данных, используемых для оценки кредитного риска заемщика и (или) финансового инструмента, а также анализ документации к модели.

3. Тестирование модели, в рамках которого проводятся различные количественные тесты, включая сопоставительный анализ результатов модели и аналогичных показателей из других источников (benchmarking).

4. Оценка результатов внутренней валидации модели, в рамках которой оценивается процесс внутренней валидации модели, периметр и методы которой регламентированы в рамках внутренних документов; полнота используемых количественных тестов, корректность интерпретации и использования результатов этих тестов; покрытие применяемыми методами внутренней валидации всех существенных аспектов данной модели.

3.1.1. Анализ методологии модели PD

Для проведения анализа методологии, положенной в основу модели оценки PD, осуществляются следующие действия:

1. Проверка соответствия выбранного подхода к разработке модели особенностям портфеля.

Проводится анализ портфеля с точки зрения достаточности данных (по количеству наблюдений и дефолтов) для разработки статистической модели.

В случае если рассматриваемый портфель является портфелем с низкой частотой дефолтов, проводится оценка корректности выбранных банком альтернативных способов оценки PD (например, подхода на основе "теневых рейтингов", экспертных методов оценки).

2. Проверка соответствия выбора оцениваемой переменной логике выбранного подхода к построению модели.

Проводится оценка соответствия данных, используемых банком, для построения модели, в том числе внешних данных, используемому определению дефолта, а также требованиям Банка России к определению дефолта в соответствии с пунктами 13.3 - 13.4 Положения N 483-П.

3. Оценка соответствия рейтинговой шкалы требованиям Положения N 483-П.

Оценивается, насколько количество разрядов рейтинговой шкалы банка соответствует требованиям Банка России, установленным в пунктах 12.4 - 12.5 Положения N 483-П, концентрацию заемщиков в определенном разряде рейтинговой шкалы, документация банка к методике построения рейтинговой шкалы.

4. Оценка выборки из целевого портфеля для построения модели.

Проводится анализ критериев формирования выборки для разработки модели, который включает проверку:

репрезентативности выборки для целевого портфеля, в том числе достаточности количества кредитных требований и глубины выборки (в том числе включения в выборку данных, относящихся к периодам экономического спада), используемой для количественной оценки, в целях получения точных и надежных оценок;

анализ учета изменений в практике кредитования или в процессе получения возмещения по кредитным требованиям за период наблюдения;

соответствия экономических условий, лежащих в основе используемой статистической информации, текущим и прогнозируемым условиям.

5. Оценка проведенного банком анализа исходных данных (например, установлена ли максимально допустимая доля пропущенных значений, порядок обработки пропущенных значений в выборках и т.п.)

6. Оценка наличия у банка достаточного обоснования при выборе объясняющих факторов модели (наличие экономического обоснования при выборе факторов модели, оценка дискриминационной способности и статистической значимости факторов модели, проверка на мультиколлинеарность факторов модели и др.)

7. Оценка обоснованности выбранного банком метода калибровки модели.

8. Анализ допущений, сделанных разработчиками модели.

3.1.2. Оценка качества модели PD

Проводится анализ следующих основных аспектов моделей оценки PD:

1. Наличие взаимно-однозначного соответствия между классом (сегментом) кредитных требований и используемой рейтинговой моделью.

Проверяется наличие однозначно интерпретируемого определения класса/сегмента кредитных требований, правил выбора рейтинговой модели для оценки заемщика.

2. Процесс присвоения рейтинга заемщику.

Оцениваются различные аспекты использования рейтинговой модели в рамках рейтингового процесса, например, выбор типа финансовой отчетности для оценки финансового состояния заемщика, присвоение кредитного рейтинга заемщику (каждому заемщику, к которому банк имеет кредитное требование, присваивается отдельный кредитный рейтинг), процесс пересмотра рейтингов.

3. Оценка внутренней документации к модели.

Детально оценивается содержание внутренней документации к модели, согласованность различных документов, описывающих разработку, применение и валидацию модели.

4. Анализ использования модели.

Оценивается соответствие банка требованиям пункта 1.12 Положения N 483-П, который заключается в том, что на дату направления ходатайства о получении разрешения на применение ПВР банк должен использовать ПВР в бизнес-процессах банка не менее двух лет.

3.1.3. Тестирование модели оценки вероятности дефолта

При проведении количественной валидации моделей PD оцениваются следующие характеристики:

1. Дискриминационная способность модели.

Проверяется, насколько хорошо модель ранжирует заемщиков по уровню кредитоспособности и различает заемщиков, находящихся в состоянии дефолта, и не находящихся в этом состоянии. Для проведения такой оценки может использоваться:

коэффициент Джини (Gini) с учетом размера стандартной ошибки (standard error);

коэффициент точности (AR).

Кроме того, проводится проверка на мультиколлинеарность факторов модели (например, на основе корреляционной матрицы, фактора инфляции дисперсии (variance inflation factor, VIF).

2. Точность модели.

Оценка точности модели проводится с учетом выбранного банком подхода к калибровке. Для оценки точности модели могут проводиться следующие статистические тесты:

тест определения опорной точки (anchor-point);

биномиальный тест.

3. Стабильность целевого портфеля.

Для оценки стабильности модели может использоваться индекс стабильности популяции (population stability index, PSI);

4. Концентрация заемщиков в разрядах рейтинговой шкалы.

Для анализа концентрации заемщиков может использоваться индекс Херфиндаля-Хиршмана (Herfindahl-Hirschman index).

5. Анализ экспертных корректировок.

Проводится анализ количества экспертных корректировок, включающий выявление причин их применения и анализ уровня этих корректировок.

Банк применяет следующие подходы к оценке моделей кредитоспособности заемщиков в рамках операций специализированного кредитования. В случае если банк отвечает требованиям к самостоятельному определению вероятности дефолта по кредитным требованиям специализированного кредитования в соответствии с разделом IV Положения N 483-П, банк должен проводить валидацию моделей оценки PD в общем порядке.

Если банк не отвечает требованиям к самостоятельному определению вероятности дефолта по кредитным требованиям специализированного кредитования в соответствии с разделом IV Положения N 483-П банк осуществляет оценку кредитоспособности заемщика в соответствии с внутренними документами, руководствуясь критериями для специализированного кредитования, приведенными в приложении 2 к Положению N 483-П.

3.3.1. Анализ методологии модели

Анализ методологии, положенной в основу модели LGD, производится на основании внутренней документации банка и включает следующие шаги.

1. Проверка соответствия выбранного подхода к разработке модели LGD проводится с учетом особенностей видов финансовых инструментов (например, кредиты на покупку автотранспортных средств), которые влияют на возвратность долга, например, соотношение выдаваемой ссуды к стоимости принимаемого залога, соотношения долговой нагрузки заемщика к его доходам, графиков погашения долга, дисконтов к стоимости обеспечения и др.

Проводится анализ целевого портфеля с точки зрения достаточности данных (по количеству наблюдений и дефолтов) для разработки статистической модели.

2. Анализ факторов модели.

Проверяется, учтена ли вся необходимая информация для оценки величины LGD (информация по выплатам клиента, прямым и косвенным затратам банка, другая информация), в том числе:

учет сделок, процесс взыскания по которым не завершен;

выбор ставок дисконтирования;

учет косвенных и прямых расходов на взыскание задолженности;

учет штрафов и пеней.

3. Построение рейтинговой шкалы финансовых инструментов.

При оценке рейтинговой шкалы проверяются:

критерии, на основе которых определяется уровень риска по разрядам рейтинговой шкалы;

концентрация кредитных требований по разрядам рейтинговой шкалы;

внутренняя документация по применению рейтинговой системы.

4. Оценка соответствия выборки целевому портфелю.

Проводится анализ критериев формирования выборки для разработки модели, который включает:

проверку репрезентативности выборки для целевого портфеля;

достаточность количества кредитных требований в выборке и глубины выборки (в том числе включения в выборку данных, относящихся к периодам экономического спада);

учет изменений в практике кредитования или в процессе получения возмещения по кредитному требованию за период наблюдения;

соответствия экономических условий, лежащих в основе используемой статистической информации, текущим и прогнозируемым условиям.

5. Проверяется, был ли проведен банком анализ качества исходных данных (например, установлена ли максимально допустимая доля пропущенных значений, порядок обработки пропущенных значений в выборках, и т.д.).

6. Оценивается наличие достаточного обоснования у банка в выборе объясняющих факторов модели (провели ли сотрудники банка оценку статистической значимости факторов модели, дискриминационную способность факторов, наличие мультиколлинеарности факторов модели, наличие экономического обоснования при выборе факторов модели и др.).

7. Оценивается обоснованность выбранного банком метода калибровки модели.

8. Анализ допущений, сделанных разработчиками модели.

3.3.2. Оценка качества модели LGD

Проводится анализ следующих основных аспектов моделей оценки LGD.

1. Наличие взаимно-однозначного соответствия между классом кредитных требований и используемых финансовых инструментов и моделью оценки LGD.

Проверяется наличие однозначно интерпретируемого определения применяемого финансового инструмента, правил выбора модели для оценки LGD при использовании данного инструмента.

2. Оценка внутренней документации модели.

Детально оценивается содержание документации банка, описывающие допущения и методы разработки, тестирования и валидации модели LGD.

3. Анализ использования модели.

Оценивается соответствие банка требованиям пункта 1.12 Положения N 483-П, который заключается в том, что на дату направления ходатайства о получении разрешения на применение ПВР банк должен использовать данную модель LGD в процессах кредитования и управления кредитным риском не менее двух лет.

3.3.3. Тестирование модели LGD

При проведении количественной оценки модели LGD оцениваются следующие характеристики.

1. Дискриминационная способность модели.

Дискриминационная способность модели показывает, насколько хорошо модель ранжирует прогнозные значения LGD относительно фактических. Для оценки дискриминационной способности модели могут использоваться:

тест кумулятивной точности LGD (cumulative LGD accuracy ratio, CLAR), а также его графическая интерпретация - кривая, которая дает возможность визуально оценить уровень ранжирования в зависимости от величины LGD;

кривая доли наблюдаемых убытков по накопленному проценту предсказанных значений (power curve/power stat);

коэффициенты корреляции Пирсона или ранговой корреляции Спирмена между прогнозными и фактическими значениями LGD;

коэффициент измерения ранговой сопряженности между переменными (коэффициент Сомера) (Somer's D).

2. Точность модели

Оценка точности модели проводится с учетом выбранного подхода к калибровке. Кроме того, необходимо учитывать, что в моделях LGD часто используются аддитивные надбавки для отражения влияния на величину LGD потерь банка, вызванных мошенническими действиями, косвенных расходов и др. Для оценки точности модели могут использоваться следующие статистические инструменты:

показатель стандартного абсолютного отклонения (взвешенное по величине EAD) (loss shortfall);

t-тест на сравнение прогнозного и фактического значений LGD;

среднеквадратическая ошибка/медиана квадрата ошибки.

3. Стабильность целевого портфеля

Для оценки стабильности модели могут использоваться следующие показатели:

индекс стабильности популяции (population stability index, PSI);

тест Колмогорова-Смирнова;

тест хи-квадрат.

4. Анализ концентрации ссуд по объясняющим факторам модели LGD, например, по уровням долговой нагрузки заемщиков, видам обеспечения, способам взыскания долга может использоваться индекс Херфиндаля-Хиршмана.

5. Анализ экспертных корректировок

Проводится анализ количества экспертных корректировок, включающий выявление причин их применения и анализ уровня этих корректировок.

По результатам первичного анализа предоставленной документации Банк России может при необходимости запросить дополнительную документацию, позволяющую провести валидацию данной модели EAD (например, по плавающим процентным ставкам, статистики использования кредитных линий, применения дополнительных условий договоров (covenants)).

3.4.1. Анализ методологии модели

1. Оценка соответствия выборки целевому портфелю и условиям используемого финансового инструмента.

Проводится анализ критериев формирования выборки для разработки модели, который включает:

проверку репрезентативности выборки для целевого портфеля, учитывающую все факторы, влияющие на оценку возможной величины кредитного требования в случае наступления дефолта;

достаточность количества кредитных требований в выборке и глубины выборки, для получения точных и надежных оценок (в том числе включения в выборку периодов экономического спада или иных периодов изменчивости факторов, влияющих на величину кредитного требования в случае наступления дефолта), используемого для количественной оценки величины кредитного требования;

проверку учета изменений в практике кредитования или применения условий, влияющих на изменение величины кредитного требования (например, использования кредитных линий или переменных процентных ставок) по кредитному требованию за период наблюдения;

соответствия экономических или рыночных условий, лежащих в основе используемой статистической информации для целей разработки модели EAD, текущим и прогнозируемым условиям.

2. Оценка наличия достаточного обоснования у банка в выборе объясняющих факторов модели EAD (проведена ли оценка статистической значимости факторов в модели EAD, оценка на мультиколлинеарность факторов модели, наличие экономического обоснования при выборе факторов модели и др.)

3. Анализ допущений, сделанных разработчиками модели.

Для каждого этапа разработки модели осуществляется критическая оценка допущений, сделанных разработчиками модели, с точки зрения их влияния на итоговую оценку EAD.

3.4.2. Оценка качества модели

Проводится анализ следующих основных аспектов модели оценки EAD.

1. Оценка внутренней документации модели.

Оценивается содержание документации банка, описывающие используемые факторы и допущения модели оценки EAD, в том числе описывающие разработку, применение и валидацию модели.

2. Анализ использования модели.

Оценивается соответствие банка требованиям пункта 1.12 Положения N 483-П, который заключается в том, что на дату направления ходатайства о получении разрешения на применение данной модели банк должен использовать модель оценки EAD в бизнес-процессах не менее двух лет.

3.4.3. Тестирование модели EAD

В рамках количественного анализа оцениваются следующие характеристики:

1. Дискриминационная способность.

Дискриминационная способность моделей EAD может быть оценена с помощью:

коэффициента точности (AR);

коэффициентов корреляции Пирсона и ранговой корреляции Спирмена.

2. Точность модели.

Оценка точности модели проводится с учетом типа оцениваемого продукта. Для оценки точности модели EAD может использоваться t-тест в отношении коэффициентов конверсии в кредитный эквивалент.

3. Стабильность в отношении целевого портфеля.

В рамках проведения количественного анализа стабильности могут использоваться следующие показатели:

индекс стабильности популяции (population stability index, PSI);

тест Колмогорова-Смирнова;

тест хи-квадрат.

4. Экспертные корректировки

Проверяется степень учета в модели EAD всех значимых факторов, определяющих изменение величины кредитного требования, проводится анализ количества экспертных корректировок, включающий выявление причин их применения и анализ уровня этих корректировок.

Для всех перечисленных выше моделей проводится оценка результатов внутренней валидации, проведенной банком в соответствии с пунктом 14.2 Положения N 483-П.