Независимая валидация

АКРА РМ предлагает услуги по оценке качества, точности и иных характеристик имеющихся моделей количественной оценки риска (количественная валидация), а также по оценке эффективности их функционирования и интеграции в процессы и деятельность заказчика (качественная валидация).

Необходимость в независимой валидации определяется следующими основными факторами:

  • Актуальность. Своевременная валидация позволяет использовать максимально точные оценки и избежать искажений в процессе принятия решений, при оценке рисков, расчете и планировании доходности, управлении капиталом.
  • Объективность. Проведение валидации независимой стороной позволяет осуществить максимально объективную оценку рейтинговых моделей и систем, сформировать полноценное понимание необходимых доработок и избежать конфликта интересов.
  • Доступ к лучшим практикам. Валидация моделей внешней независимой стороной помогает обогатить имеющиеся практики и получить доступ к опыту команд, имеющих обширный практический опыт в моделировании.
  • Регуляторные требования и аудит. Валидация, проводимая незаинтересованной третьей стороной, в полной мере соответствует требованиям независимости и упрощает обоснование моделей как перед регулятором, так и перед аудиторами.
  • Пути улучшения. Рекомендации, полученные в рамках валидации, позволяют улучшить качество модели, оптимизировать процесс функционирования рейтинговой системы и повысить степень ее интегрированности в бизнес-процессы организации.

АКРА РМ обладает компетенциями по количественной и качественной валидации любых видов моделей и риск-подходов:

  • кредитного риска: PD, LGD, EAD (ККБ, МСП, банки, субъекты и МО и пр.);
  • рыночного риска и риска ликвидности: VaR, EaR, Liquidity/Interest Rate GAP, Interest Sensitive Income, Economic Value of Equity, системы FTP Казначейства;
  • оценки справедливой стоимости финансовых инструментов (ценные бумаги, ПФИ);
  • стресс-тестирования и МСФО 9: регрессионные макромодели, life-time, мэппинги к внешним рейтингам и т. д.

Данные для валидации

Выборка охватывает более чем десятилетний период и включает свыше 3,5 миллионов компаний, в том числе более 150 тысяч дефолтных. Статистическая основа базируется как на данных из открытых источников, так и на внутренних данных АКРА РМ. Актуализация базы осуществляется на ежемесячной основе. Полученные «сырые» данные подвергаются машинной верификации и обработке, в процессе которой используются стандартные алгоритмы (например, анализ сходимости и экономической непротиворечивости статей бухгалтерской отчетности) и методы, основанные на методах машинного обучения (например, методы семантического анализа). Использование указанных методов анализа и верификации позволяет устанавливать реальные флаги дефолта, включая просроченную задолженность 90+, реструктуризацию долга, начало процедуры банкротства и т. д.

Количественная валидация представляет собой проверку качества, точности, устойчивости и иных технических характеристик модели. Проводимый перечень тестов в рамках количественной валидации соответствует регуляторным требованиям в части ПВР и международным практикам. В рамках количественной валидации проводятся следующие исследования:

Предсказательная сила модели

CAP-кривые и показатель Gini — универсальные инструменты оценки предсказательной силы как отдельных показателей и блоков, так и модели в целом.

Тест Колмогорова — Смирнова — проверка гипотезы однородности законов распределения дефолтных и недефолтных наблюдений.

Бенчмаркинг — подтверждение корректности ранжирования наблюдений между тестируемой и внешней моделями, заслуживающей доверия.

Статистическая основа

Оценка репрезентативности — проверка соответствия статистических характеристик выборки и генеральной совокупности на основе индекса стабильности популяции (PSI).

Историческая глубина — оценка достаточности временного периода данных, используемых для разработки модели.

Верификация данных — перекрестные проверки на интуитивность, непротиворечивость статистических данных, а также на соответствие фокусному сегменту модели.

Точность калибровки модели

Оценка параметров калибровки — проверка корректности исторического уровня дефолтов и расчета коэффициентов калибровочных функций.

Биномиальный тест — проверка соответствия рассчитанного значения вероятности дефолта и фактического уровня дефолтов для каждого разряда рейтинговой шкалы

Тест Хи-квадрат (Хосмер — Лемешев) — проверка корректности вероятностей дефолтов, присвоенных моделью.

Факторы модели

Корректность трансформации факторов — анализ способов обработки экстремальных и пропущенных значений, методов перехода к количественным значениям и т. д.

Оценка интуитивности — предполагает проверку соответствия ожидаемой зависимости значения показателя от вероятности дефолта.

Анализ корреляций — позволяет предотвратить совместное воздействие сопоставимых факторов на общий результат и повысить устойчивость работы модели.

Устойчивость функционирования модели

Тест стабильности — оценка устойчивости весов факторов модели и ее предсказательной способности на основе случайных выборок, сформированных методом бутстрепа.

Стабильность оценок — составление и анализ адекватности матриц миграции рейтинговых оценок.

Прочая диагностика

Тест концентрации — анализ дифференцирующей способности шкалы с применением индекса Херфиндаля — Хиршмана.

Статистическая значимость — рассчитанная мера уверенности в том, что полученная в регрессии зависимость не является случайной.

Прочие тесты — оценка влияния на качество модели групповой логики, предупреждающих сигналов, экспертных корректировок и т. д.

Качественная валидация представляет собой оценку процедур разработки моделей, эффективности их функционирования и интеграции в деятельность заказчика. В рамках качественной валидации проводятся следующие исследования:

Методология модели

Документация по разработке модели — оценка наличия официально утвержденных документов, описывающих математические и эмпирические основы и допущения, используемые при разработке моделей, с уровнем детализации, позволяющим беспрепятственно воспроизвести необходимые процедуры.

Документация по применению модели — оценка наличия официально утвержденных документов, описывающих с необходимым уровнем детализации процесс присвоения и пересмотра рейтингов, сроки их действия, процедуры контроля, механизмы предотвращения манипуляций и т. д.

Техническая документация — оценка наличия официально утвержденных документов, включающих в себя расчетное обоснование всех проведенных этапов разработки модели, описание всех версий рейтинговой модели, а также внесенных в нее изменений.

Процедуры разработки и сопровождения модели

Статистическая основа — оценка качества, репрезентативности и достоверности использованной для разработки модели статистической информации, соответствия ее глубины нормативным требованиям (в том числе в части охвата как минимум одного полного экономического цикла, включающего фазы подъема и спада) и т. д.

Конфликт интересов — проведение экспертизы организационной структуры и положений о подразделениях — участниках процедур разработки, валидации и аудита рейтинговых систем с целью подтверждения их организационной и (или) функциональной независимости для случаев, предусмотренных регуляторными требованиями.

Поддержка пользователей — оценка полноты и качества обучения пользователей использованию модели, а также процедурам обращения пользователей к разработчикам модели и порядок их обработки.

Архитектура и компоненты модели

Фокусная сегментация — оценка наличия документально закрепленных критериев сегментации и их однозначной трактовки (интерпретации), подходов объединения клиентов в группы компаний, а также условий неприменимости модели и т. д.

Рейтинговая шкала — оценка технических параметров шкалы по количеству рейтинговых разрядов, минимальным и максимальным вероятностям дефолта, а также способности рейтинговой шкалы осуществлять ранжирование клиентов по уровню риска.

Определение дефолта — оценка наличия документально закрепленного определения и критериев дефолта, соответствия критериев дефолта нормативным требованиям, анализ систем сбора сведений по фактам дефолтов, их времени и обстоятельствам, а также оценка наличия коллегиального органа, ответственного за признание/прекращение признания дефолта.

Факторы модели —  оценка процедур отбора факторов в модель, оценка использования статистических подходов анализа факторов и их соответствия общепринятым практикам, а также общий вывод о статистическом качестве факторов, вошедших в рейтинговую модель.

Прочая диагностика

Дополнительные модули — оценка возможности учета влияния группы компаний и государства, оценка возможности присвоения внутреннего кредитного рейтинга каждому участнику группы компаний, оценка модуля экспертных корректировок и предупреждающих факторов и т. д.

Ручные корректировки — оценка примененных экспертных корректировок, оказывающих влияние на кредитный рейтинг, оценка наличия документально закрепленного порядка, случаев и возможных причин применения корректировок и наличия лиц, ответственных за их утверждение.

Интеграция в процессы — оценка применения модели в процессе принятия решений по кредитным сделкам, а также в ценообразовании, установлении лимитов, мониторинге, расчете резервов
и достаточности капитала, формировании управленческой отчетности, определении премиальных выплат и управлении эффективностью организации.

Прочие оценки — вывод о наличии поправок, повышающих уровень модели, анализ технической реализации и автоматизации модели, оценка приемочного тестирования/опытной эксплуатации, оценка процедур утверждения и ввода в действие модели и т. д.

Итогом независимой валидации является отчет о проведенной комплексной проверке качества рейтинговой системы, имеющий блочную структуру.

Количественная валидация. Выводы о параметрах качества модели, устойчивости ее функционирования и статистической основе.

Качественная валидация. Выводы об архитектуре модели, качестве ее методологии, процедурах разработки, валидации и сопровождения.

Регуляторные требования. Выводы о степени соответствия модели требованиям регулятора и возможности ее использования в целях резервирования РСБУ и МСФО 9, ВПОДК и ПВР.

Рекомендации. Перечень выявленных несоответствий, выводы о степени критичности несоответствий с указанием оптимальных сроков их устранения.

Общие выводы. Комплексный вывод о возможности использования модели в процедурах оценки риска.

Выгоды от реализации проекта:

  • соблюдение регуляторного требования о независимости валидации;
  • уверенность в точности метрик риска и качестве моделей при принятии решений;
  • соответствие моделей ПВР, ВПОДК, МСФО 9 международным практикам;
  • простота ресурсного планирования для дальнейшей доработки моделей;
  • имиджевые выгоды перед аудиторами и рейтинговыми агентствами;
  • повышение уверенности бизнес-подразделений банков в эффективности распределения Казначейством ресурсов внутри банков;
  • предсказуемость и обоснованность финансового результата по торговой книге.


Контакты

Мухин Алексей

Генеральный директор АКРА РМ
+7 (495) 287 70 55, доб. 101