Независимая валидация
АКРА РМ предлагает услуги по оценке качества, точности и иных характеристик имеющихся моделей количественной оценки риска (количественная валидация), а также по оценке эффективности их функционирования и интеграции в процессы и деятельность заказчика (качественная валидация).
Необходимость в независимой валидации определяется следующими основными факторами:
- Актуальность. Своевременная валидация позволяет использовать максимально точные оценки и избежать искажений в процессе принятия решений, при оценке рисков, расчете и планировании доходности, управлении капиталом.
- Объективность. Проведение валидации независимой стороной позволяет осуществить максимально объективную оценку рейтинговых моделей и систем, сформировать полноценное понимание необходимых доработок и избежать конфликта интересов.
- Доступ к лучшим практикам. Валидация моделей внешней независимой стороной помогает обогатить имеющиеся практики и получить доступ к опыту команд, имеющих обширный практический опыт в моделировании.
- Регуляторные требования и аудит. Валидация, проводимая незаинтересованной третьей стороной, в полной мере соответствует требованиям независимости и упрощает обоснование моделей как перед регулятором, так и перед аудиторами.
- Пути улучшения. Рекомендации, полученные в рамках валидации, позволяют улучшить качество модели, оптимизировать процесс функционирования рейтинговой системы и повысить степень ее интегрированности в бизнес-процессы организации.
АКРА РМ обладает компетенциями по количественной и качественной валидации любых видов моделей и риск-подходов:
- кредитного риска: PD, LGD, EAD (ККБ, МСП, банки, субъекты и МО и пр.);
- рыночного риска и риска ликвидности: VaR, EaR, Liquidity/Interest Rate GAP, Interest Sensitive Income, Economic Value of Equity, системы FTP Казначейства;
- оценки справедливой стоимости финансовых инструментов (ценные бумаги, ПФИ);
- стресс-тестирования и МСФО 9: регрессионные макромодели, life-time, мэппинги к внешним рейтингам и т. д.
Данные для валидации
Выборка охватывает более чем десятилетний период и включает свыше 3,5 миллионов компаний, в том числе более 150 тысяч дефолтных. Статистическая основа базируется как на данных из открытых источников, так и на внутренних данных АКРА РМ. Актуализация базы осуществляется на ежемесячной основе. Полученные «сырые» данные подвергаются машинной верификации и обработке, в процессе которой используются стандартные алгоритмы (например, анализ сходимости и экономической непротиворечивости статей бухгалтерской отчетности) и методы, основанные на методах машинного обучения (например, методы семантического анализа). Использование указанных методов анализа и верификации позволяет устанавливать реальные флаги дефолта, включая просроченную задолженность 90+, реструктуризацию долга, начало процедуры банкротства и т. д.
Количественная валидация представляет собой проверку качества, точности, устойчивости и иных технических характеристик модели. Проводимый перечень тестов в рамках количественной валидации соответствует регуляторным требованиям в части ПВР и международным практикам. В рамках количественной валидации проводятся следующие исследования:
Предсказательная сила модели
CAP-кривые и показатель Gini — универсальные инструменты оценки предсказательной силы как отдельных показателей и блоков, так и модели в целом.
Тест Колмогорова — Смирнова — проверка гипотезы однородности законов распределения дефолтных и недефолтных наблюдений.
Бенчмаркинг — подтверждение корректности ранжирования наблюдений между тестируемой и внешней моделями, заслуживающей доверия.
Статистическая основа
Оценка репрезентативности — проверка соответствия статистических характеристик выборки и генеральной совокупности на основе индекса стабильности популяции (PSI).
Историческая глубина — оценка достаточности временного периода данных, используемых для разработки модели.
Верификация данных — перекрестные проверки на интуитивность, непротиворечивость статистических данных, а также на соответствие фокусному сегменту модели.
Точность калибровки модели
Оценка параметров калибровки — проверка корректности исторического уровня дефолтов и расчета коэффициентов калибровочных функций.
Биномиальный тест — проверка соответствия рассчитанного значения вероятности дефолта и фактического уровня дефолтов для каждого разряда рейтинговой шкалы
Тест Хи-квадрат (Хосмер — Лемешев) — проверка корректности вероятностей дефолтов, присвоенных моделью.
Факторы модели
Корректность трансформации факторов — анализ способов обработки экстремальных и пропущенных значений, методов перехода к количественным значениям и т. д.
Оценка интуитивности — предполагает проверку соответствия ожидаемой зависимости значения показателя от вероятности дефолта.
Анализ корреляций — позволяет предотвратить совместное воздействие сопоставимых факторов на общий результат и повысить устойчивость работы модели.
Устойчивость функционирования модели
Тест стабильности — оценка устойчивости весов факторов модели и ее предсказательной способности на основе случайных выборок, сформированных методом бутстрепа.
Стабильность оценок — составление и анализ адекватности матриц миграции рейтинговых оценок.
Прочая диагностика
Тест концентрации — анализ дифференцирующей способности шкалы с применением индекса Херфиндаля — Хиршмана.
Статистическая значимость — рассчитанная мера уверенности в том, что полученная в регрессии зависимость не является случайной.
Прочие тесты — оценка влияния на качество модели групповой логики, предупреждающих сигналов, экспертных корректировок и т. д.
Качественная валидация представляет собой оценку процедур разработки моделей, эффективности их функционирования и интеграции в деятельность заказчика. В рамках качественной валидации проводятся следующие исследования:
Методология модели
Документация по разработке модели — оценка наличия официально утвержденных документов, описывающих математические и эмпирические основы и допущения, используемые при разработке моделей, с уровнем детализации, позволяющим беспрепятственно воспроизвести необходимые процедуры.
Документация по применению модели — оценка наличия официально утвержденных документов, описывающих с необходимым уровнем детализации процесс присвоения и пересмотра рейтингов, сроки их действия, процедуры контроля, механизмы предотвращения манипуляций и т. д.
Техническая документация — оценка наличия официально утвержденных документов, включающих в себя расчетное обоснование всех проведенных этапов разработки модели, описание всех версий рейтинговой модели, а также внесенных в нее изменений.
Процедуры разработки и сопровождения модели
Статистическая основа — оценка качества, репрезентативности и достоверности использованной для разработки модели статистической информации, соответствия ее глубины нормативным требованиям (в том числе в части охвата как минимум одного полного экономического цикла, включающего фазы подъема и спада) и т. д.
Конфликт интересов — проведение экспертизы организационной структуры и положений о подразделениях — участниках процедур разработки, валидации и аудита рейтинговых систем с целью подтверждения их организационной и (или) функциональной независимости для случаев, предусмотренных регуляторными требованиями.
Поддержка пользователей — оценка полноты и качества обучения пользователей использованию модели, а также процедурам обращения пользователей к разработчикам модели и порядок их обработки.
Архитектура и компоненты модели
Фокусная сегментация — оценка наличия документально закрепленных критериев сегментации и их однозначной трактовки (интерпретации), подходов объединения клиентов в группы компаний, а также условий неприменимости модели и т. д.
Рейтинговая шкала — оценка технических параметров шкалы по количеству рейтинговых разрядов, минимальным и максимальным вероятностям дефолта, а также способности рейтинговой шкалы осуществлять ранжирование клиентов по уровню риска.
Определение дефолта — оценка наличия документально закрепленного определения и критериев дефолта, соответствия критериев дефолта нормативным требованиям, анализ систем сбора сведений по фактам дефолтов, их времени и обстоятельствам, а также оценка наличия коллегиального органа, ответственного за признание/прекращение признания дефолта.
Факторы модели — оценка процедур отбора факторов в модель, оценка использования статистических подходов анализа факторов и их соответствия общепринятым практикам, а также общий вывод о статистическом качестве факторов, вошедших в рейтинговую модель.
Прочая диагностика
Дополнительные модули — оценка возможности учета влияния группы компаний и государства, оценка возможности присвоения внутреннего кредитного рейтинга каждому участнику группы компаний, оценка модуля экспертных корректировок и предупреждающих факторов и т. д.
Ручные корректировки — оценка примененных экспертных корректировок, оказывающих влияние на кредитный рейтинг, оценка наличия документально закрепленного порядка, случаев и возможных причин применения корректировок и наличия лиц, ответственных за их утверждение.
Интеграция в процессы — оценка применения модели в процессе принятия решений по кредитным сделкам, а также в ценообразовании, установлении лимитов, мониторинге, расчете резервов
и достаточности капитала, формировании управленческой отчетности, определении премиальных выплат и управлении эффективностью организации.
Прочие оценки — вывод о наличии поправок, повышающих уровень модели, анализ технической реализации и автоматизации модели, оценка приемочного тестирования/опытной эксплуатации, оценка процедур утверждения и ввода в действие модели и т. д.
Итогом независимой валидации является отчет о проведенной комплексной проверке качества рейтинговой системы, имеющий блочную структуру.
Количественная валидация. Выводы о параметрах качества модели, устойчивости ее функционирования и статистической основе.
Качественная валидация. Выводы об архитектуре модели, качестве ее методологии, процедурах разработки, валидации и сопровождения.
Регуляторные требования. Выводы о степени соответствия модели требованиям регулятора и возможности ее использования в целях резервирования РСБУ и МСФО 9, ВПОДК и ПВР.
Рекомендации. Перечень выявленных несоответствий, выводы о степени критичности несоответствий с указанием оптимальных сроков их устранения.
Общие выводы. Комплексный вывод о возможности использования модели в процедурах оценки риска.
Выгоды от реализации проекта:
- соблюдение регуляторного требования о независимости валидации;
- уверенность в точности метрик риска и качестве моделей при принятии решений;
- соответствие моделей ПВР, ВПОДК, МСФО 9 международным практикам;
- простота ресурсного планирования для дальнейшей доработки моделей;
- имиджевые выгоды перед аудиторами и рейтинговыми агентствами;
- повышение уверенности бизнес-подразделений банков в эффективности распределения Казначейством ресурсов внутри банков;
- предсказуемость и обоснованность финансового результата по торговой книге.