체계적 리스크 예측을 어떻게 검증할까? — 다목적 유도 가능성으로 백테스트를 가능하게 만든 연구

"우리 모델이 맞는지 어떻게 알 수 있을까?" — 이 질문에 대답할 수 없었던 리스크 관리의 치명적 약점을 해결한 논문이 있습니다.

---

들어가며: 일기예보와 리스크 예측의 공통점

일기예보가 "내일 비가 올 확률 70%"라고 했는데 비가 오지 않았다면, 그 예보가 틀렸다고 말할 수 있을까요? 사실 한 번의 결과만으로는 판단하기 어렵습니다. 하지만 같은 예보를 100번 반복했을 때 실제로 비가 온 날이 70% 정도였다면, 그 예보는 상당히 정확하다고 할 수 있죠.

금융에서도 비슷한 문제가 있습니다. "이 포트폴리오의 체계적 리스크는 이 정도다"라고 예측했는데, 실제로 시장이 폭락했을 때 그 예측이 맞았는지 어떻게 검증할까요? 이게 바로 백테스트(backtesting)라는 과정인데, 생각보다 훨씬 어려운 문제입니다.

---

무엇이 문제였나: 검증할 수 없는 리스크 지표

금융에서 널리 쓰이는 체계적 리스크 지표들이 있습니다:

• CoVaR: 한 금융기관이 위기에 처했을 때 시장 전체의 VaR이 어떻게 변하는지
• MES(Marginal Expected Shortfall): 시장이 하락할 때 특정 자산의 기대 손실
• CoES: CoVaR의 확장판으로, 조건부 기대 shortfall을 측정

이 지표들은 2008년 금융위기 이후 규제 당국과 금융기관에서 널리 사용되고 있습니다. 그런데 여기에 근본적인 통계적 문제가 숨어 있었습니다.

"유도 가능성(elicitability)"이란 무엇인가

쉽게 말해, 어떤 통계량이 "유도 가능하다"는 것은 그 값을 예측한 모델의 우열을 숫자로 평가할 수 있다는 뜻입니다.

예를 들어, 평균(mean)은 유도 가능합니다. 예측값과 실제값의 차이를 제곱해서 평균내면 되니까요(평균제곱오차). 분위수(quantile)도 유도 가능합니다. asymmetric scoring function이라는 도구가 있거든요.

그런데 CoVaR, MES 같은 체계적 리스크 지표들은 유도 가능하지 않습니다. 이게 무슨 뜻이냐면, 두 모델 A와 B가 있을 때 "A가 B보다 낫다"고 통계적으로 말할 수 있는 적절한 방법이 없다는 겁니다.

더욱 심각한 것은, 이 지표들은 심지어 "식별 가능한(identifiable)" 것도 아니었습니다. 식별 가능하지 않다는 것은, 같은 데이터에서 파라미터 값이 여러 개 나올 수 있다는 뜻입니다.

결국: 체계적 리스크 모델의 예측이 맞는지 검증할 수 있는 통계적 방법이 없었다는 겁니다. 규제 당국이 이 지표들에 기반해 자본 요구량을 설정하고 있었는데, 그 지표들을 평가할 방법이 없었다는 것은 상당히 심각한 문제입니다.

---

핵심 아이디어: 다목적 유도 가능성

이 논문의 핵심 아이디어는 간단하지만 강력합니다:

"하나의 지표를 직접 평가하는 대신, 두 개의 관련 지표를 동시에 평가하자."

이것이 바로 다목적 유도 가능성(multi-objective elicitability) 이라는 개념입니다.

구체적으로, CoVaR 같은 지표는 단독으로는 유도 가능하지 않지만, (VaR, CoVaR)이러한 쌍으로 묶으면 평가할 수 있습니다. 두 개의 점수를 결합한 2차원 scoring function을 만들고, 여기에 사전순(lexicographic order)을 적용하는 거죠.

비유를 들어보겠습니다. 한 학생의 "실력"을 하나의 숫자로 평가하기 어렵지만, (국어 점수, 수학 점수)이러한 쌍으로는 비교할 수 있습니다. "국어 점수가 같으면 수학 점수로 비교한다" 이러한 규칙이 사전순입니다.

Diebold-Mariano 검정의 확장

이 프레임워크를 기반으로, 저자들은 기존의 Diebold-Mariano형 검정을 2차원으로 확장합니다. Diebold-Mariano 검정은 두 예측 모델의 성능 차이가 통계적으로 유의미한지 검증하는 널리 쓰이는 방법인데, 이걸 2차원 점수에서도 사용할 수 있게 만든 겁니다.

더욱 실용적인 것은, 저자들은 교통등(traffic-light) 접근법을 제안합니다. 이는 규제 당국이 쉽게 이해하고 사용할 수 있는 방법으로, 검정 결과를 세 가지 색상으로 분류합니다:

• 녹색: 모델이 적절히 작동하고 있음
• 노란색: 경계 — 주의가 필요함
• 빨간색: 모델이 부적절함 — 수정이 필요함

Basel II/III에서 사용하는 것과 유사한 접근법이지만, 이번에는 통계학적 근거가 확실히 뒷받침됩니다.

---

결과 — 무엇을 알아냈나

저자들은 이 방법을 DAX 30(독일)과 S&P 500(미국) 수익률 데이터에 적용해 실증 검증을 했습니다.

핵심 발견:

1. 실제로 작동한다: 이론적으로 제안한 방법이 실데이터에서 의미 있는 결과를 낸다.
2. 규제에 적용 가능하다: traffic-light 접근법이 현행 규제 프레임워크와 호환된다.
3. 규제 개선 제안: 실증 분석을 바탕으로 규제 당국에 구체적인 개선 제안을 제시한다.

이 논문은 Journal of Business & Economic Statistics에 게재될 정도로 학술적으로도 인정받았습니다 (28페이지 본문 + 25페이지 부록).

---

한계와 주의점

완벽한 해결책은 아닙니다:

• 사전순의 의존성: 2차원 점수의 순서(어느 것을 먼저 볼지)가 결과에 영향을 줄 수 있습니다. "국어 먼저 vs 수학 먼저"의 선택에 따라 평가가 달라질 수 있다는 거죠.
• 검정력(power): 샘플 크기가 작을 때 실제로 불량한 모델을 잘 잡아낼 수 있는지에 대한 분석이 더 필요합니다.
• 다른 지표들: CoVaR 외에 다른 체계적 리스크 지표(예: SRISK, DCC 등)에도 같은 프레임워크가 잘 작동하는지 추가 연구가 필요합니다.

---

그래서 투자/실무엔?

이 연구의 시사점은 명확합니다:

리스크 모델의 검증이 가능해진다. 지금까지 많은 금융기관이 사용해 온 체계적 리스크 모델이 실제로 맞는지 검증할 수 있는 방법이 없었습니다. 이 연구가 제공하는 프레임워크는 그 문제를 해결합니다.

실무 적용 포인트:

• 포트폴리오 수준의 체계적 리스크 모니터링에서 예측 모델의 신뢰성을 통계학적으로 검증
• 리스크 한도 설정과 자본 배분의 근거로 활용
• 규제 보고서에서 교통등 방법을 통해 결과를 명확하게 커뮤니케이션

특히 자기자본을 운용하는 입장에서는, 리스크 모델의 예측이 맞는지 확인하는 것이 곧 자본 효율성과 직결됩니다. 모델이 틀렸는데 맞다고 믿고 있다면, 실제 리스크보다 적게 자본을 보유하고 있을 수 있기 때문입니다.

---

함께하기

퀀트 투자와 AI 기반 리스크 관리에 관심이 있으시면:

• 🌐 ohselab.com에서더 많은 정보
• 📧 뉴스레터 구독으로 최신 연구 업데이트 받기
• 🐦 소셜 미디어 팔로우로 커뮤니티 참여

---

더 알아보기

• 원 논문: arXiv:2104.10673 — Fissler & Hoga, Journal of Business & Economic Statistics (2023)
• 5차원 점수: 혁신성 74 / 적용성 82 / 엄밀성 67 / 재현성 35 / 통찰력 78 (Composite: 69.2)
• 티어: A

참고: 오늘 수집된 다른 주목할 만한 논문