공분산을 깨끗하게, 헤징을 안정적으로 — 2021년 11월 금융 AI 연구 탐구

왜 이 연구들이 흥미로운가? 투자에서 "분산투자하세요"라는 말은 누구나 들어봤을 겁니다. 그런데 실제로 포트폴리오를 짜다 보면, 이 분산투자가 생각만큼 잘 안 되는 경우가 많아요. 왜 그럴까요? 2021년 11월에 올라온 논문들은 이 질문에 대해 서로 다른 각도에서 답을 제시합니다. 공분산 행렬을 더 깨끗하게 추정하는 방법부터, 거래비용이 있는 현실에서의 헤징, 그리고 위기 시 팩터 간 관계가 어떻게 무너지는지까지 — 이번 달 연구들은 "이상적인 수학 모델과 실제 시장 사이의 간극을 좁히는 것"에 모두 초점을 맞추고 있습니다.

---

들어가며: 요리 재료가 나쁘면 요리도 나빠진다

포트폴리오 최적화를 요리에 비유해 볼게요. 훌륭한 셰프(최적화 알고리즘)가 있더라도, 재료(입력 데이터)가 나쁘면 결과물도 나쁠 수밖에 없습니다. 특히 공분산 행렬 — 여러 자산이 서로 어떻게 움직이는지를 나타내는 이 표 — 은 포트폴리오 최적화의 가장 핵심적인 "재료"입니다.

문제는 이 재료가 매우 부정확하다는 거예요. 주식 100개의 공분산 행렬을 추정하려면, 표본이 충분하지 않으면 추정 오차가 어마어마해집니다. 마치 재료의 절반 이상이 상한 상태에서 요리를 하는 것과 같습니다.

2021년 11월의 첫 번째 연구는 이 문제를 정면으로 다룹니다.

---

무엇이 문제였나: 공분산 행렬의 비밀

기존 방식의 한계

포트폴리오 이론의 아버지 마코위츠가 1952년에 평균-분산 최적화를 제안한 이래, 수십 년간 연구자들은 "공분산 행렬을 더 정확하게 추정하는 방법"을 연구해 왔습니다. 그런데 기존의 대부분 방법은 "시장이 안정적(stationary)이다"라는 가정 위에 세워져 있습니다.

현실은 어떤가요? 2020년 코로나 폭락, 2008년 금융위기 — 시장은 끊임없이 변합니다. 자산 간 상관관계도 위기 때 급격히 바뀝니다. 안정적인 시장에 최적화된 방법으로 비정상적인 시장을 분석하니, 결과가 엉망이 될 수밖에 없었습니다.

공분산 정제의 핵심 아이디어

Cleaning the covariance matrix of strongly nonstationary systems with time-independent eigenvalues (Bongiorno, Challet, Loeper, arXiv:2111.13109)라는 논문은 이 문제에 대한 기발한 해결책을 제시합니다.

공분산 행렬을 분해하면 고유값(eigenvalue)과 고유벡터(eigenvector)로 나뉩니다. 고유값은 "이 방향으로 얼마나 변동이 큰가"를 나타내고, 고유벡터는 "어떤 방향인가"를 나타내죠. 기존 방법들은 표본 데이터에서 이 고유값들을 직접 추정합니다. 그런데 비정상 시스템에서는 이 추정이 크게 흔들립니다.

이 논문의 핵심 아이디어는 "고유값을 데이터에서 추정하지 말자"는 것입니다. 대신, 미래의 역동성이 현재 고유값에 미치는 영향의 장기 평균을 인코딩한, 입력 데이터와 완전히 독립적인 고유값 집합을 사용합니다.

쉽게 말하면, 요리할 때 "오늘 시장에서 파는 재료"를 그대로 쓰지 말고, "이 요리에 가장 잘 맞는 표준 재료 비율"을 미리 정해 놓고 쓰는 것과 비슷합니다. 오늘 시장의 재료가 좀 이상하더라도, 표준 비율이 있으면 결과가 안정적이 되죠.

실데이터와 합성 데이터 모두에서, 이 방법은 정상 시스템에 최적화된 기존 방법을 능가했습니다. 특히 최소분산 포트폴리오나 리스크패리티 전략에서 추정 오차와 실현 변동성을 줄이는 데 직접적으로 활용할 수 있습니다.

---

핵심 아이디어: 리스크 측도도 더 정교해져야 한다

공분산 행렬이 깨끗해졌다면, 다음 질문은 "어떤 리스크 측도를 쓸 것인가?"입니다.

VaR만으로는 부족하다

대부분의 투자자가 아는 리스크 측도는 VaR(Value at Risk)입니다. "95% 확률로 하루 손실이 이 금액을 넘지 않는다" 같은 지표죠. 그런데 VaR에는 치명적인 약점이 있습니다. 꼬리 위험 — 극단적 손실이 발생했을 때 그 손실이 얼마나 큰지 — 을 제대로 포착하지 못합니다.

그래서 등장한 것이 AVaR(Average Value at Risk, 또는 Expected Shortfall)입니다. "95% 신뢰구간에서 손실이 발생했을 때, 그 손실의 평균은 얼마인가?"를 측정합니다. 더 정교하지만, 추정이 더 어렵습니다.

확률적 경사 하강법으로 리스크를 추정하다

Non-asymptotic estimation of risk measures using stochastic gradient Langevin dynamics (Chu, Tangpi, arXiv:2111.12248)는 이 문제를 해결합니다.

이 논문은 SGLD(Stochastic Gradient Langevin Dynamics)라는 방법을 AVaR 추정에 적용합니다. SGLD는 확률적 경사 하강법(SGD)에 약간의 노이즈를 주입한 변형으로, 더 넓은 탐색을 가능하게 합니다.

더 흥미로운 점은, AVaR에서 출발해 Kusuoka의 스펙트럼 표현을 활용해 일반적인 법칙불변(law-invariant) 볼록 리스크 측도까지 확장한다는 것입니다. 쉽게 말하면, "AVaR 하나만 추정하는 게 아니라, AVaR을 조합하면 만들 수 있는 모든 종류의 리스크 측도를 추정할 수 있다"는 뜻입니다.

그리고 이 논문의 가장 큰 기여는 비점근(non-asymptotic) 수렴 오차율을 이론적으로 제시했다는 점입니다. "데이터가 N개 있을 때 오차가 얼마 이하이다"라는 명시적인 보장을 제공하므로, 실무에서 "우리 포트폴리오의 리스크를 정확하게 추정하려면 최소한 몇 년치 데이터가 필요한가?"에 대한 답을 줄 수 있습니다.

그림: AVaR 추정 오차의 수렴 경로. 표본 수가 증가할수록 오차가 안정적으로 감소한다.

---

결과 — 무엇을 알아냈나: 딥헤징의 안정성 문제

파생상품을 헤징하는 문제는 금융에서 가장 오래된 과제 중 하나입니다. 블랙-숄즈 모델이 등장한 1970년대 이래, "어떻게 하면 옵션 포지션의 리스크를 가장 효율적으로 상쇄할 수 있는가?"를 연구해 왔습니다.

딥러닝으로 헤징하면 뭐가 좋나?

최근에는 딥러닝을 헤징에 적용하는 "딥헤징"이 주목받고 있습니다. 전통적인 방법은 시장이 특정 수학적 모델(예: 기하 브라운 운동)을 따른다고 가정하지만, 딥헤징은 데이터에서 직접 최적 헤지 비율을 학습합니다.

그런데 문제가 있습니다. 기존 딥헤징 알고리즘은 짧은~중간 기간에서는 우수하지만, 장기 호라이즌에서 불안정해집니다. 마치 단거리 달리기 선수가 마라톤에 나선 것처럼, 설계 자체가 장기에 맞지 않았던 거죠.

ST-Hedging: 안정적인 전이 학습 헤징

Deep Learning Algorithms for Hedging with Frictions (Shi, Xu, Zhang, arXiv:2111.01931)는 이 문제를 해결합니다.

이 논문이 제안하는 ST-Hedging(Stable Transfer Hedging) 알고리즘은 두 가지를 절묘하게 결합합니다:

1. 소거래비용 점근해의 편의성: 거래비용이 작을 때의 해석적 근사 공식
2. 딥러닝의 정확성: 데이터에서 직접 학습하는 능력

여기에 전이학습(transfer learning) 기법을 더해, 짧은 기간에서 학습한 지식을 장기 기간으로 전달합니다. 결과적으로 짧고 중간 호라이즌에서는 기존 최첨단 방법과 동일한 성능을, 장기 호라이즌에서는 기존 방법이 실패하는 구간에서도 우수한 성능을 달성합니다.

거래율 기반의 비선형 시장충격과 유동성 비용까지 반영하므로, 실제 대규모 헤지 전략의 프로토타입으로 바로 활용할 수 있습니다.

---

한계와 주의점

이 논문들이 제시하는 방법들도 만능은 아닙니다.

공분산 정제(2111.13109): 시간 독립 고유값의 선택이 여전히 일정한 가정에 기반한다. 극단적으로 빠른 체제 전환(regime switch)이 있는 시장에서는 성능이 떨어질 수 있다.

리스크 측도 추정(2111.12248): SGLD는 확률적 방법이므로 실행할 때마다 결과가 약간씩 달라진다. 결정론적 보장이 필요한 규제 환경에서는 추가 검증이 필요하다.

딥헤징(2111.01931): 전이학습의 효과는 원래 도메인과 목표 도메인의 유사성에 의존한다. 시장 구조가 크게 바뀌면(예: 새로운 거래소, 새로운 상품 클래스) 전이가 잘 안 될 수 있다.

end-to-end 포트폴리오(2111.09170): 블랙박스 특성상 "왜 이런 가중치가 나왔는가?"를 설명하기 어렵다. 규제 기관이나 투자위원회를 설득해야 하는 실무 환경에서는 해석 가능성 문제가 남아 있다.

팩터 인과구조(2111.05072): 인과 구조 학습은 관찰 데이터에 기반하므로, 숨겨진 교란 변수(confounder)의 영향을 완전히 배제할 수 없다.

---

그래서 투자/실무엔?

이 논문들이 투자자에게 주는 시사점을 정리하면:

1. 공분산 행렬을 그대로 믿지 마세요. 특히 시장이 불안정할 때는 기존 방법의 추정이 크게 빗나갈 수 있습니다. 비정상 환경에 맞는 정제 방법을 적용하는 것이 포트폴리오 성능을 크게 개선할 수 있습니다.

2. VaR만 보지 마세요. AVaR 같은 더 정교한 리스크 측도를 사용하되, 표본 수가 충분한지 확인하세요. 데이터가 부족하면 추정 오차가 커서 오히려 더 나쁜 결정을 할 수 있습니다.

3. 파생상품 헤징은 장기 호라이즌을 조심하세요. 딥헤징 알고리즘을 적용할 때는 짧은 기간에서의 성능만 보고 판단하면 안 됩니다. 전이학습 기법을 활용해 장기 안정성을 확보하는 것이 중요합니다.

4. 팩터 포트폴리오는 위기 때 "한 바구니"가 됩니다. 위기 시 모든 팩터가 시장 팩터의 영향을 강하게 받으므로, 팩터 간 분산투자 효과가 크게 줄어듭니다. 이 점을 리스크 관리에 반영해야 합니다.

---

함께하기

이런 연구들을 더 깊이 탐구하고 싶으시다면:

• 구독: ohselab.com에서 최신 연구 소식을 받아보세요
• 상담: 퀀트 투자 전략에 대해 궁금한 점이 있으시면 언제든 문의하세요
• 팔로우: 소셜 미디어에서 최신 논문 분석을 확인하세요

---

더 알아보기

대표 논문

N=Novelty, A=Applicability, R=Rigor, R=Reproducibility, I=Insight

관련 논문 더 보기

• 2111.07844 - Deep Hedging: 마팅게일 측도 학습
• 2111.03713 - 이색옵션의 빠른 가격계산
• 2111.09395 - FinRL: DRL 트레이딩 프레임워크
• 2111.12532 - 고차원 포트폴리오의 OOS 분산 한계
• 2111.08294 - 마찰이 있는 시장의 리스크 측도
• 2111.10301 - 변동성 거칠기의 모델-free 추정