2020년 2월의 금융 AI 연구: 변동성은 왜 거칠어야 할까?

옵션 가격에 숨겨진 수학적 비밀, 로봇이 찾아내는 투자 신호, 그리고 위험을 피하는 똑똑한 학습법 — 2020년 2월에 발표된 주목할 논문들을 살펴봅니다.

---

들어가며

주식 시장에서 '변동성'은 날씨와 같습니다. 맑을 때도 있고 폭풍이 몰아칠 때도 있죠. 그런데 이 변동성이 실제로 어떤 모양을 하고 있는지, 수학자들이 오랫동안 연구해 왔습니다. 2020년 2월, 일본의 수학자 후카사와 마사아키는 한 편의 논문으로 이 분야에 큰 파문을 던졌습니다. "변동성은 거칠어야 한다"는 것이죠. 이 달에는 이 논문 외에도 투자 신호를 자동으로 찾아주는 AI, 위험을 직접 다루는 머신러닝, 그리고 대량 주문의 최적 실행 방법까지 — 금융의 미래를 바꿀 연구들이 쏟아져 나왔습니다.

---

무엇이 문제였나: 변동성의 수수께끼

옵션은 주식을 미래의 특정 가격에 사고팔 수 있는 '약속'입니다. 이 옵션의 가격을 결정하는 데 가장 핵심적인 변수가 바로 '변동성' — 주식 가격이 얼마나 오르내리느냐를 나타내는 숫자입니다.

문제는 이 변동성을 어떻게 모델링하느냐입니다. 전통적인 블랙-숄즈 모형은 변동성이 일정하다고 가정하지만, 현실에서는 그렇지 않습니다. 2000년대 들어 분수 브라운 운동(fractional Brownian motion) 기반의 '거친 변동성(rough volatility)' 모형이 등장했고, 실제 시장 데이터를 놀랍도록 잘 설명한다는 것이 밝혀졌습니다. 하지만 왜 변동성이 거칠어야 하는지에 대한 수학적 증명은 없었습니다.

---

핵심 아이디어: 변동성은 거칠어야 한다

위 그림은 Variance Gamma Lévy 과정(실선)과 기존 브라운 운동(점선) 모형에서의 최적 청산 경로를 비교한 것입니다. 점프와 두꺼운 꼬리를 반영한 Lévy 모형이 현실에 더 가까운 청산 전략을 제시합니다.

후카사와의 논문은 두 가지 핵심 주장을 합니다.

첫째, 시장에서 관측되는 옵션 스큐(put과 call 가격 차이의 패턴)가 따르는 '멱법칙(power law)' — 쉽게 말하면, 만기가 짧아질수록 스큐가 특정 수학적 규칙으로 변하는 현상 — 은 매끄러운 변동성 모형으로는 설명할 수 없다는 것입니다. 마치 직선으로만 그리려고 했는데 실제 그래프는 곡선인 것과 같습니다.

둘째, 더 강력한 결론입니다. 멱법칙 스큐가 존재하는 시장에서 변동성이 매끄러우면, 이론적으로 '공짜 점심(무차익 기회)'이 생긴다는 것입니다. 현실에서 공짜 점심이란 있을 수 없으므로, 변동성은 반드시 거칠어야 한다는 결론에 도달합니다.

이것은 마치 "물은 위에서 아래로 흐른다"는 것과 같은 수학적 필요조건입니다. 거친 변동성 모형은 더 이상 하나의 선택지가 아니라, 시장의 수학적 구조가 요구하는 필수인 셈이죠.

---

결과 — 무엇을 알아냈나: 2020년 2월의 다섯 가지 발견

1. 자동으로 투자 신호를 찾는 AI: AutoAlpha

퀀트 투자에서 '알파 팩터'란 주식 수익률을 예측하는 수학적 신호입니다. 예를 들어 "최근 3개월 수익률이 좋으면 앞으로도 좋을 확률이 높다" 같은 규칙이죠. 문제는 이런 신호를 사람이 일일이 만드는 데 한계가 있다는 것입니다.

AutoAlpha는 이 과정을 AI에게 맡깁니다. 수식으로 표현 가능한 알파 팩터의 구조적 패턴을 발견하고, 계층적으로 탐색 공간을 분할해 유망한 영역을 빠르게 찾습니다. 중국 주식 시장 백테스트에서 기존 방법들보다 효과적인 팩터를 발굴했습니다.

핵심은 '다양성'입니다. 이미 잘 알려진 팩터와 비슷한 것만 찾으면 의미가 없으니까요. PCA 기반 품질 다양성(PCA-QD) 방법으로 이미 탐색된 영역을 피하고 새로운 종류의 신호를 찾아냅니다.

2. 평균이 아닌 '최악의 날'에 집중하는 학습: CVaR

전통적인 머신러닝은 '평균 손실'을 최소화합니다. 하지만 투자에서는 평균보다 '최악의 날'이 중요합니다. 100일 중 99일은 1%씩 벌다가 하루에 50%를 잃으면 평균은 좋지만 파산하는 거니까요.

소마와 요시다는 이 문제를 수학적으로 정식화했습니다. CVaR(Conditional Value-at-Risk) — 쉽게 말하면 "나쁜 날 중에서도 가장 나쁜 날들의 평균 손실" — 을 직접 최소화하는 SGD 알고리즘을 개발한 것입니다.

기존 연구와 달리 실제 데이터 분포를 알 필요 없이, 표본(과거 데이터)만으로 최적화가 가능합니다. 볼록한 손실함수에서는 $O(1/\sqrt{n})$ 수렴률을 달성했습니다. 이 논문은 ICML 2020에 발표되었습니다.

3. 안전한 정책 평가: 오프라인으로 RL 정책 검증하기

강화학습으로 만든 거래 정책을 실제 시장에 바로 적용하면 위험합니다. 과거 데이터로 안전하게 평가하는 '오프라인 정책 평가(OPE)'가 필요한데, 문제는 OPE 추정량이 여러 개 있고 각각 장단점이 다르다는 것입니다.

수, 스리나스, 크리슈나무르티는 데이터만으로 최적의 OPE 추정량을 자동으로 선택하는 방법을 제안했습니다. 오라클(이상적으로 최적인) 추정량과 상수 인수 내에서 경쟁적인 성능을 보장한다는 것이 핵심입니다. 이 논문 역시 ICML 2020에 수록되었습니다.

4. 점프를 고려한 최적 청산: Almgren-Chriss의 확장

대량 주문을 한 번에 시장에 내놓으면 가격이 출렁입니다. 그래서 큰 주문은 여러 번 나눠서 청산하는데, 이 속도를 최적화하는 것이 '최적 청산(optimal liquidation)' 문제입니다.

고전적 Almgren-Chriss 모형은 가격 변동을 브라운 운동(매끄러운 랜덤 워크)으로 가정하지만, 실제 시장에는 갑작스러운 가격 점프가 있습니다. 로카와 쉬는 이 모형을 Lévy 과정으로 확장해 점프와 두꺼운 꼬리를 반영하고, 최적 청산 경로를 명시적으로 도출했습니다.

5. 비동기 데이터에서 선행-후행 관계 찾기: NAPLES

FX(외환) 시장에서는 뉴질랜드 달러와 호주 달러 같은 관련 통화쌍이 서로 영향을 줍니다. 하지만 두 시장의 거래 시각이 정확히 일치하지 않아서(비동기), 누가 먼저 움직이는지 측정하기 어렵습니다.

NAPLES는 부호 기반·선형시간 방법으로 시간가변 리드-래그를 추정합니다. 거시경제 발표 전후에 FX 가격발견 구조가 어떻게 바뀌는지를 포착해, 초단기 선행성 신호를 스캔하는 데 활용할 수 있습니다.

---

한계와 주의점

• 거친 변동성 논문은 필요조건만 증명했을 뿐, 어떤 구체적 rough-vol 모형이 가장 좋은지는 다루지 않습니다.
• AutoAlpha는 중국 시장에서만 검증되었고, 재현성 점수가 낮아 코드·데이터 접근이 제한적일 수 있습니다.
• CVaR 학습은 단일 단계 문제에 한정되어 있으며, 실제 다단계 포트폴리오 최적화로의 확장은 별도 연구가 필요합니다.
• OPE 추정량 선택은 오프라인 평가에 한정되며, 실제 시장에서의 온라인 성능은 보장하지 않습니다.
• Lévy 청산 모형은 임시 충격만 고려하고 영구 충격은 포함하지 않습니다.

---

그래서 투자/실무엔?

이 연구들이 직접적으로 "이 종목을 사라"고 말하지는 않습니다. 하지만 금융을 다루는 모든 사람에게 시사하는 바가 큽니다.

변동성 모형을 선택할 때: 거친 변동성이 수학적으로 필요하다는 증명은, 옵션 가격·헤지 전략을 설계할 때 rough-vol 모형을 진지하게 고려해야 한다는 뜻입니다.

투자 신호를 만들 때: 사람이 일일이 팩터를 설계하는 대신, AI가 탐색 공간을 효율적으로 뒤지는 방법이 현실적으로 동작하기 시작했습니다.

리스크를 관리할 때: 평균 수익률이 좋다고 안심하지 마세요. '최악의 날'의 손실을 직접 제어하는 학습 방법이 존재합니다.

대량 주문을 실행할 때: 시장에 점프가 존재한다는 현실을 반영한 청산 전략은, 기존 브라운 운동 가정의 전략과 실질적으로 다른 결과를 낼 수 있습니다.

---

함께하기

금융 AI와 퀀트 연구의 최신 논문을 매주 큐레이션합니다.

• 📬 ohselab.com에서 최신 리포트를 받아보세요
• 💬 궁금한 점이 있으시면 언제든 문의해 주세요
• 🔔 팔로우하시면 새 글 알림을 받으실 수 있습니다

---

더 알아보기

핵심 논문 링크

• Fukasawa, "Volatility has to be rough" — arXiv:2002.09215
• Zhang 외, "AutoAlpha" — arXiv:2002.08245
• Soma & Yoshida, "Statistical Learning with CVaR" — arXiv:2002.05826
• Su 외, "Adaptive Estimator Selection for OPE" — arXiv:2002.07729
• Lokka & Xu, "Optimal liquidation with Lévy processes" — arXiv:2002.03376

5차원 점수 (참고)

관련 논문 더 보기

2020년 2월 코호트에는 이밖에도 Sharpe ratio의 고차원 추정, 경로의존적 노동소득을 반영한 포트폴리오 선택, 시간불일치 강건 제어, 코퓰라 기반 변동성 예측 등 주목할 연구가 많습니다. 자세한 내용은 2020년 2월 백필 리포트를 참조하세요.