러프 변동성은 정말 최선일까? 2024년 1월 금융 AI 연구 하이라이트

2024년 첫 달, arXiv에 올라온 240편의 금융·계량경제학 논문을 분석했습니다. 수학적으로 아름다운 모델이 실제 데이터 앞에서 무너지는 이야기, 70년 된 포트폴리오 이론이 어떻게 진화하는지, 그리고 AI 에이전트가 금융 텍스트를 읽기 시작한 이야기를 들려드립니다.

---

들어가며: "이쁜 건 실전에서 안 통할 수도 있다"

주식 시장에서 "이론적으로 완벽해 보이는 전략이 막상 쓰면 안 먹히는" 경험을 한 번쯤 해보셨을 겁니다. 수학 공식은 깔끔한데, 실제 데이터를 넣으면 어딘가 어긋나죠. 2024년 1월에 발표된 연구들은 바로 이 지점을 정면으로 파고들었습니다.

이번 달 arXiv에는 금융·계량경제학 분야 논문 240편이 올라왔습니다. 그중 저희가 분석한 관련 논문 113편을 다섯 가지 테마로 묶어 소개합니다. 핵심 메시지는 하나입니다: "복잡한 것이 항상 좋은 것은 아니다."

---

테마 1: 러프 변동성의 민낯 — 수학의 아름다움 vs 데이터의 현실

무엇이 문제인가

옵션 가격결정 분야에서 2010년대 중반부터 "rough volatility"라는 개념이 큰 인기를 끌었습니다. 분수 브라운 운동(fractional Brownian motion)이라는 수학적 도구를 써서, 변동성이 시간에 따라 얼마나 "거칠게" 움직이는지를 모델링하는 접근법이에요.

이 모델의 매력은 분명합니다. 옵션 시장에서 관찰되는 implied volatility smile(내재변동성 곡선)의 특별한 모양을, 파라미터를 몇 개만 넣으면 자연스럽게 재현할 수 있다는 거예요. 학계에서 "이게 정답이다"라고 거의 확신하는 분위기였습니다.

그런데 2024년 1월, 이 확신에 정면으로 도전하는 논문이 나왔습니다.

이 논문이 한 일

Eduardo Abi Jaber와 Shaun Li는 SPX(S&P 500 지수) 옵션 데이터를 가지고 여러 변동성 모델을 직접 비교했습니다. 러프 모델, 마코프(전통적) 모델, 경로의존 모델까지 — 같은 데이터에 같은 조건으로 캘리브레이션을 해서 누가 더 잘 맞는지 겨룬 거예요.

결과는 놀라웠습니다.

단기 만기(1주~3개월)에서 러프 변동성 모델은 동일 파라미터 수의 1-factor 마코프 모델보다 열등했습니다. ATM skew(변동성 기울기)의 전력법(power-law) 형태가 단기에서 너무 빠르게 증가하고, 장기에서 너무 느리게 감소하는 문제가 있었어요.

더 흥미로운 건, 비(non)rough한 경로의존 모델과 2-factor 마코프 모델이 파라미터 3~4개만으로 1주~3년 전범위에서 더 우수한 성능을 보였다는 점입니다.

쉽게 말하면

러프 변동성 모델은 "변동성이 시간에 따라 아주 거칠게 움직인다"고 가정하는데, 실제 SPX 옵션 데이터를 보니 그 "거칠기"가 생각만큼 크지 않았다는 거예요. 오히려 단순한 모델이 더 잘 맞았습니다.

맛집 비유를 들자면, 별점 5점에 리뷰 1000개인 유명 맛집(러프 모델)이 있는데, 막상 가보니 옆집 동네 식당(마코프 모델)이 더 맛있는 경우랄까요.

그래서 투자/실무엔?

옵션 마켓메이킹이나 변동성 표면 보정, 리스크 엔진을 설계할 때 rough volatility 모델을 무조건 채택하면 안 됩니다. 반드시 자체 실증 검증을 해야 해요. 3~4 파라미터의 마코프 모델이 더 실용적인 대안이 될 수 있습니다.

📄 Volatility models in practice: Rough, Path-dependent or Markovian? — A 티어, composite 71.9점

---

테마 2: 포트폴리오 최적화의 진화 — 70년 된 이론이 실전으로

무엇이 문제인가

해리 마코위츠가 1952년에 포트폴리오 최적화를 처음 정식화한 지 70년이 넘었습니다. "기대수익과 리스크(표준편차)의 트레이드오프를 최적화하라"는 아이디어는 금융의 기본 중의 기본이죠.

하지만 실제 운용에서는 표준편차만으로는 부족합니다. 2020년 코로나 같은 위기 때 포트폴리오가 얼마나 떨어졌는지(최대낙폭, MDD), 종목을 몇 개나 골라야 비용이 효율적인지, 오발견(false discovery)을 어떻게 통제할지 같은 실전 문제가 있거든요.

2024년 1월에는 이 실전 문제들을 풀려는 논문이 쏟아져 나왔습니다.

두 가지 핵심 논문

논문 1: 최대낙폭(MDD)을 직접 제어하는 포트폴리오

Albert Dorador는 마코위츠의 이차계획(quadratic programming) 대신 최대낙폭을 직접 제약으로 넣는 선형계획 모델을 제안했습니다. MILP(혼합정수 선형계획) 변형도 함께요.

핵심 성과는 두 가지입니다:

• 코로나19 같은 금융 스트레스 기간에 특히 효과적인 포트폴리오를 만든다.
• 기존 마코위츠 모델보다 200배 빠르게 풀린다.

200배요. 하루에 한 번 리밸런싱하는 포트폴리오 엔진이라면 이 차이가 어마어마합니다.

📄 Constrained Max Drawdown: a Fast and Robust Portfolio Optimization Approach — A 티어, composite 66.0점

논문 2: FDR 통제로 종목을 똑똑하게 고르는 법

S&P 500 같은 대형 인덱스를 소수 종목만으로 따라가려면 어떻게 해야 할까요? 500개 주식 중에서 "진짜" 종목을 골라내야 하는데, 주식들은 서로 강하게 상관되어 있어서 기존 통계 방법이 잘 안 먹힙니다.

Jasin Machkour 팀은 T-Rex selector라는 방법을 확장해서, 상관된 변수 그룹을 처리하면서도 오발견율(FDR)을 목표 수준에서 provably(증명 가능하게) 통제하는 방법을 제시했습니다. 20년간 S&P 500을 소수 종목으로 정확히 추적하는 데 성공했고, R 패키지(TRexSelector)로 공개되어 바로 써볼 수 있습니다.

📄 FDR-Controlled Portfolio Optimization for Sparse Financial Index Tracking — A 티어, composite 66.2점

함께 보면 좋은 논문들

이달의 포트폴리오 최적화 테마에는 8편의 논문이 모였습니다. 거래비용 환경에서의 근사 최적 가격(shadow price), 마코위츠 70주년 종합 리뷰, CVaR 최적화를 위한 GAM 팩터 모델, TDA(Topological Data Analysis) 기반 종목 선택까지 — 각각 다른 각도에서 "실전에서 더 잘 동작하는 포트폴리오"를 추구하고 있습니다.

---

테마 3: 시장 미시구조 — 블록체인에서 전통 시장까지

무엇이 문제인가

시장 미시구조(market microstructure)는 "가격이 어떻게 만들어지는가"를 연구하는 분야입니다. 누가, 어떻게, 어떤 순서로 주문을 넣고, 그 주문들이 어떻게 가격에 영향을 미치는지를 다루죠.

2024년에는 이 분야에 새로운 변수가 생겼습니다. 블록체인 기반 탈중앙화 거래소(DEX)에서 MEV(Maximal Extractable Value)라는 현상이 등장한 거예요. 블록에 주문을 넣는 순서를 조작해서 이익을 추출하는 행위인데, 전통 시장의 프론트러닝(front-running)과 비슷하지만 훨씬 더 노골적입니다.

Neural Hawkes로 암호화폐 시장 읽기

이달의 미시구조 대표 논문은 암호화폐 시장의 Hawkes 프로세스 분석입니다. Hawkes 프로세스는 "어떤 사건이 발생하면 그 사건이 또 다른 사건을 촉발하는" 자기흥발(self-exciting) 현상을 모델링하는 도구예요. 주가가 급락하면 추가 매도가 나오고, 그게 또 다른 급락을 부르는 것처럼요.

기존 Hawkes 모델은 변수가 많아지면 계산이 폭발하는 문제가 있었는데, 이 논문은 신경망으로 고차원 Hawkes 커널을 비모수적으로 추정하는 방법을 제시합니다. 암호화폐 시장의 여러 자산 간 누가 누구에게 영향을 미치는지(인과 방향)를 해석 가능한 형태로 추출할 수 있어요.

📄 Neural Hawkes: Non-Parametric Estimation in High Dimension and Causality Analysis in Cryptocurrency Markets — B 티어, composite 63.4점

DeFi의 새로운 문제들

이달에는 AMM(자동화 시장 조성자)에서 만기 자산이 어떻게 가격 형성되는지, 블록체인의 MEV 백런 경매가 트레이더를 정말 보호하는지, 주식 경매에서 유동성이 어떻게 축적되는지 등을 다룬 논문들도 나왔습니다. 전통 시장의 미시구조 이론이 새로운 시장 구조에 맞춰 확장되고 있는 거예요.

---

테마 4: AI 에이전트가 금융 텍스트를 읽기 시작했다

무엇이 문제인가

뉴스, 공시, 리서치 보고서 — 금융 시장에는 매일 쏟아지는 텍스트가 있습니다. 이 텍스트에서 "긍정"인지 "부정"인지 감성을 추출하면 투자 신호로 쓸 수 있는데, 기존에는 BERT 같은 단일 분류기에 의존했습니다.

문제는 금융 텍스트의 뉘앙스가 너무 미묘하다는 거예요. "매출이 증가했지만, 영업이익은 하락했다" — 이건 긍정일까요 부정일까요? 단일 모델로는 이런 복잡한 판단을 잘 못 합니다.

LLM 에이전트들의 토론

이 논문은 "서로 다른 역할을 가진 LLM 에이전트들이 토론하면 더 정확해진다"는 아이디어를 제시합니다. 감성 분석가, 리스크 분석가, 맥락 해석가처럼 각기 다른 관점을 가진 AI가 각자 판단한 뒤 토론을 거쳐 합의에 도달하는 거예요.

결과는 고무적이었습니다. 동일 에이전트의 반복 토론이나 단순 다수결보다, 역할이 다른 이종 에이전트의 토론이 감성 분석 정확도를 높였어요.

쉽게 말하면

혼자 고민하는 것보다, 서로 다른 전문가가 모여 토론하는 게 더 나은 결론에 도달한다는 거예요. 인간도 마찬가지죠. AI도 같은 원리가 적용됩니다.

함께 보면 좋은 논문들

• SpotV2Net: 그래프 어텐션 네트워크로 여러 주식의 장중 변동성을 동시에 예측하는 모델. 자산 간 변동성 전이를 직접 모델링합니다.
• 다중관계 그래프 확산: 종목 간 시간에 따라 변하는 관계를 동적 그래프로 모델링해 주식 추세를 분류합니다.
• ECL 데이터셋: 10-K 보고서의 텍스트와 수치를 결합한 멀티모달 파산 예측 데이터셋. 단일 모달보다 상보적 정보가 있음을 보여줍니다.

---

테마 5: 금융 데이터의 "세 가지 악마"

무엇이 문제인가

금융 데이터로 무언가를 분석하려면 세 가지 근본적 난제에 직면합니다:

1. 시간해상도 불일치: 일봉 데이터와 분봉 데이터를 함께 쓰면 어떻게 해야 하나요?
2. 비정상성: 시장의 성질이 시간에 따라 바뀝니다. 2020년의 시장과 2024년의 시장은 다른 세계입니다.
3. 잠재요인: 관측되지 않는 숨은 변수가 가격에 영향을 미칩니다.

이 세 가지를 "세 가지 악마(three demons)"라고 부르는 논문이 이달에 나왔습니다.

인과추론의 관점에서 재해석

이 논문은 이 세 가지 문제를 인과추론(causal inference)의 관점에서 체계적으로 재해석합니다. 핵심 발견은 이겁니다: 세 문제가 독립적이 아니라 상호 얽혀 있어서, 하나를 무시하고 다른 하나만 해결하면 오히려 잘못된 인과 결론에 도달할 수 있다.

예를 들어, 시간해상도를 맞추지 않으면 비정상성이 더 심해 보이고, 잠재요인을 무시하면 시간해상도 문제의 해결책이 오히려 역효과를 낼 수 있어요.

그래서 투자/실무엔?

알파 팩터를 개발할 때 "이 팩터가 정말로 수익을 예측하는 것인가, 아니면 시간해상도·비정상성·잠재요인의 착시인가?"를 꼭 따져봐야 합니다. 이 프레임워크를 참조하면 허위 발견(false discovery)을 줄일 수 있어요.

📄 On the Three Demons in Causality in Finance — B 티어, composite 59.3점

---

월 전체 Big Picture: "더 복잡한 것이 항상 더 좋은 것은 아니다"

2024년 1월의 금융 AI 연구를 관통하는 하나의 메시지가 있습니다.

러프 변동성의 우아한 수학이 SPX 데이터 앞에서 단순한 마코프 모델에 밀리고, 마코위츠 포트폴리오의 70년 된 프레임워크가 MDD 제한·FDR 통제 같은 실전 제약으로 진화하며, 블록체인 AMM의 새로운 시장 구조가 전통 미시구조 이론의 재활용을 촉발하고, LLM 에이전트가 단일 분류기를 대체하기 시작합니다.

이 모든 연구가 공통적으로 말하는 건 이겁니다: 현실 데이터를 이기는 이론은 없다. 수학적으로 아름다운 모델이든, 최신 AI든, 실제 시장 데이터 앞에서 겸손해야 합니다.

다음 달에도 새롭게 공개된 연구들로 찾아뵙겠습니다.

---

더 알아보기

• 📊 S/A 등급 논문 전체 목록: 백필 리포트 2401 참조
• 🔗 ohselab: https://ohselab.com
• 📬 구독·상담: ohselab.com에서 뉴스레터 구독 및 투자 전략 상담 신청

---