포트폴리오의 '합리성'을 되찾다 — 2025년 3월 금융 AI 연구 리뷰

2025년 3월, arXiv에 올라온 금융 AI 논문 138편을 분석했습니다. 포트폴리오 이론의 고전인 마코위츠 모형에는 사실 '비합리적'인 구간이 있습니다. 이 달의 연구들은 그 결함을 수학적으로 바로잡고, 비유동성 자산까지 포함한 현실적 배분 문제를 풀며, 헤지와 내부화 사이의 최적 균형을 찾습니다. 포트폴리오의 '합리성'을 되찾기 위한 5가지 연구를 소개합니다.

---

들어가며: 마코위츠 모형의 숨겨진 결함

투자 공부를 조금만 해보면 '평균-분산 최적화'라는 말을 듣습니다. 1952년 해리 마코위츠가 제안한 이 이론은, 수익률의 평균과 분산(변동성)만으로 최적 포트폴리오를 찾는 방법입니다. 현대 포트폴리오 이론의 출발점이죠.

그런데 이 고전적 프레임워크에는 놀라운 결함이 있습니다. "돈을 더 많이 가진 쪽을 덜 선호"하는 구간이 있다는 것입니다. 수익률 분포가 (동일 확률)일 때, 마코위츠 효용 함수는 0.6을 1.2보다 더 좋아할 수 있습니다. 말이 안 되죠.

2025년 3월에 발표된 논문들은 이 문제부터 시작합니다.

---

테마 1: 마코위츠를 고치다 — 단조 평균-분산(MMV) 효용

문제: 포트폴리오 이론의 '비합리적' 구간

마코위츠 효용의 핵심 수식은 간단합니다: U(w) = E[w] - γ·Var(w). 기대수익률에서 변동성을 뺀 값이 클수록 좋은 포트폴리오죠. 하지만 이 수식에는 비단조성(non-monotonicity)이라는 치명적 결함이 있습니다. "더 많이 가졌는데 덜 만족"하는 비합리적 영역이 존재한다는 뜻입니다.

해결: 최소한의 수정으로 합리성 회복

런던 시립대 Aleš Černý 교수팀은 마코위츠 효용의 최소 수정(minimal modification)인 MMV(Monotone Mean-Variance) 효용을 제안합니다. 핵심 아이디어는 다음과 같습니다:

• 고전 마코위츠: U(w) = E[w] - γ·Var(w) → 비단조 구간 존재
• MMV: 마코위츠와 거의 같은 형태이지만, 자산 간 합리적 순서(rational ordering)를 보존하도록 수정
• 가정의 완화: 동등 마팅게일 측도의 존재보다 약한 가정, 자산 수익률의 모멘트 제한 없음

이 논문은 MMV 효용 아래 동적 최적 포트폴리오를 독립수익률 모형 전반에서 처음으로 완전 특성화했습니다.

핵심 발견: 단조 샤프 비율

가장 흥미로운 발견은 단조 샤프 비율(MSR, Monotone Sharpe Ratio)입니다. 전통적 샤프 비율은 수익률의 비대칭성·왜도를 무시하지만, MSR은 이를 자연스럽게 포착합니다. 논문은 "전역 MSR²은 국소 MSR²의 연속 복리 이자율"이라는 해석을 제시합니다.

실전 시사점: 평균-분산 프레임워크를 유지하면서도 비합리적 선호 역전을 피하는 동적 자산배분 규칙 설계에 직접 적용 가능합니다. 기존 백테스트 프레임워크의 유틸리티 함수를 MMV로 교체하는 것만으로도 더 안전한 의사결정이 가능해집니다.

관련 논문

• Bayesian Optimization for CVaR-based portfolio optimization (2503.17737): CVaR 같은 비매끈 목적함수를 베이지안 최적화로 직접 탐색. 미분이 불가능한 위험 측도도 최적화 가능
• Hierarchical Minimum Variance Portfolios (2503.12328): 계층적 구조를 가진 포트폴리오에서 최소분산을 찾는 이론적·알고리즘적 접근

---

테마 2: 사모자산 배분의 5가지 현실 — DKGP로 푸는 기관투자자의 고민

문제: 상장자산만으로는 부족한 현실

대부분의 포트폴리오 연구는 상장 주식·채권을 다룹니다. 하지만 기관투자자(연기금, 보험사, 대학 기금)의 실제 포트폴리오에는 사모자산(Private Equity, 인프라, 부동산)이 상당 부분 포함됩니다. 사모자산은 매도가 즉시 불가하고, 캐피털 콜과 분배 사이에 수년의 시차가 있으며, 수익률이 마크투마켓 스무딩으로 인해 인위적으로 부드럽게 보입니다.

해결: 5가지 현실을 하나의 모형으로

MIT Hui Chen 교수팀은 사모자산 배분의 5가지 현실적 요소를 하나의 동적 최적화 프레임워크에 통합했습니다:

1. 비유동성: 즉시 매도 불가
2. 캐시플로 시차: 커밋먼트 → 콜 → 디스트리뷰션의 시간 지연
3. 경기국면: 침체/확장 매크로 상태 전환
4. 수익률 자기상관: 마크투마켓 스무딩으로 인한 ~0.2 자기상관
5. 규제 제약: 리스크 기반 자본요건(RBC) 위반 시 페널티

상태공간이 6차원(유동자산, 비유동자산, 미콜 커밋먼트, 기대 PE 수익률, 매크로 상태, 시간)이라 전통적 수치해법이 불가능합니다. 해법은 Deep Kernel Gaussian Process(DKGP) — 신경망이 내장된 가우시안 과정으로 가치/정책 함수를 근사합니다.

무엇을 발견했나

• 최적 PE 비중: 램프업(1~4년) → 정상화(~62% PE, ~5% 주식, 나머지 채권)
• 경기국면 효과: 침체기에는 PE 콜 레이트가 4배 증가(0.047→0.18), 청산 할인이 90%→66%로 심화
• 레버리지의 그림자: 주식-PE 상관관계가 침체기 0.95 vs 확장기 0.46. "다각화" 효과가 침체기에 사실상 소멸

실전 시사점: 기관형 장기자금의 사모·공모 혼합 포트폴리오, 유동성 버짓, 커밋먼트 페이싱 설계에 직접 참고 가능. 특히 경기국면 전환 시 PE 배분의 급격한 조정이 필요함을 수치적으로 보여줍니다.

---

테마 3: 헤지할까, 내부화할까 — 거래 흐름의 최적 관리

문제: 매일 반되는 의사결정

마켓메이커든, 소매 주문을 처리하는 증권사든, 매일 같은 질문에 직면합니다: "이 주문을 시장에서 헤지할까, 아니면 내부적으로 보유할까?" 내부화하면 실행 비용을 절약할 수 있지만, 가격 변동 리스크를 떠안게 됩니다.

해결: Riccati 방정식과 RL의 하이브리드

파리-디드로대 Philippe Bergault 연구팀은 이 문제를 수학적으로 정식화했습니다. 호가를 왜곡(skew)할 수 없는 에이전트(센트럴 리스크 북, 소매 주식 유입 등)에 초점을 맞추죠.

핵심은 두 가지 해법의 조합입니다:

• 이차 실행비용 하에서는 행렬 Riccati 미분방정식으로 준폐형해를 도출할 수 있습니다. 빠르고 정확하죠.
• 일반 실행비용에서는 PDE 격자에 인위적 경계 오류가 전파됩니다. 이때 PPO(Proximal Policy Optimization) RL이 경계 없이 해를 근사합니다.

놀라운 점은, 리스크 회피도(γ)를 높이면 헤지 속도가 증가하고 최종 재고가 감소하는 직관적 패턴이 수학적으로 엄밀하게 도출된다는 것입니다. 실행 비용(η)이 높을수록 내부화를 선호하게 되고요.

실전 시사점: 준폐형해를 활용한 빠른 정책 근사 + RL 보완의 하이브리드 접근이 실행 데스크의 일상적 의사결정에 유용합니다.

관련 논문

• Wasserstein Robust Market Making via Entropy Regularization (2503.04072): 워터스타인 거리로 모형 불확실성을 고려한 강건 마켓메이킹
• Generating realistic metaorders from public data (2503.18199): 공개 데이터로 리얼리스틱 메타오더를 생성해 시장 영향 모델링

---

테마 4: AI 에이전트가 시장에 들어오다 — 금융 LLM의 진화

문제: 텍스트 추천과 실제 거래의 간극

AI 챗봇에게 "이 주식을 살까요?"라고 물으면 그럴듯한 대답이 나옵니다. 하지만 진짜 시장에서는 주문을 넣고, 호가창에서 경쟁하고, 부분 체결을 겪어야 합니다. 2025년 3월의 연구들은 이 간극을 줄이기 위한 다양한 시도를 보여줍니다.

한국어 금융 LLM의 첫 번째 리더보드

한국어 금융 NLP 분야의 최초 공개 리더보드인 Won이 발표되었습니다. 8주간 1,119건의 제출을 평가한 결과, 5개 카테고리(재무·회계, 주가 예측, 기업 분석, 금융 시장, 금융 에이전트)에서 모델들의 성능이 체계적으로 비교되었습니다.

특히 금융 에이전트 태스크 카테고리가 별도로 존재한다는 점이 주목할 만합니다. LLM이 단순 QA를 넘어 실제 트레이딩 의사결정을 수행할 수 있는지를 평가하겠다는 방향을 제시하죠. 80,000건의 공개 지시 데이터셋(HuggingFace: KRX-Data/Won-Instruct)도 함께 공개되었습니다.

관련 논문

• DeepFund: Will LLMs be Professional at Fund Investment? (2503.18313): 정적 QA가 아닌 라이브 시장에서 LLM의 펀드운용 능력을 평가하는 아레나
• Real AI Agents with Fake Memories (2503.16248): Web3 에이전트의 입력·메모리 조작 공격을 체계화. 에이전트 보안 = 금융 프로토콜 리스크

---

테마 5: 이산에서 연속으로 — 변동성 모델의 수학적 연결

문제: 미시구조와 연속시간 모형의 괴리

실제 시장에서는 가격이 이산적으로 움직입니다. 하지만 옵션 프라이싱이나 변동성 추정에는 연속시간 모형(예: Heston, Rough Heston)을 사용합니다. 이 둘 사이의 수학적 연결이 명확하지 않으면, 모형의 캘리브레이션이나 해석에 문제가 생깁니다.

해결: INAR 과정의 스케일링 극한

플로리다주립대 Yingli Wang 연구팀은 거친 Heston(Rough Heston) 변동성 모형을 이산시간 INAR(∞) 과정의 스케일링 극한으로 유도하는 데 성공했습니다.

핵심 연결은 놀랍도록 깔끔합니다:

• INAR의 비대칭 파라미터 ↔ 레버리지 상관관계
• 확산 스케일 ↔ 연속시간 모형의 변동성

이 연결이 성립하면, 이산적 시장 데이터에서 직접 INAR 파라미터를 추정하고, 이를 연속시간 모형의 입력으로 사용할 수 있습니다. 옵션 프라이싱에는 FFT 가속 CDQ 시뮬레이터를 사용해 경로당 O(τ log²τ) 복잡도를 달성합니다.

실전 시사점: 변동성 모형의 캘리브레이션 프레임워크에 직접 활용 가능. 이산 미시구조 데이터에서 rough volatility 파라미터를 직접 읽을 수 있는 구조입니다.

관련 논문

• Axes that matter: PCA with a difference (2503.06707): 미분정보를 활용한 supervised PCA로 파생상품의 차원축소
• Commodity Futures Term Structure Through Signatures (2503.00603): 시그니처 기법으로 원자재 선물 만기구조를 해석 가능한 perturbation 이론으로 분석

---

마치며: 합리성의 복원

2025년 3월의 연구들은 하나의 공통된 방향을 가리킵니다: 포트폴리오 이론의 '합리성'을 되찾는 것.

• 마코위츠의 비합리적 선호 역전을 MMV로 수정하고
• 비유동성·경기국면·규제라는 현실적 제약을 수학적으로 반영하고
• 헤지와 내부화의 최적 균형을 준폐형해로 찾고
• 이산적 시장 데이터와 연속시간 모형을 수학적으로 연결하고

AI 에이전트가 시장에 진입하는 시대에서, 이론적 기반의 정교화는 더욱 중요해집니다. "그럴듯한 추천"이 아니라 "수학적으로 합리적인 의사결정"을 내리는 시스템을 만들려면, 기초가 되는 포트폴리오 이론 자체가 먼저 합리적이어야 하니까요.

---

이 글은 2025년 3월 arXiv에 공개된 금융 AI 논문 138편을 분석한 결과입니다. 자세한 기술 분석은 백필 리포트에서 확인하실 수 있습니다. 연구 피드백이나 제안이 있으시면 ohselab.com으로 연락 주세요.