수학이 월스트리트에 발을 들이다 — 2021년 1월 금융 AI·퀀트 논문 하이라이트

들어가며

자전거를 탈 때, 핸들은 항상 "앞으로 갈 방향"을 미리 알려줍니다. 그런데 만약 핸들을 돌린 뒤 3초 뒤에야 자전거가 반응한다면요? 바로 이 문제가 금융 시장에서 벌어지고 있습니다. 주문을 넣는 시점과 실제 체결되는 시점 사이에는 언제나 지연이 존재하고, 이 지연은 때로 치명적인 손실을 불러옵니다.

2021년 1월에 발표된 논문들은 바로 이런 "현실의 불완전함"을 수학으로 다루는 데 초점을 맞추고 있습니다. 포트폴리오를 짤 때 시장 상황에 따라 전략을 바꾸고, 주문을 넣을 때 시장 충격의 불확실성을 고려하고, 마켓메이커가 호가를 정할 때 수요의 변동까지 반영합니다. 이번 달 코호트에는 총 152편의 논문이 등록되었고, 그중 18편이 최상위 A 등급을 받았습니다.

그중 다섯 가지 연구 테마로 나눠 가장 흥미로운 논문들을 살펴보겠습니다.

---

테마 1: 시장 상황에 맞춰 포트폴리오를 짜다

문제: 같은 전략이 모든 시장에서 통할까?

투자자들이 흔히 범하는 실수가 있습니다. "좋은 포트폴리오"를 한 번 만들면, 시장이 변해도 그대로 유지하려 합니다. 하지만 금리가 오르거나, 변동성이 폭발하거나, 특정 섹터가 급락할 때 — 포트폴리오의 평균 수익률과 위험 구조는 완전히 달라집니다.

핵심 아이디어: 국면별로 "다른 포트폴리오"를 짜자

스탠포드 대학의 Stephen Boyd 교수팀이 발표한 논문(2101.04113)은 이 문제를 우아하게 해결합니다. 핵심 아이디어는 다음과 같습니다.

시장 상태(VIX 수준, 금리 환경 등)를 관측 가능한 "국면"으로 나눕니다. 그리고 각 국면별로 자산 수익률의 평균과 공분산을 따로 추정합니다. 이때 문제가 생기는데, 데이터가 부족한 국면에서는 추정이 불안정해집니다.

해결책은 라플라시안 정규화라는 수학적 장치입니다. 쉽게 말하면, "비슷한 시장 국면은 비슷한 포트폴리오를 가져야 한다"는 규칙을 수식에 넣는 것입니다. 마치 지도에서 가까운 도시의 날씨가 비슷하듯, 인접한 시장 국면의 파라미터가 급변하지 않도록 부드럽게 만들어 줍니다.

결과: 단일 국면 모형 대비 샘플 외 성과가 개선되며, 데이터가 부족한 극단 국면(예: 2008년 같은 위기 상황)에서 라플라시안 정규화의 효과가 특히 뚜렷합니다. 거래비용과 레버리지 제약까지 함께 최적화할 수 있어 실전 적용 가능성이 높습니다.

이 테마의 공통 인사이트

2021년 1월의 포트폴리오 논문들은 공통적으로 "정적인 좋은 포트폴리오"보다 "상황에 적응하는 포트폴리오"를 추구합니다. 시장 국면을 관측 변수로 활용하고, 거래비용·레버리지 제약을 함께 고려하는 방향으로 이론이 진화하고 있습니다.

---

테마 2: 주문을 넣을 때, 시장 충격의 불확실성을 고려하라

문제: 주문이 시장을 움직인다

대량 주문을 한꺼번에 넣으면 시장 가격이 움직입니다. 이것을 "시장 충격(price impact)"이라고 합니다. 그런데 이 충격이 일정한 값이 아니라, 시시각각 변합니다. 유동성이 풍부한 시간에는 충격이 작고, 유동성이 마른 시간에는 충격이 커집니다.

핵심 아이디어: 확률적 충격을 수학으로 잡아라

Jean-Pierre Fouque 교수팀의 논문(2101.10053)은 이 문제를 정밀하게 다룹니다. 시장 충격이 확률적이고 빠르게 평균회귀(mean-reverting)한다는 사실에 주목합니다. 쉽게 말하면, 충격이 일시적으로 커졌다가 빠르게 원래 수준으로 돌아온다는 뜻입니다.

이 논문은 확률적 통제(stochastic control) 이론으로 최적 집행 전략을 구하고, 복잡한 수학 문제를 특이 섭동(singular perturbation)이라는 기법으로 근사합니다. 근사의 정확성을 보장하기 위해 "하해"와 "상해"라는 수학적 경계를 구성해 증명합니다.

실제 MSFT(마이크로소프트) 2014년 데이터로 커널 함수를 추정한 결과, 빠른 평균회귀 속도에서는 1차 근사만으로도 충분히 정확하지만, 느린 회귀에서는 더 높은 차수의 근사가 필요함을 보여줍니다.

이 테마의 공통 인사이트

거래 비용(시장 충격)은 확률적이며 빠르게 변합니다. 이를 단순한 고정값으로 가정하면 최적 전략이 크게 달라질 수 있습니다. 확률적 통제 프레임워크로 모델링하고, 닫힌형태 근사 또는 수치 해를 구하는 방향으로 최적 집행 이론이 정교화되고 있습니다.

---

테마 3: 마켓메이커의 고민 — 수요의 변동을 예측하라

문제: 마켓메이커는 왜 손실을 보는가?

마켓메이커는 사자(Bid)와 팔자(Ask) 호가를 동시에 제시하고, 그 차이(스프레드)로 수익을 냅니다. 그런데 재고가 한쪽으로 쏠리면 손실을 볼 수 있습니다. 예를 들어, 매도 주문만 계속 들어와서 재고가 쌓이면, 가격이 하락할 때 큰 손실을 입게 됩니다.

핵심 아이디어: 수요의 변동까지 고려한 최적 호가

Capponi 교수팀의 논문(2101.03086)은 이산 시간 주문장(LOB)에서 마켓메이커의 최적 전략을 명시적으로 구합니다. 핵심은 "수요의 기울기가 확률적"이라는 점입니다.

쉽게 말하면, "이 가격에 몇 명이 주문할지"가 매번 달라진다는 뜻입니다. 이 논문은 이 확률적 수요를 반영해 최적 호가를 계산합니다.

흥미로운 발견들이 있습니다:

• 수요 기울기의 확률성이 재고 관리 동기를 줄입니다. 수요가 불확실하니, 재고 편향을 줄이려는 노력이 덜 중요해집니다.
• 매수·매도 주문이 동시에 들어오면, 재고 그림자 비용이 줄어들고, 더 큰 흐름을 실행하기 위해 가격 압력을 낮춥니다.
• 실증 분석에서, 수요 확률성과 동시 도착을 무시한 전략을 초과 성과로 입증합니다.

이 테마의 공통 인사이트

고빈도 시장에서 마켓메이킹은 단순한 "스프레드 설정"이 아닙니다. 확률적 유동성 수요, 동시 양방향 주문 도착, 거래소 지연까지 고려해야 합니다. 2021년 1월의 논문들은 이런 현실적 요소들을 수학 모형에 반영하며 정확성을 높이고 있습니다.

---

테마 4: 강화학습이 "현실의 지연"을 만났을 때

문제: 행동이 늦게 실행되면 최적 전략이 망가진다

강화학습으로 트레이딩 전략을 학습할 때, 보통 "행동을 결정하면 즉시 실행된다"고 가정합니다. 하지만 현실에서는 주문을 넣은 뒤 수 밀리초에서 수 초가 걸립니다. 이 지연이 있으면, "최적"이라고 학습한 전략이 실제로는 최적이 아닐 수 있습니다.

핵심 아이디어: 비정상 정책이 해답이다

Esther Derman 연구팀의 논문(2101.11992, ICLR 2021)은 이 문제를 체계적으로 다룹니다.

기존 접근법인 "상태 확장(state augmentation)"은 지연 스텝 수 $m$에 대해 복잡도가 지수적으로 증가합니다. 예를 들어 지연이 5 스텝이면, 상태 공간이 수천 배로 커질 수 있습니다.

이 논문은 놀라운 결론을 제시합니다:

• 원래 상태 공간에서의 마르코프 정책이 최대 보상을 달성하려면 비정상(non-stationary)해야 합니다.
• 정상(stationary) 마르코프 정책은 지연 환경에서 일반적으로 준최적입니다.

쉽게 말하면, "같은 상황에서 항상 같은 행동을 하면 안 된다"는 뜻입니다. 지연이 있다면, "지금이 몇 번째 스텝인가"에 따라 다르게 행동해야 합니다.

제안된 비정상 Q-learning 알고리즘은 상태 확장 없이 동작하며, 표준·물리·아타리 영역 실험에서 기존 접근법을 크게 초과합니다.

이 테마의 공통 인사이트

강화학습을 실제 거래에 적용하려면, "이상적인 시뮬레이션"과 "현실의 불완전함" 사이의 간극을 메워야 합니다. 실행 지연과 오프라인 데이터에서의 안전한 정책 평가가 핵심 과제로 부상하고 있습니다.

---

테마 5: 모델 없이도 가격 경계를 구할 수 있을까?

문제: 어떤 모형을 써야 할지 모를 때

파생상품(옵션 등)을 가격할 때, 보통 특정 수학 모형(블랙-숄츠, 헤스턴 등)을 가정합니다. 그런데 어떤 모형이 맞는지 확신이 없으면요? 모형을 잘못 선택하면 헤지 비용이 크게 달라질 수 있습니다.

핵심 아이디어: 동적 옵션 거래로 가격 경계를 좁혀라

Neufeld와 Sester의 논문(2101.01024)은 "모형을 가정하지 않고" 이색 옵션의 가격 상한을 구하는 방법을 제시합니다.

기존에는 "반정적(semi-static) 거래"만 허용했습니다. 쉽게 말하면, 바닐라 옵션을 사고 팔아서 이색 옵션의 가격 경계를 구하는 것입니다. 이 논문은 여기에 동적 옵션 거래를 추가합니다. 바닐라 옵션을 시간에 따라 사고 팔 수 있게 한 것입니다.

이렇게 하면 기존 마팅게일 최적 수송 접근법에서 얻는 가격 경계를 체계적으로 축소할 수 있습니다. 아시안 옵션의 경우, 로그정규 주변분포 가정 하에서 가격 경계의 개선을 수치적으로 보여줍니다.

이 테마의 공통 인사이트

모형 불확실성은 퀀트 투자의 근본적 도전 과제입니다. 2021년 1월의 파생상품 논문들은 "모형을 선택하기 전에, 모형 독립적 경계부터 구하자"는 실용적 관점을 발전시키고 있습니다.

---

월 전체 Big Picture

2021년 1월 코호트를 관통하는 하나의 메시지가 있습니다: "이론의 정교함이 실전 적용의 가능성으로 전환되는 임계점에 있다."

포트폴리오 최적화에서는 국면 적응형 조건부 모형과 거래비용 인식 설계가, 알고리즘 트레이딩에서는 확률적 시장 충격의 정교한 통제 이론이 각각 이론과 실무의 간극을 좁히고 있습니다. 시장 미시구조 측면에서는 마켓메이킹 모형이 수요 확률성과 동시 주문 도착을 포착하며 현실성을 높였고, 강화학습 분야에서는 실행 지연이라는 실전 장벽을 넘어선 이론적 돌파구가 마련되었습니다.

수학이 월스트리트에 발을 들인 지 오래되었지만, 2021년 1월의 논문들은 그 수학이 "실제로 작동할 수 있는" 형태로 성숙해가는 과정을 보여줍니다.

---

함께하기

이 글이 유익하셨다면, 최신 퀀트·AI 연구 소식을 받아보세요.

• 🌐 ohselab.com — 연구 소식 및 상담
• 📧 구독 — 이메일로 최신 논문 요약을 받아보세요
• 🐦 팔로우 — 소셜 미디어에서 최신 업데이트를 확인하세요

---

더 알아보기

이 글에서 다룬 논문들의 상세 정보:

• Model-free price bounds under dynamic option trading — 5차원 점수: N72/A68/R88/R78/I74
• Portfolio Construction Using Stratified Models — 5차원 점수: N72/A82/R78/R68/I74
• Acting in Delayed Environments with Non-Stationary Markov Policies — 5차원 점수: N78/A62/R82/R84/I72
• Optimal Trading with Signals and Stochastic Price Impact — 5차원 점수: N76/A80/R87/R55/I78
• Market Making with Stochastic Liquidity Demand — 5차원 점수: N74/A78/R84/R48/I78