2024년 12월 AI 퀀트 연구 종합: 포트폴리오의 현실 적응기

이상적인 수학 모형이 현실의 거래비용, 추정 오차, 불확실한 시장과 마주하면 어떻게 될까요? 2024년 12월에 arXiv에 올라온 연구들은 이 질문에 하나같이 "현실을 모형 안에 넣자"고 답합니다. 이 글에서는 그 달의 주목할 만한 논문들을 다섯 가지 테마로 풀어 설명합니다.

---

들어가며

모든 투자자는 꿈을 꿉니다. 완벽한 예측, 완벽한 타이밍, 완벽한 포트폴리오. 하지만 현실은 어떨까요? 예상치 못한 거래비용이 수익을 갉아먹고, 모형이 믿는 '평균'은 실제와 다르며, 시장은 늘 예측 불가능한 방향으로 움직입니다.

2024년 12월에 공개된 수백 편의 연구 중에서 가장 눈에 띄는 흐름은 바로 이것입니다: 이론의 아름다움을 포기하지 않으면서도 현실의 지저분함을 정면으로 받아들이는 방법들을 학계가 진지하게 탐구하기 시작했다는 것.

---

테마 1: 포트폴리오, 추정 오차와 거래비용을 품다

왜 문제가 되나요?

전통적인 포트폴리오 이론(마코위츠의 평균-분산 모형)은 "미래 수익률과 위험을 정확히 안다"고 가정합니다. 하지만 실제로는 과거 데이터로 추정한 수치를 쓰기 때문에 오차가 생기고, 그 오차가 포트폴리오를 엉뚱하게 만들 수 있습니다. 거래할 때마다 수수료와 시장충격이 발생하는 것도 현실이죠.

뭐가 새로워졌나요?

첸(Chen)과 동료들의 논문은 이 두 문제를 한 번에 해결하는 프레임워크를 제안합니다(arXiv:2412.19462). 핵심 아이디어는 두 가지입니다:

1. "모른다"를 수학적으로 표현: 미래 수익률의 진짜 값이 우리가 추정한 값 근처 어딘데, 정확히 어디인지는 모른다고 가정합니다. 이 불확실한 영역을 "타원 불확실성 집합"이라는 수학적 도구로 표현하죠.
2. "너무 많이 나누지 마라": 종목 수에 제한을 두는 대신, 거래비용이 목적함수에 직접 들어갑니다.

놀라운 발견은 평균-분산 최적화 자체가 이미 어느 정도 강건하다는 것입니다. 위험회피 수준을 적절히 설정하면, 추정 오차에 대한 방어가 자연스럽게 작동한다는 거죠. 여기에 카디널리티 제약(종목 수 제한)을 더하면 거래비용까지 통제할 수 있습니다.

함께 읽을 논문들

• 거래비용을 목적함수에 직접: 대규모 자산군(종목 수가 많을 때)에서 거래비용을 넣은 비볼록 최적화(2412.11575).
• 레버리지 ETF의 재발견: 단순 보유가 아니라 동적 최적화의 구성요소로 쓰면 벤치마크를 이길 수 있다는 분석(2412.05431).

이 테마의 공통 메시지

포트폴리오 최적화의 다음 단계는 "이상적인 해"를 구하는 것이 아니라, 추정 오차와 거래비용이 존재하는 현실에서도 안정적으로 작동하는 해를 구하는 것이다.

---

테마 2: 강화학습, 시장 계수를 추정하지 않다

왜 문제가 되나요?

강화학습(RL)으로 포트폴리오를 관리하려면 보통 이렇게 합니다: 시장 데이터를 보고 "주가가 이렇게 움직일 확률이 높다"고 추정한 뒤, 그 추정치에 기반해 최적 전략을 찾습니다. 문제는 추정이 틀리면 전략도 틀린다는 것이죠.

뭐가 새로워졌나요?

황(Huang), 자(Jia), 저우(Zhou) 세 연구자는 "추정 자체를 하지 말자"고 제안합니다(arXiv:2412.16175). 주가가 어떤 확산 과정(diffusion process)으로 움직인다는 것은 알지만, 그 과정의 구체적인 계수(드리프트, 변동성 등)는 모르는 상태에서, 직접 데이터로부터 최적 전략을 학습하는 것입니다.

쉽게 말하면, "주가가 어떻게 될지 예측하는 연습" 대신 "어떻게 투자해야 하는지"를 직접 연습하는 셈입니다.

구체적인 성과를 보면:

• S&P 500 구성종목을 대상으로 대규모 실증 실험을 했습니다.
• 기존의 여러 포트폴리오 배분 전략과 비교해 일관되게 최상위 성능을 보였습니다.
• 특히 변동성이 큰 약세장에서 강한 면모를 보였습니다.
• 이론적으로도 샤프비율 기준 준선형 후회(regret) 하한을 처음으로 증명했습니다.

함께 읽을 논문들

• 수익과 리스크를 분리: 수익 극대화와 리스크 제어를 두 단계로 나눈 다목적 프레임워크(2412.03038). 위험 허용도를 직접 조절할 수 있어 실전에 가깝습니다.
• 포트리킨의 지혜를 빌리다: 연속시간 최적제어의 고전인 포트리킨 최대원리를 딥러닝 정책학습에 접목(2412.13101).
• 현실 제약까지: 공매도 금지, 차입 제한 같은 흔한 금융 규제를 반영한 RL 포트폴리오(2412.10692).

이 테마의 공통 메시지

RL 기반 포트폴리오 관리가 "토이 문제"를 넘어 "현실 시장"으로 이동하고 있다. 시장 계수 추정 없이, 제약 조건과 다목적까지 고려하면서.

---

테마 3: 옵션 가격을 '학습'하다 — 금융 정보 신경망

왜 문제가 되나요?

옵션 가격을 계산하려면 보통 "주가가 이러이러한 확률 분포를 따른다"고 가정한 뒤 수학 공식을 풉니다. 대표적인 것이 블랙-숄즈 모형이죠. 하지만 실제 시장은 이 가정을 자주 벗어납니다. 변동성이 일정하지 않고(헤스톤 모형), 꼬리 위험이 더 크고, 때로는 해석적 공식 자체가 없습니다.

뭐가 새로워졌나요?

아부살라(Aboussalah)와 동료들은 완전히 다른 접근을 제안합니다(arXiv:2412.12213). 옵션 가격 자체를 학습 데이터로 쓰지 않습니다. 대신, "이 옵션을 헤징하려면 얼마가 필요할까?"라는 복제(replication) 문제를 풀면서 신경망이 자연스럽게 가격을 학습하게 합니다.

이것이 의미하는 바는 큽니다:

1. 경제적 일관성이 구조적으로 보장됩니다: 복제오차를 최소화하면 무차익(arbitrage-free) 가격 연산자가 자동으로 복원됩니다.
2. 풋-콜 패리티가 알아서 나옵니다: 신경망이 아무도 가르쳐주지 않았는데 경제 법칙을 스스로 발견합니다.
3. 블랙-숄즈는 물론, 헤스톤 환경에서도 작동합니다: 해석적 공식이 불안정한 영역까지 안정적으로 가격을 냅니다.
4. 상장 옵션이 없는 자산에도 적용 가능: 과거 현물가격만으로 옵션 가격과 그릭스(민감도)를 구축할 수 있습니다.

함께 읽을 논문들

• 헤스톤 시뮬레이션을 간단하게: 제곱근 확산의 비음수 보존 스킴으로 적은 타임스텝으로도 높은 정밀도를 달성(2412.11264).
• 베이지안으로 확률적 예측: 이론 모형에 직접 베이지안 근사를 붙여 미래 옵션가격의 분포를 빠르게 추정(2412.00658).
• rough volatility 보정을 비지도로: 대규모 합성데이터 없이 BSDE 표현으로 보정(2412.02135).

이 테마의 공통 메시지

파생상품 가격결정이 "파라미터를 추정하고 공식에 대입"하는 패러다임에서, "데이터에서 직접 가격 연산자를 학습"하는 패러다임으로 이동하고 있다.

---

테마 4: 시장 미시구조, 확산모델이 점과정을 대체하다

왜 문제가 되나요?

주식 시장에서는 1초에도 수많은 주문이 들어옵니다. 이 주문들의 패턴(언제, 어떤 종류의 주문이 들어오는가)을 이해하는 것이 시장 미시구조 연구의 핵심입니다. 기존에는 호크스(Hawkes) 과정 같은 확률점과정을 썼는데, 시간과 이벤트 유형의 결합 분포를 제대로 잡기 어려웠습니다.

뭐가 새로워졌나요?

확산모델(diffusion model) — 이미지 생성에서 유명해진 바로 그 기술이 — LOB(지정가주문서) 이벤트 예측에 적용되었습니다(arXiv:2412.09631). 주문의 도착 시점과 타입(시장가, 지정가, 취소 등)을 동시에 모델링할 수 있어, 기존 점과정 접근의 한계를 극복합니다.

함께 읽을 논문들

• 브로커와 트레이더의 두뇌 싸움: 브로커-중개 시장에서 양쪽이 서로의 사적 정보를 추론하며 전략적으로 학습하는 상호작용을 정식화(2412.20847). 정보누출과 주문흐름의 경제적 가치를 함께 다루는 뛰어난 분석(insight 84점).
• DeFi의 미시구조: 집중유동성 시장메이커(CLMM)를 연속시간 측도값 과정으로 정식화해 온체인 유동성의 수학적 모델링(2412.18580).
• 패시브 주문의 충격: 지정가 주문의 시장충격을 LOB 유동성과 연결한 새로운 모델(2412.07461).

이 테마의 공통 메시지

미시구조 모델링이 "평균적인 가격 움직임"에서 "개별 이벤트의 시점과 유형"으로 정밀해지고 있으며, 그 도구로 딥러닝 생성모델이 떠오르고 있다.

---

테마 5: LLM이 뉴스 감성을 읽다

왜 문제가 되나요?

뉴스가 주가에 영향을 미친다는 것은 상식입니다. 하지만 그 영향을 숫자로 정확히 측정하려면, 뉴스의 "감성"(긍정/부정)을 정확히 읽어야 합니다. 기존에는 Loughran-McDonald 같은 금융 특화 사전(단어 목록에 점수를 매긴 것)을 썼는데, 뉘앙스를 놓치는 경우가 많았습니다.

뭐가 새로워졌나요?

약 96만 건의 미국 금융 뉴스(2010~2023)를 대상으로 BERT, OPT, FINBERT 등 대규모 언어모델(LLM)과 전통 사전법을 체계적으로 비교한 연구가 나왔습니다(arXiv:2412.19245). 결론은 명확합니다: LLM이 일관되게 더 정확합니다.

더 흥미로운 것은 단순히 "LLM이 더 낫다"는 결과가 아닙니다. 같은 연구팀이 아니라 다른 연구자들이 "뉴스 내용뿐 아니라 확산 경로와 맥락까지 고려하면 더 좋다"고 보여준 것도 있습니다(2412.10823). 즉, LLM 감성분석의 다음 단계는 "무슨 말을 했는가"에서 "어떻게 퍼졌는가"로 이동하고 있습니다.

이 테마의 공통 메시지

금융 감성분석에서 LLM은 더 이상 실험적 도구가 아니라 기본 도구가 되었다. 다음 경쟁은 "더 정확한 감성"이 아니라 "더 풍부한 맥락"에서 벌어질 것이다.

---

그래서 전체를 관통하는 메시지는?

2024년 12월의 연구들을 한 문장으로 요약하면 이렇습니다:

"현실의 불확실성·비용·제약을 모형 안에 넣는 것"이 더 이상 선택이 아니라 기본이 되었다.

포트폴리오 최적화에서는 추정 오차와 거래비용을 정면으로 다루고, RL에서는 시장 계수 추정을 건너뛰며, 옵션 가격결정에서는 파라미터 가정 대신 복제 원리에서 학습하고, 미시구조에서는 생성모델이 전통적 통계 모델을 대체하고, 감성분석에서는 LLM이 사전법을 확실히 밀어냈습니다.

이것은 단순한 "방법론의 발전"이 아닙니다. 금융 모형이 자기 한계를 인정하고, 그 한계 안에서 최선을 찾는 방향으로 진화하고 있다는 신호입니다. 현실은 항상 모형보다 복잡하지만, 현실을 정직하게 받아들이는 모형이 결국 더 오래 살아남습니다.

---

더 알아보기

이 글에서 다룬 A등급 논문들의 점수를 참고하세요:

N=Novelty, A=Applicability, R=Rigor, Re=Reproducibility, I=Insight