단순함이 이기고, 데이터가힘이다: 2023년 9월 퀀트 리서치 리뷰
왜 이 달이 흥미로운가? 2023년 9월에 발표된 금융 AI 논문들은 놀랍게도 한 목소리를 낸다: "더 복잡하게 만들지 마라." 정교한 통계 모델을 이기는 단순한 필터, 1만 개 주식을 한꺼번에 학습해서 예측력을 끌어올리는 글로벌 네트워크, 그리고 시장의 주문 흐름을 처음부터 끝까지 인공지능이 만들어내는 생성형 모델까지. 이번 달은 퀀트 연구의 방향이 바뀌고 있음을 보여주는 전환점이다.
들어가며: 냉장고에 비유하면
냉장고 정리를 생각해 보자. 어떤 사람은 음식을 종류별로 세밀하게 분류하고, 온도를 구역별로 다르게 설정하고, 유통기한을 실시간으로 추적하는 '스마트 냉장고'를 쓴다. 또 어떤 사람은 음식을 그냥 한쪽에 몰아넣고, 온도는 하나로 맞춘다.
2023년 9월의 포트폴리오 연구는 후자가 이길 수 있다는 것을 증명한다. 더 정교한 시스템이 항상 좋은 결과를 내지 않는다. 때로는 단순한 것이 실전에서 더 강하다. 그리고 한 가지 더: 냉장고에 음식을 많이 넣을수록 요리의 질이 올라간다. 데이터도 마찬가지다.
무엇이 문제였나: 복잡함의 함정
퀀트 투자에서 공분산 행렬(자산 간 움직임의 관계를 나타내는 표)은 포트폴리오를 구성하는 데 가장 중요한 입력이다. 이 공분산을 더 정확하게 추정하기 위해 학계에서는 수십 년간 복잡한 방법론을 발전시켜 왔다. DCC(동태적 조건부 공분산)에 비선형 축소(Non-Linear Shrinkage)를 결합한 방법이 최첨단으로 여겨져 왔다.
그런데 이 달, 한 논문이 그 모든 복잡한 방법을 대규모 실험에서 비교해 보더니 결론을 내렸다: 훨씬 단순한 Average Oracle 필터가 샤프비율(위험 대비 수익)에서 이긴다. 왜일까?
핵심 아이디어 ①: 단순함이 이기는 이유
Average Oracle vs DCC+NLS — 대결의 결과
Bongiorno와 Challet의 논문은 1,000개 자산으로 구성된 포트폴리오를 대상으로 수많은 무작위 실험을 설계했다. 비교 대상은 두 진영:
- Average Oracle: 과거 공분산의 단순 평균을 사용하는 필터. 계산이 빠르고 구현이 쉽다.
- DCC+NLS 계열: 시변(시간에 따라 변하는) 공분산을 추정하는 정교한 방법. 이차 축소, 레버리지 제약, 팩터 확장 등 여러 변종이 있다.
놀라운 결과가 나왔다.
DCC+NLS 변종 중 일부는 평균 실현 변동성을 약간 낮추는 데 성공했다. 하지만 그 대가가 너무 컸다:
- 회전율(turnover)이 Average Oracle 대비 10배나 높았다. 쉽게 말하면, 포트폴리오를 10배 더 자주 사고팔아야 했다는 뜻이다. 거래비용이 어마어마하게 늘어난다.
- 과도한 레버리지와 집중도를 보였다. 위험을 분산해야 할 포트폴리오가 오히려 몇몇 자산에 몰렸다.
- 결과적으로 평균 수익률이 낮아졌고, 이것이 샤프비율 하락으로 이어졌다.
쉽게 말하면: 비싼 스마트 냉장고를 사서 음식을 세밀하게 관리했는데, 오히려 음식을 너무 자주 꺼냈다 넣었다 하는 바람에 전기요금이 더 많이 나온 셈이다. 그냥 적당히 넣어두는 게 나았다.
핵심 교훈: 공분산 추정은 리스크 모델과 최적화 엔진 모두에 영향을 미치는 핵심 입력이다. 복잡한 DCC+NLS 파이프라인을 구축하기 전에, 단순하고 빠른 Average Oracle 필터부터 벤치마크로 삼아야 한다.
핵심 아이디어 ②: 생성형 AI가 주문 흐름을 만들다
오더북(LOB)이란 무엇인가?
주식시장에서 누가 어떤 가격에 얼마나 사고 싶은지, 팔고 싶은지를 기록한 장부를 오더북(Limit Order Book, LOB) 이라고 한다. 시장의 심장박동 같은 것이며, 모든 거래의 원자재다.
기존에는 오더북을 시뮬레이션하려면 통계적으로 주문을 샘플링하는 방식을 썼다. 하지만 2023년 9월, Nagy 등은 주문 메시지 하나하나를 인공지능이 직접 만들어내는 end-to-end 생성 모델을 처음 제안했다.
어떻게 작동하나?
이 모델은 놀랍게도 대규모 언어 모델(LLM)의 토큰화 방식에서 영감을 받았다.
- 주문 메시지(가격·수량·방향)를 토큰으로 변환 — 숫자를 토큰 그룹으로 묶는 방식
- 상태 공간 레이어(state-space layer) 로 긴 시퀀스를 효율적으로 처리 — Transformer보다 메모리를 적게 쓰면서 긴 패턴을 잡을 수 있다
- Jax-LOB 시뮬레이터와 결합 — 생성된 메시지로 오더북 상태를 업데이트
핵심 결과: 샘플 외 데이터에서 낮은 모델 퍼플렉시티(예측 불확실성)를 달성했고, 생성된 주문 흐름에서 계산한 미드프라이스 수익률이 실제 데이터와 유의미한 상관관계를 보였다. 코드는 오픈소스로 공개될 예정이다.
왜 중요한가? 이 모델은 "현실적인 합성 시장 데이터"를 만들어내는 공장이다. 고빈도 전략 검증, 집행 알고리즘 스트레스테스트, RL 에이전트 학습의 "월드 모델"로 바로 사용할 수 있다.
같은 테마의 다른 연구들
- 새로운 의존도 척도 (2309.00025): 고빈도 수익률의 비선형·꼬리 비대칭 의존성을 동시에 포착하는 비모수 척도를 제안한다. 리스크 전이를 더 정교하게 측정할 수 있는 도구다.
- 오프라인 propagator 모델 (2309.02994): 대량 주문(메타오더)이 가격에 미치는 일시적 충격을 정적 데이터에서 비모수적으로 학습해, 슬리피지를 줄이는 청산 전략으로 연결한다.
핵심 아이디어 ③: 데이터가 힘이다
"1만 개 주식을 한꺼번에 학습하면?"
뉴럴 네트워크는 많은 분야에서 혁명을 일으켰지만, 금융 시계열 예측에서는 여전히 논쟁적이었다. 모델을 아무리 잘 설계해도 예측이 잘 안 되는 경우가 많았다.
Liu 등은 그 원인이 데이터 부족에 있다고 진단했다. 기존에는 각 종목별로 모델을 따로 학습하는 "로컬" 방식이 일반적이었다. 데이터가 적으면 모델이 제대로 학습할 수 없다.
이 논문의 해법은 단순하지만 강력하다: 1만 개 이상의 글로벌 주식 데이터를 한꺼번에 풀링(pooling)해서 하나의 모델로 학습시켜라.
놀라운 결과:
- 학습 데이터셋이 클수록, 이질적일수록 예측 정확도가 눈에 띄게 향상
- 단 12개월 데이터만으로도 글로벌 학습 네트워크가 학습셋에 포함되지 않은 개별 종목에 대해 강건한 예측 제공
- 변동성의 주요 양식화된 사실(stylized facts)을 포착하면서 이상치에 대한 회복력과 시장 레짐 변화에 대한 빠른 적응력을 보임
쉽게 말하면: 요리를 잘하려면 한 가지 재료만 쓰는 것보다, 세계 각국의 재료를 다양하게 써보는 게 실력이 늘어나는 것과 같다. 데이터도 마찬가지다. 한 종목만 학습하는 것보다, 전 세계 주식을 함께 학습하면 각 종목의 예측력이 올라간다.
실무 시사점: 개별 종목별로 모델을 학습하는 기존 방식에서 벗어나, 대규모 멀티자산 공통 표현학습으로 전환하는 것이 변동성 예측·리스크 모델링·포지션 사이징 모두에 개선을 가져올 수 있다. 특히 데이터가 제한적인 한국 시장이나 신흥시장에서 글로벌 풀링 전략의 가치가 크다.
같은 테마의 다른 연구들
- FourNet (2309.03966): 특성함수만 알면 가우시안 활성화 신경망으로 전이밀도를 정확하게 근사하는 방법. 옵션 가격결정에 바로 연결된다.
- Deep Calibration of Rough Stochastic Volatility (2309.14784): 러프 변동성 포함 옵션가격-파라미터 맵을 DNN으로 근사할 때의 정량적 오차율을 제시한다.
핵심 아이디어 ④: RL이 고빈도와 DeFi를 만나다
고빈도 트레이딩의 난제
고빈도 트레이딩(HFT)은 비트코인 기준으로 월 240만 번의 의사결정이 필요하다. 기존 강화학습(RL)은 보통 수천~수만 번의 의사결정을 하는 저빈도 환경에 맞춰 설계되어 있어, HFT로 직접 적용하기 어려웠다.
Qin 등이 제안한 EarnHFT는 이 문제를 3단계 계층적 RL로 정면 돌파한다:
- Q-Teacher 계산: 동적 프로그래밍으로 최적 행동가치를 구해 상위 에이전트의 학습 효율을 높인다
- 다양한 에이전트 풀: 수익률 선호도에 따라 수백 개의 RL 에이전트를 학습시키고, 수익성 있는 소수만 선별한다
- 분 단위 라우터: 시장 상황(상승·하락·횡보)에 따라 가장 적합한 에이전트를 동적으로 선택한다
결과: 6개 최첨단 베이스라인을 6개 금융 기준에서 모두 크게 상회했고, 수익성에서 2위를 30% 초과했다.
쉽게 말하면: 한 명의 투자 고수가 모든 시장 상황에 대응하려면 실수가 잦아진다. EarnHFT는 "상승장 전문가", "하락장 전문가", "횡보장 전문가" 등 여러 전문가를 두고, 지금이 어떤 상황인지 빠르게 판단해 적합한 전문가를 선택하는 매니저 역할을 하는 AI다.
DeFi 유동성 공급의 수학
한편 DeFi(탈중앙화 금융) 영역에서는 유동성 공급을 수학적으로 최적화하는 연구가 진행되고 있다. 집중 유동성 AMM에서 LP(유동성 공급자)의 손익을 연속시간 확률과정으로 정식화하고, 예측 가능한 손실을 닫힌형(closed-form) 최적 전략으로 연결한 논문은 DeFi 마켓메이킹과 재고관리에 바로 번역 가능한 프레임워크를 제공한다.
같은 테마의 다른 연구들
- 앙상블 DRL 암호화폐 트레이딩 (2309.00626): 다중 검증구간 기반 모델 선택과 mixture distribution 정책으로 과최적화를 완화한다.
- Uniswap V3 RL LP (2309.10129): 집중 유동성 구간을 강화학습으로 동적으로 조정해 LP 수익과 비영구손실을 동시에 관리한다.
한계와 주의점
이 달 연구들도 한계가 있다:
- Average Oracle의 범위: 1,000개 자산 실험에서 유의미했지만, 소규모 포트폴리오나 특수 자산군에서는 다를 수 있다. 시장 레짐이 급변하는 극단적 상황에서 단순 평균이 유효한지는 추가 검증이 필요하다.
- LOB 생성 모델의 현실성: 샘플 외 통계적 성능은 좋지만, 실제 시장의 미세한 구조(레이턴시, 정보 비대칭 등)를 완벽히 재현하는지는 아직 검증되지 않았다.
- 글로벌 학습의 한계: 1만 종목 풀링이 모든 시장에서 동일한 효과를 보장하지는 않는다. 시장 구조가 다른 신흥시장에서는 풀링 전략의 세부 조정이 필요할 수 있다.
- EarnHFT의 재현성: 암호화폐 시장의 높은 변동성 환경에서 검증되었지만, 전통 자산으로의 확장은 별도 연구가 필요하다.
그래서 투자/실무엔?
이 달의 연구가 실무에 주는 메시지는 세 가지다:
- 단순함부터 시작하라: 복잡한 모델을 도입하기 전에, 단순한 벤치마크(예: Average Oracle)의 성과를 먼저 확인하라. 복잡함이 항상 정당화되지 않는다.
- 데이터 전략을 바꿔라: 종목별 개별 학습에서 글로벌 멀티자산 학습으로 전환하는 것이 예측력 개선의 핵심이다. 데이터가 적을수록 이 효과는 더 크다.
- 합성 데이터를 활용하라: 생성형 AI가 만들어내는 현실적인 시장 데이터는 전략 검증과 스트레스테스트의 비용을 획기적으로 낮출 수 있다.
함께하기
퀀트 투자와 AI 금융 연구에 관심이 있으신가요?
- 📬 최신 리서치 리포트를 받아보려면: ohselab.com에서 구독하세요
- 💬 연구에 대해 더 이야기하고 싶다면: ohselab.com에서 상담을 신청하세요
- 🔄 이 글이 도움이 되셨다면 주변 분들에게도 공유해 주세요
더 알아보기
이 글에서 다룬 논문들의 arXiv 링크와 5차원 점수:
| 논문 | 티어 | 복합점수 | 링크 |
|---|---|---|---|
| Global Neural Networks and Data Scaling | A | 73.4 | arXiv |
| Generative AI for End-to-End LOB Modelling | A | 71.0 | arXiv |
| Covariance matrix filtering (Average Oracle) | A | 70.9 | arXiv |
| Sparse Index Tracking (ℓ₀) | A | 68.6 | arXiv |
| New dependence measures | A | 68.3 | arXiv |
| Offline Learning for Propagator Models | A | 67.8 | arXiv |
| DeFi and Automated Market Making | A | 67.6 | arXiv |
| EarnHFT: Hierarchical RL for HFT | B | 64.5 | arXiv |
관련 글
🤖 AI 연구2023년 8월 퀀트 리서치 한눈에 보기: 포트폴리오 이론에서 실행까지
2023년 8월에 발표된 퀀트·AI 금융 논문 중 주목할 만한 연구 5가지 테마를 살펴봅니다. 포트폴리오 리밸런싱 이론, GPU 가속 시뮬레이터, 네트워크 모멘텀, 딥러닝 벤치마크, RL 시장조성까지.
🤖 AI 연구AI가 투자에 뉴스를 읽기 시작했다 — 2025년 2월 시스템 트레이딩 연구 리뷰
2025년 2월 arXiv에 공개된 시스템 트레이딩 핵심 논문 7편을 분석합니다. 뉴스를 읽는 트레이딩 AI, 알파를 자동 발굴하는 LLM 에이전트, 시장충격의 비밀, DeFi 최적화까지 — AI가 금융 의사결정의 핵심 레이어에 진입하고 있습니다.
🤖 AI 연구포트폴리오의 기초를 다시 쓰다 — 2024년 10월 AI 금융 연구 리뷰
2024년 10월 발표된 AI 금융 연구 중 가장 주목할 만한 논문들을 살펴봅니다. 포트폴리오 최적화의 공분산 추정 문제부터 강화학습 기반 트레이딩, 생성형 AI를 활용한 거시경제 예측까지 — 현실적 제약 속에서 더 안정적인 투자 전략을 만드는 최신 연구 동향을 쉽게 풀어 설명합니다.