주식 시장의 숨겨진 규칙을 찾다 — 2024년 3월 AI 퀀트 연구 하이라이트

"매일 수천만 건의 주문이 오가는 주식 시장에서, AI가 발견한 패턴들은 무엇을 말해줄까요?"

---

들어가며

슈퍼마켓에서 장을 볼 때를 생각해 보세요. 진열대에서 물건을 집으면 그 순간 다른 진열대의 물건도 함께 눈에 들어옵니다. 사과를 집는 동시에 배의 가격이 변할 수 있다는 거죠. 주식 시장에서도 비슷한 일이 벌어집니다. 한 종목을 사면 비슷한 종목의 가격이 동시에 움직이는데, 이 연결고리를 정확히 이해하는 것이 2024년 3월 연구들의 핵심 주제입니다.

이번 달에는 주문장(Limit Order Book)의 딥러닝 예측부터, 포트폴리오 최적화의 새로운 수학, 변동성의 이중적 성격, 위험을 고려한 강화학습, 그리고 대규모 언어모델이 주가를 예측하는 방법까지 — 다섯 가지 테마로 나눈 117편의 관련 논문 중 가장 눈에 띄는 연구들을 살펴보겠습니다.

---

테마 1: 주문장(LOB) 예측 — "숫자만으로는 부족하다"

주문장이란 무엇인가요?

주식을 사고팔 때 가장 먼저 보는 것이 있습니다. 바로 호가창이죠. "이 가격에 사겠다"는 주문과 "이 가격에 팔겠다"는 주문이 쌓여 있는 곳입니다. 이것을 전문 용어로 한정가 주문장(Limit Order Book, LOB)이라고 부릅니다.

위 그림처럼 주문장은 시간에 따라 끊임없이 변합니다. 새 주문이 들어오면 가격 수준이 바뀌고, 취소되면 사라집니다. 이 동적인 데이터를 딥러닝으로 분석하면 주가가 오를지 내릴지 예측할 수 있을까요?

2024년 3월의 핵심 발견: 틱 크기가 모든 것을 결정한다

런던 Queen Mary 대학의 Briola 등이 발표한 "Deep Limit Order Book Forecasting" 논문(arXiv:2403.09267)은 이 질문에 대한 가장 체계적인 답변을 제시합니다.

연구팀은 NASDAQ 15개 대형·초대형 종목의 3년치 주문장 데이터를 분석했습니다. 사용한 모델은 CNN과 LSTM을 결합한 DeepLOB입니다. 주문장 스냅샷 100개(각각 10단계 호가 x 4개 피처 = 40차원)를 입력으로 받아 중간가격이 오를지(Up), 보합일지(Stable), 내릴지(Down)를 예측하는 구조입니다.

놀라운 결과가 나왔습니다. 15개 종목을 틱 크기(최소 가격 변동 단위)에 따라 세 그룹으로 나눴을 때:

• 대형틱 종목(BAC, CSCO, KO 등): 주문 스프레드가 틱 1개 수준으로 좁음. 예측 성능이 좋음
• 소형틱 종목(CHTR, GOOG, GS 등): 스프레드가 넓음. 예측 성능이 낮거나 무작위 수준

왜 이런 차이가 생길까요? 대형틱 종목은 주문장이 빽빽하게 차 있어서 작은 움직임도 의미 있는 신호가 됩니다. 반면 소형틱 종목은 주문장이 성글어서 노이즈가 신호를 압도합니다.

숨겨진 함정: 좋은 예측 ≠ 좋은 거래

연구팀은 여기서 멈추지 않고 기존 ML 지표의 한계를 지적합니다. Matthews Correlation Coefficient(MCC)나 F1 같은 전통적 지표는 높아도, 실제 거래로 이어지면 성적이 형편없다는 것입니다.

새로 제안한 평가지표 p_T(거래확률)는 "모델이 예측한 대로 매수·매도했을 때 실제로 이익이 나는 거래의 비율"을 측정합니다. 대형틱 종목에서도 p_T는 겨우 0.090.14. 10번 예측하면 11.5번만 실전에서 유용하다는 뜻입니다.

더 재미있는 발견은 신호 필터링 역설입니다. 확신이 높은 신호만 고르면(p_T 임계값을 높이면) 오히려 유용한 신호가 줄어듭니다. 확신과 기회가 반비례하는 셈이죠.

공통 인사이트: 딥러닝 주문장 예측의 성능은 종목의 미시구조 특성(틱 크기)에 의해 결정되며, 학술적 평가 지표와 실전 거래 성과 사이에는 여전히 큰 간극이 존재합니다.

실행 최적화: 주문의 체결확률을 수학으로

예측이 아니라 실행에 집중한 연구도 있습니다. 체결확률(Fill Probability)은 지정가 주문이 실제로 체결될 가능성을 의미하는데, 이것은 매매 알고리즘의 핵심 입력값입니다.

2403.02572 논문은 주문장의 상태(현재 호가 수준, 대기 수량 등)에 따라 주문 흐름이 변하는 것을 반영해 체결확률을 직접 모델링합니다. 이 확률을 알면 "이 가격에 주문을 넣으면 몇 %나 체결될까?"를 미리 계산할 수 있어, 미체결 리스크와 슬리피지를 동시에 줄이는 최적 주문 배치가 가능해집니다.

온체인 마켓의 새로운 설계: AMM

블록체인의 탈중앙 거래소(DEX)에서 사용되는 자동화 시장 조성자(AMM)도 미시구조 연구의 중요한 주제입니다. 2403.03367 논문은 AMM의 약점 — 정보력 있는 주문에 대한 손실(역선택)과 정보력 없는 주문에서의 수익 부족 — 을 동시에 해결하는 "경매 관리형 AMM"을 제안합니다.

핵심 아이디어는 간단하면서도 혁신적입니다. AMM의 "풀 매니저 권리"를 온체인 경매로 거래함으로써, 정보력 있는 참여자들의 손실을 수익으로 전환하는 구조입니다. 이것은 전통적 금융의 시장 설계(market design) 개념이 블록체인 세계에 적용된 좋은 사례입니다.

---

테마 2: 포트폴리오 최적화 — "내 거래가 남에게 미치는 영향"

교차 임팩트: 숨겨진 비용

주식을 대량으로 매수하면 그 주식의 가격이 올라갑니다. 이것을 가격 충격(price impact)이라고 합니다. 그런데 한 가지 더 있습니다. A주식을 대량 매수하면 비슷한 B주식의 가격도 영향을 받습니다. 이것이 바로 교차 임팩트(cross-impact)입니다.

Abi Jaber 등이 발표한 "Optimal Portfolio Choice with Cross-Impact Propagators"(arXiv:2403.10273)는 이 교차 임팩트를 수학적으로 엄밀하게 모델링한 최초의 연구 중 하나입니다.

연구팀은 가격 충격이 시간이 지남에 따라 감소하는 패턴(커널 함수)을 다양한 형태로 모델링했습니다:

• 지수감쇠: 빠르게 사라짐 (가장 단순한 가정)
• 멱법칙감쇠: 천천히 사라짐 (현실에 더 가까움)
• 영구충격: 영원히 남음

가장 강력한 발견은 실증 분석에서 나왔습니다. 자산 간 가격 움직임의 상관관계 중 60~90%가 교차 임팩트에 의해 설명된다는 것입니다. 소음 상관이 아니라 거래 자체가 자산 간 연결고리를 만든다는 뜻입니다.

이것이 실전에 의미하는 바는 명확합니다. 포트폴리오를 리밸런싱할 때 각 자산의 개별 충격만 고려하면 실제 비용의 60~90%를 놓치게 됩니다. 교차 임팩트를 반영한 최적 실행 스케줄이 필요하다는 것이 이 연구의 핵심 메시지입니다.

공통 인사이트: 포트폴리오 실행에서 교차 자산 간 임팩트 전파를 모델링하는 것이 개별 자산 충격보다 훨씬 중요하며, 이것이 실행 성과의 핵심 변수로 부상했습니다.

---

테마 3: 변동성의 비밀 — "거칠기와 기억의 공존"

변동성, 그 두 얼굴

주가가 하루하루 출렁이는 정도를 변동성(volatility)이라고 합니다. 이 변동성이 어떤 성질을 가지느냐에 따라 옵션 가격, 리스크 관리, 헤지 전략이 모두 달라집니다.

2020년대 초반부터 금융 수학계에는 한 논쟁이 있었습니다. 변동성의 움직임이 거칠다(rough)는 주장과 장기 기억(long memory)이 있다는 주장이었습니다. 거칠다는 것은 아주 짧은 시간 안에 빠르게 변한다는 뜻이고, 장기 기억이 있다는 것은 충격이 오래간다는 뜻입니다. 둘은 모순처럼 보입니다.

놀라운 답: 둘 다 맞다

2403.12653 논문 "To Be or Not to Be: Roughness or Long Memory in Volatility?"(arXiv:2403.12653)은 이 논쟁에 종지부를 찍습니다.

연구팀은 BTC, ETH, SOL, XRP, BNB의 약 1,300만 개 초고빈도 틱 데이터를 분석했습니다. 두 모형을 비교:

• 분수 Ornstein-Uhlenbeck(fOU): 단일 파라미터 H가 거칠기와 장기 기억을 동시에 결정
• 코시(Cauchy) 클래스: 거칠기(alpha)와 장기 기억(beta)을 별도로 추정

결과는 명확했습니다. 코시 클래스 모형에서:

• alpha ≈ -0.27: 짧은 시간 간격에서 변동성이 매우 거침
• beta ≈ 0.2~0.25: 긴 시간 간격에서 충격이 오래 지속

즉, 변동성은 단기적으로는 거칠고, 장기적으로는 기억이 긴 이중적 성격을 가지고 있습니다. fOU처럼 하나의 파라미터로 둘을 묶는 모형은 이 현실을 충분히 포착하지 못합니다.

이것이 실전에 의미하는 바:

• 인트라데이 헤지·마켓메이킹: 변동성이 빠르게 평균회귀하므로 헤지 빈도를 짧게 유지
• 옵션 가격결정·장기 리스크 관리: 충격이 지수감쇠보다 훨씬 느리게 사라지므로, 만기가 긴 옵션의 변동성 프리미엄을 더 높게 잡아야 할 수 있음

공통 인사이트: 변동성의 거친 표면과 장기 기억은 동시에 존재하며, 하나의 파라미터로 둘을 묶는 기존 모형은 과도하게 제약적입니다.

---

테마 4: 강화학습 — "위험을 아는 AI 투자자"

위험중립의 한계

전통적인 강화학습(RL)은 평균 수익을 최대화하는 방향으로 학습합니다. 하지만 투자에서 평균만 보는 것은 위험합니다. 수익률이 +50%와 -40%를 반복하면 평균은 +5%이지만, 실제로는 돈을 잃을 수 있습니다.

OCE: 모든 위험 척도를 하나로

2403.06323 논문 "Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents"(arXiv:2403.06323)은 이 문제를 해결하는 통합 프레임워크를 제시합니다.

핵심 아이디어는 최적화 확실성 등가(OCE)라는 수학적 도구입니다. CVaR(조건부 Value-at-Risk), 엔트로피 위험, 평균-분산 — 서로 다른 위험 척도를 하나의 메타 프레임워크로 묶습니다.

구현 방법은 교묘합니다. 상태 공간에 "예산" 변수를 추가한 확장 MDP(AugMDP)를 만들어, 위험민감 RL 문제를 기존의 위험중립 RL로 변환합니다. 마치 "이번 달 수익이 목표 대비 얼마나 부족한지"를 추적하면서 투자하는 것과 같습니다.

가장 인상적인 발견은 이론적 결과입니다. 모든 마르코프 정책(현재 상태만 보고 결정하는 정책)이 provably 실패하는 환경이 존재한다는 것입니다. 과거 수익의 궤적에 따라 전략을 바꿔야(이력 의존적) 최적 결과를 얻을 수 있습니다. 이것은 드로다운 관리 같은 실전 투자 상황과 직접 연결됩니다.

공통 인사이트: 위험민감 RL이 CVaR·평균-분산 등 다양한 위험 척도를 통합하는 메타 프레임워크로 수렴하고 있으며, 이력 의존적 정책이 마르코프 정책보다 실제로 더 우수합니다.

---

테마 5: AI가 주가를 예측하는 법 — "숫자와 말을 함께 읽는 AI"

금융 AI의 두 가지 재료

주가를 예측하는 데는 두 가지 정보가 필요합니다. 하나는 숫자 — 가격, 거래량, 재무제표입니다. 다른 하나는 말 — 뉴스, 공시, 소셜 미디어입니다. 이 둘을 어떻게 효과적으로 결합할까요?

Ploutos: 전문가 풀과 해석가능한 예측

마이크로소프트 연구팀이 발표한 "Ploutos"(arXiv:2403.00782)는 이 문제에 대한 세련된 해답을 제시합니다.

Ploutos는 두 부분으로 구성됩니다:

1. PloutosGen(전문가 풀): 센티먼트 분석 전문가(뉴스·트윗의 감정 분석) + 기술적 분석 전문가(수치 알파 팩터). 특히 수치 데이터를 LLM에 주입하는 Number-to-Text Alignment(N2I-Align) 기법이 독창적입니다.

2. PloutosGPT(의사결정 LLM): GPT-4가 과거 주가 움직임을 사후 분석해 학습 데이터를 만드는 Rearview-Mirror Prompting 방법을 사용합니다. 미래를 예측하는 것보다 과거를 설명하는 것이 AI에게 더 쉽다는 통찰에 기반합니다.

성능은 인상적입니다:

4~8% 포인트의 개선은 학술적으로는 작아 보일 수 있지만, 매일 수천 건의 예측을 하는 투자 환경에서는 의미 있는 엣지입니다.

더 중요한 것은 해석가능성입니다. Ploutos는 충실도 81.24%, 유익성 96.52%를 달성했습니다. "이 종목이 오를 것 같다"고 예측하면서 왜 그런지 설명할 수 있다는 것입니다. 이것은 규제 준수(compliance)와 전략 디버깅에 핵심적인 가치입니다.

공통 인사이트: 금융 LLM이 텍스트와 수치 정보를 통합하는 방식으로 빠르게 발전하고 있으며, 예측 근거의 해석가능성이 전략의 신뢰성과 규제 준수에 핵심 가치로 부상하고 있습니다.

---

2024년 3월의 Big Picture: 단순화의 시대는 끝났다

이번 달의 다섯 가지 테마를 관통하는 하나의 메시지가 있습니다. 기존 모형의 단순화 가정이 실전에서 깨지고 있다는 것입니다.

• 주문장 예측에서 "딥러닝이면 다 된다"는 환상이 틱 크기 앞에서 무너졌고
• 포트폴리오 최적화에서 개별 자산 충격만 보는 시각이 교차 임팩트의 60~90%를 놓쳤으며
• 변동성 모형에서 하나의 파라미터로 거칠기와 기억을 동시에 설명하려는 시도가 실패했고
• 강화학습에서 "현재 상태만 보면 된다"는 마르코프 가정이 최적 정책을 놓쳤습니다

동시에 새로운 패러다임이 등장하고 있습니다. 거래 지향적 평가 지표, 교차 임팩트 내재화, 이중 특성 변동성 모델, 이력 의존적 위험민감 정책, 멀티모달 신호 융합 — 이 모든 것의 공통점은 현실의 복잡성을 직시하고 그 안에서 최적을 찾는다는 것입니다.

퀀트 투자의 미래는 더 정교한 모델이 아니라, 더 정직한 모델에 있습니다.

---

더 알아보기

이 글에서 다룬 논문들의 arXiv 링크입니다:

• Deep Limit Order Book Forecasting — 시장 미시구조 (A등급, composite 72.0)
• Optimal Portfolio Choice with Cross-Impact Propagators — 포트폴리오 최적화 (A등급, composite 71.5)
• Fill Probabilities in a LOB — 실행 최적화 (A등급, composite 67.1)
• am-AMM: An Auction-Managed Automated Market Maker — AMM 설계 (A등급, composite 65.2)
• To Be or Not to Be: Roughness or Long Memory in Volatility? — 변동성 모델링 (B등급, composite 64.7)
• Risk-Sensitive RL with OCE — 강화학습 (B등급, composite 64.6)
• Ploutos: Interpretable Stock Prediction with LLM — AI 주가 예측 (B등급, composite 61.2)

---

이 글은 2024년 3월 arXiv에 게시된 논문 239편 중 117편의 관련 논문을 분석한 결과입니다. 모든 주장은 원문 논문의 데이터와 방법론에 기반합니다.