AI가 주식을 예측할 수 있을까? — 2026년 3월 금융 AI 연구 리뷰

2026년 3월, arXiv에 올라온 금융 AI 논문 734편을 분석했습니다. AI가 정말로 시장을 예측할 수 있는지, 그 약속과 한계를 5개 테마로 정리합니다.

---

들어가며: AI에게 미래를 물어보면

요즘 AI에게 "내일 주식시장이 어떻게 될까요?"라고 물어보면, 꽤 그럴듯한 대답을 해줍니다. 하지만 여기서 한 가지 불편한 의문이 생깁니다.

만약 AI가 이미 2008년 금융위기의 결과를 학습 데이터에서 봤다면? 그게 진짜 "예측"일까요, 아니면 "기억"일까요?

2026년 3월에 발표된 논문 734편을 분석한 결과, 이 질문이 단순한 철학적 논쟁이 아니라 실제 투자에 수천만 원 단위의 차이를 만드는 실무 문제라는 것이 드러났습니다. 이 글에서는 그 중 가장 흥미로운 5가지 연구 테마를 소개합니다.

---

테마 1: AI는 이미 답을 알고 있었다 — 시간 편향의 함정

문제: AI의 백테스트가 위험한 이유

2008년 9월 29일, 미국 S&P 500 지수는 하루 만에 8.8% 폭락했습니다. 미 의회가 7,000억 달러 구제금융안을 거부한 날이었습니다.

만약 어떤 AI가 이 사건을 정확히 맞췄다면, 대단한 예측력일까요?

안타깝게도, 아닐 수 있습니다. 인터넷에서 학습한 AI라면 이미 그 사실을 알고 있을 가능성이 높기 때문입니다. 이것을 '룩어헤드 바이어스(lookahead bias)'라고 부릅니다. 마치 시험 문제를 미리 보고 시험을 치른 것과 같은 착시입니다.

해결: 시간에 벽을 세운 AI

홍콩중문대와 런던대(UCL) 연구팀은 이 문제를 정면으로 해결했습니다. 바로 DatedGPT라는 모델입니다.

핵심 아이디어는 단순하면서도 강력합니다. 2013년부터 2024년까지, 매년 별도의 AI를 따로 키운 것입니다. 예를 들어 "2020년 모델"은 2020년까지만 존재하는 인터넷 데이터만 읽고 자랐습니다. ChatGPT에 대해 물어보면 모릅니다. 2021년 주가를 예측하라고 하면, 그건 진짜 '예측'이지 '기억'이 아닙니다.

총 12개 모델, 각각 13억 개의 파라미터, 약 1,000억 개의 단어로 학습된 이 모델 패밀리는, 현재 서비스되고 있는 대형 AI와 비교하면 크기는 작지만, "이 AI가 이 시점을 정말 몰랐는가"를 검증할 수 있는 표준으로서 큰 의미가 있습니다.

이 연구가 흥미로운 이유

기존에는 AI를 금융에 쓸 때 "이 결과를 믿어도 될까?"라는 질문에 답하기 어려웠습니다. DatedGPT는 이 질문에 구조적으로 답할 수 있는 도구를 제공합니다. 마치 실험실에서 온도를 통제하듯, AI의 '시간 지식'을 통제할 수 있게 된 것입니다.

---

테마 2: 백테스트 엔진이 달라지면 결과도 달라진다

문제: 같은 전략, 다른 결과

퀀트 투자자라면 백테스트를 한 번쯤 해봤을 겁니다. "이 전략을 과거 데이터에 적용하면 수익이 어떻게 나왔을까?"를 컴퓨터 시뮬레이션으로 확인하는 것이죠.

그런데 여기서 충격적인 사실이 하나 있습니다. 같은 전략, 같은 데이터를 넣어도, 백테스트 엔진(소프트웨어)이 다르면 결과가 달라집니다.

실험: 5개 엔진, 15개 전략

케임브리지대 연구팀은 이 문제를 처음으로 체계적으로 조사했습니다. 15개 벤치마크 전략을 5개의 서로 다른 백테스트 엔진으로 S&P 500 180개 종목에 대해 실행했습니다.

결과는 놀라웠습니다.

• 거래비용이 0이면 모든 엔진이 정확히 같은 결과를 냈습니다.
• 하지만 거래비용이 올라가면 엔진마다 결과가 갈라졌습니다.
• 특히 고빈도 로테이션 전략에서는 총수익률 차이가 최대 3.71%포인트에 달했습니다.

이게 얼마나 큰 차이냐면, 10억 달러(약 1조 3천억 원) 규모 포트폴리오에서는 연간 약 3,700만 달러(약 480억 원)의 불확실성에 해당합니다.

더 충격적인 발견

연구 과정에서 오픈소스 백테스트 라이브러리의 7개 미문서화된 결함이 발견되었습니다. 예를 들어 널리 쓰이는 Backtrader라는 라이브러리는 사용자가 수수료율을 0.1%로 설정해도, 내부적으로 0.001%로 나누고 적용하고 있었습니다. 사용자는 전혀 알 수 없는 오류입니다.

이 연구가 흥미로운 이유

우리가 "이 전략은 연 15% 수익이 난다"고 말할 때, 그 숫자가 실제로는 엔진 선택에 따라 11%에서 19% 사이를 오갈 수 있다는 뜻입니다. 투자 의사결정의 근거가 되는 백테스트 자체가 생각보다 훨씬 불확실합니다.

---

테마 3: 시장 충격 없이 리스크를 계산하는 새로운 수학

문제: 옵션 가격의 미로

미국 주식시장에는 두 개의 큰 변동성 시장이 있습니다. S&P 500 옵션과 VIX 옵션입니다. 이 두 시장을 동시에 정확하게 모델링하는 것은 금융 수학에서 오래된 난제입니다.

전통적인 방식은 Heston이나 Bergomi 같은 복잡한 수학 모델을 쓰는데, 모두 변동성이 어떻게 움직이는지에 대한 가정을 넣어야 합니다. 실제 시장이 그 가정을 따를지는 아무도 모릅니다.

해결: 가정 없이 시작하는 방법

JPMorgan 연구팀은 다른 접근법을 택했습니다. 최적수송(optimal transport)이라는 수학 도구를 사용한 것입니다.

쉽게 말하면, "시장이 오늘 이 가격표를 보여주고 있다. 이 가격표와 일관되게 움직이는 가능한 미래 시나리오가 뭘까?"를 구하는 방법입니다. 변동성 모델의 가정 없이, 관찰된 가격 자체에서 출발합니다.

하지만 여기에도 문제가 있었습니다. 시장이 조금만 움직여도 처음부터 다시 계산해야 해서 느렸습니다.

이 논문의 핵심 기여는, 이 계산을 '방향만 조금 틀면' 바로 할 수 있게 만든 것입니다. Fisher 정보라는 수학적 도구를 활용해, 전체 재보정 없이도 리스크 시나리오를 빠르게 생성할 수 있게 했습니다.

이 연구가 흥미로운 이유

시장이 급변할 때 빠르게 리스크 시나리오를 생성할 수 있다는 것은, 헤지 전략이나 리스크 관리에서 매우 중요한 인프라입니다. 마치 자동차의 충돌 테스트를 매번 실제로 하지 않고도 안전도를 예측할 수 있게 된 것과 비슷합니다.

---

테마 4: 주문장 시뮬레이션의 현실과의 간격 줄이기

문제: 시뮬레이터는 왜 항상 틀릴까

주식을 사고팔 때 가장 가까이에서 일어나는 일은 무엇일까요? 바로 주문장(Limit Order Book, LOB)입니다. 누가 얼마에 사겠다고 걸어놨고, 누가 얼마에 팔겠다고 걸어놨는지를 보여주는 표입니다.

마켓메이킹 전략이나 알고리즘 실행 전략을 테스트하려면 이 주문장을 시뮬레이션해야 합니다. 그런데 기존 시뮬레이터는 실제 시장과 꽤 달랐습니다. 실행 비용이 현실적이지 않았고, 수익률 계산이 과대평가되기 일쑤였습니다.

해결: 4단계 레시피

파리 Dauphine 대학교와 Jump Trading의 연구팀은 현실적인 LOB 시뮬레이터를 만들기 위한 실용적 레시피를 제안했습니다:

1. 투영(projection): 복잡한 주문장 상태를 스프레드와 거래량 불균형이라는 두 숫자로 단순화
2. 추정(estimation): 실제 시장 데이터에서 이 두 숫자의 통계적 특성을 학습
3. 검증(validation): 시뮬레이션이 실제 시장의 미세 시간 구조를 재현하는지 확인. 특히 거래소 왕복 레이턴시(약 수 마이크로초) 근처에서 참가자들의 동시 반응 패턴을 포착
4. 적응(adaptation): 시장 충격 피드백을 추가해, 대량 주문이 시장 가격을 밀어내는 현상까지 재현

핵심 발견은 이 시뮬레이터에서 수익성이 실행 파라미터에 극도로 민감해진다는 것입니다. 조금만 주문 크기를 바꿔도 수익이 손실로 바뀝니다. 이게 바로 현실이기도 합니다.

이 연구가 흥미로운 이유

자기자본으로 직접 주문을 집행하는 트레이더에게, 실행 비용을 정확하게 예측하는 것은 수익의 차이를 만듭니다. 이 시뮬레이터는 그 예측을 한 단계 더 현실적으로 만들어 줍니다.

---

테마 5: 강화학습 트레이딩의 연구실 탈출

문제: 논문에서 되는 건 실제에서는 안 된다

강화학습(RL)으로 주식을 사고팔게 하는 연구는 수천 편이 있습니다. 하지만 대부분의 연구는 실제 거래에서 쓸 수 없습니다. 왜냐하면 연구 환경에서는 거래비용을 무시하거나, 시장 충격을 반영하지 않거나, 백테스트와 실제 실행 사이에 일관성이 없기 때문입니다.

해결: 연구와 실거래를 잇는 파이프라인

AI4Finance Foundation은 FinRL-X라는 통합 인프라를 제안했습니다. 핵심 아이디어는 단순합니다. 연구에서 쓰는 전략 구성과 실제 브로커에 주문을 넣는 사이에 있는 모든 단계를 하나의 파이프라인으로 연결한 것입니다.

특히 주목할 점은 '가중치 중심(weight-centric)' 인터페이스입니다. 전략이 어떤 종목을 얼마나 살지만 결정하면, 나머지(주문 실행, 리스크 관리, 브로커 연동)는 자동으로 처리됩니다. 연구자가 코드를 바꾸지 않아도 전략 컴포넌트를 교체할 수 있습니다.

동시에, RL 환경 자체를 더 현실적으로 만든 연구도 나왔습니다. MACE라는 환경은 Almgren-Chriss 모델 기반의 비선형 시장충격을 주입해, 백테스트에서 과대평가되던 전략을 자연스럽게 걸러냅니다.

이 연구가 흥미로운 이유

연구실에서 "샤프 비율 2.0"을 기록한 전략이 실제 거래에서 "샤프 0.8"이 되는 건 흔한 일입니다. 그 간극을 줄이는 것이 이 연구들의 목표입니다. 퀀트 트레이딩을 '모델'이 아니라 '시스템'으로 바라보는 관점의 전환입니다.

---

그래서 투자/실무엔?

2026년 3월의 연구를 관통하는 하나의 메시지가 있습니다.

신뢰할 수 있는 금융 AI를 만들려면, 시간·구현·현실의 세 가지 간격을 동시에 좁혀야 한다.

• 시간 간격: AI가 이미 답을 알고 있는지 검증해야 합니다. DatedGPT 같은 도구가 그 해법을 제시합니다.
• 구현 간격: 같은 전략이라도 백테스트 엔진이 다르면 결과가 다릅니다. 멀티엔진 검증이 표준이 되어야 합니다.
• 현실 간격: 연구실의 전략이 실제 시장에서 작동하려면 거래비용, 시장충격, 실행 인프라까지 고려해야 합니다.

이 세 간격을 좁히는 것이 바로 이 달 금융 AI 연구의 핵심 과제이며, 자기자본 운용 시스템을 직접 만드는 분들에게도 바로 적용 가능한 방향입니다.

---

한계와 주의점

이 글에서 소개한 연구들은 대부분 arXiv 프리프린트(동료 심사 전)입니다. 특히:

• DatedGPT는 아직 논문 수준 제출이며, 모델 체크포인트도 논문 수락 후 공개 예정입니다.
• Implementation Risk 실험은 15개 전략, 5개 엔진으로 제한됩니다.
• SPX-VIX OT 연구는 JPMorgan 내부 연구로, 코드 공개 여부가 불분명합니다.
• FinRL-X의 실제 브로커 연동 검증 기간은 약 5개월에 불과합니다.

모든 수치는 원문에서 인용했으며, 환산 시 대략 $1 ≈ 1,300원 기준을 사용했습니다.

---

함께하기

퀀트 트레이딩과 AI의 교차점에서 더 깊이 있는 분석을 원하시면:

• 📬 뉴스레터 구독: ohselab.com
• 💬 상담 문의: ohselab.com
• 🐦 팔로우: ohselab.com

---

더 알아보기

이 글에서 다룬 논문들의 arXiv 링크입니다:

2026년 3월 코호트 전체에서는 총 34편의 A등급 논문이 선정되었습니다. 전체 목록은 백필 리포트를 참고해 주세요.