강화학습으로 주식 포트폴리오를 굴리면 왜 돈을 잃을까?
"AI가 알아서 사고팔아주면 수익이 나지 않을까?" — 생각보다 많은 연구자와 실무자가 이 기대를 품고 있습니다. 그런데 최근 논문 하나가 정반대 결론을 내놓았습니다.
들어가며: 로봇 투자자의 함정
요즘 금융 AI 분야에서 가장 뜨거운 주제 중 하나가 '강화학습(RL)으로 포트폴리오를 관리하자'는 아이디어입니다. 강화학습이란, 간단히 말해 컴퓨터가 시행착오를 반복하면서 '어떤 행동이 가장 큰 보상을 가져오는지' 스스로 학습하는 방법입니다. 게임에서 인간을 이기는 AlphaGo도 바로 이 기술을 씁니다.
그런데 이 방법을 주식 포트폴리오에 적용하면 어떻게 될까요? 컴퓨터가 시장 데이터를 보면서 "이 종목을 사고, 저 종목을 팔아라"라고 스스로 판단한다면, 인간 펀드매니저보다 나은 성과를 낼 수 있지 않을까요?
2025년9월, Yuming Ma라는 연구자가 올린 논문 "Myopic Optimality"는 이 질문에 대해 꽤 충격적인 답을 제시합니다.
무엇이 문제였나: RL 포트폴리오의 세 가지 병목
기존 연구들은 강화학습 포트폴리오 전략이 잘 작동한다고 보고해 왔습니다. 시뮬레이션 환경에서는요. 하지만 실제 시장에 적용하면 문제가 생깁니다. 이 논문은 그 이유를 세 가지로 정리합니다.
첫째, 거래 비용을 무시합니다. 주식을 사고팔 때마다 수수료가 나가고, 가격이 조금씩 밀립니다(slippage). 시뮬레이션에서는 이런 비용을 단순화하거나 아예 빼는 경우가 많습니다.
둘째, 청산 비용이 큽니다. 포트폴리오를 리밸런싱할 때, 기존 보유분을 정리하는 데 드는 비용이 있습니다. 특히 대량 거래일수록 시장 가격에 영향을 미쳐 불리한 가격에 팔게 됩니다.
셋째, 마크투마켓 회계의 현실입니다. 매일 포트폴리오의 가치를 시장 가격으로 평가하면, 단기 변동성이 수익률에 그대로 반영됩니다. RL 에이전트가 장기적으로 옳은 결정을 했더라도, 단기 평가액이 출렁이면 '위험한 전략'으로 분류됩니다.
핵심 아이디어: "근시적 최적화"가 왜 이기는가
이 논문의 핵심 주장은 이겁니다: "근시적(短期的)으로 최적화하는 게, 장기적으로 학습하는 RL보다 낫다"는 것입니다.
이게 이상하게 들릴 수 있습니다. 장기를 보는 게 왜 단기보다 못할까요?
연구자는 이 현황을 수학적으로 증명하기 위해 'Malliavin 미적분'이라는 고급 수학 도구를 사용합니다. 어렵게 들리지만, 핵심 아이디어는 다음과 같습니다.
비유를 들어보겠습니다. 마치 GPS 없이도 매번 가장 가까운 우체국을 찾아가는 사람이 있습니다. 그때그때 가장 가까운 곳만 고르니까 "근시적"이죠. 반면, RL은 "전국의 우체국을 모두 고려해 최적 경로를 계산하겠다"고 합니다. 문제는, 길에 웅덩이도 있고(거래 비용), 도로가 자주 바뀌고(시장 변동), 네비게이션에도 오차가 있다는 겁니다.
RL이 계산한 "최적 경로"는 실제로는 비용이 너무 많이 드는 경로일 수 있습니다. 반면, 근시적 최적화는 그때그때 상황에 맞게 합리적인 결정을 내리기 때문에, 오히려 실제 비용을 고려하면 더 좋은 결과를 냅니다.
Phantom Profit: RL이 만들어내는 허구의 수익
연구자가 특히 주목한 개념이 '팬텀 수익(phantom profit)'입니다. RL 에이전트가 시뮬레이션에서 보여주는 수익 중 상당 부분은 실제 거래 비용을 반영하지 않은 허구라는 것입니다. Malliavin 미적분으로 이 "허구의 수익"을 정량화할 수 있음을 보였습니다.
CAD 프리미엄: RL이 시장을 움직이려는 대가
또 하나의 핵심 개념은 CAD(Control-Affects-Dynamics) 프리미엄입니다. RL은 포트폴리오 비중을 조절하면서 시장 가격 자체에 영향을 미칩니다. 이 영향을 "통제"하려는 시도에는 항상 비용이 따릅니다. 연구자는 이 비용을 CAD 프리미엄으로 정의하고, RL 전략이 이 프리미엄을 지불하면서까지 얻는 이익이 크지 않음을 보였습니다.
결과 — 무엇을 알아냈나
이 논문이 제시하는 수학적 결과는 놀랍도록 명확합니다.
| 비교 항목 | 근시적 최적화(MO) | 강화학습(RL) |
|---|---|---|
| 수익률 | 높거나 양 | 낮거나 음 |
| 분산 | 낮음 | 높음 |
| 거래 비용 | 낮음 | 높음 |
| CVaR (꼬리 리스크) | 낮음 | 높음 |
| 모델 리스크 | 낮음 | 높음 |
쉽게 말하면, RL은 복잡하게 계산한답시고 이것저것 다 고려하다가 정작 중요한 것 — 수익 — 을 놓친다는 것입니다.
한계와 주의점
이 논문의 결론을 곧이곧대로 받아들이기 전에 몇 가지 주의가 필요합니다.
첫째, 단일 저자 논문입니다. 동료 검토(peer review)를 거치지 않은 프리프린트(arXiv) 논문이므로, 수학적 증명에 오류가 있을 가능성을 완전히 배제할 수 없습니다.
둘째, 특정 마찰 구조를 가정합니다. 연구자가 모델링한 거래 비용과 청산 비용은 현실의 모든 비용을 포착하지는 않습니다. 시장 충격(market impact), 유동성 제약, 규제 비용 등은 더 복잡합니다.
셋째, 실증 검증이 제한적입니다. 이론적 분석이 중심이고, 실제 시장 데이터를 사용한 백테스트 결과는 포함되어 있지 않습니다.
넷째, 모든 RL 전략이 나쁘다는 뜻은 아닙니다. 비용 구조를 명시적으로 고려한 RL 전략, 또는 제약조건을 잘 설정한 RL 전략은 여전히 유효할 수 있습니다.
그래서 투자/실무엔?
이 논문이 주는 실전 교훈을 정리하면 이렇습니다.
1. "AI가 알아서 해주겠지"는 위험합니다. RL 기반 포트폴리오 도구를 도입할 때, 시뮬레이션 성과를 그대로 신뢰하면 안 됩니다. 실제 거래 비용, 청산 비용, 마크투마켓 효과를 반드시 반영한 백테스트를 해야 합니다.
2. 비용 구조가 전략의 운명을 결정합니다. 같은 전략이라도 거래 빈도가 높아지면 비용이 기하급수적으로 늘어납니다. RL은 보통 높은 거래 빈도를 유발하므로, 비용 억제가 핵심입니다.
3. 단순함의 힘을 과소평가하지 마세요. 근시적 최적화처럼 그때그때 합리적인 결정을 내리는 단순한 전략이, 복잡한 RL 전략보다 실전에서 더 나을 수 있습니다.
함께하기
이 글이 흥미로우셨다면, 저희의 최신 논문 분석을 정기적으로 받아보실 수 있습니다.
- ohselab.com — 최신 논문 분석 및 투자 리서치
- 구독 / 상담 / 팔로우 — 웹사이트에서 확인하세요
더 알아보기
- 원 논문: Myopic Optimality: why reinforcement learning portfolio management strategies lose money (arXiv:2509.12764)
- 5차원 점수: 혁신성 78 / 적용성 84 / 엄밀성 86 / 재현성 42 / 통찰력 88 (Composite: 77.3, A 티어)
- 분과: 강화학습 포트폴리오 관리 (C2)
- 관련 논문:
python3 scripts/kb.py related 2509.12764
관련 글
🤖 AI 연구강화학습 포트폴리오는 왜 돈을 잃을까? — 마이opic 최적화의 역습
강화학습(RL) 기반 포트폴리오 전략이 실전에서 손실로 이어지는 이유를 이론적으로 분석한 논문을 소개합니다. 실행 비용과 청산 마찰을 무시한 RL이 마이opic 최적화에 왜 뒤처지는지, 그리고 투자자에게 어떤 시사점을 주는지 설명합니다.
🤖 AI 연구체계적 리스크 예측을 어떻게 검증할까? — 다목적 유도 가능성으로 백테스트를 가능하게 만든 연구
CoVaR, MES 같은 체계적 리스크 지표는 왜 백테스트가 어려웠을까요? 다목적 유도 가능성이라는 새로운 통계 프레임워크로 이 문제를 해결한 연구를 쉽게 풀어 설명합니다.
🤖 AI 연구AI 에이전트가 주식시장에서 '연습'할 수 있게 해주는 체육관 — ABIDES-Gym
가상 주식시장에서 AI 에이전트가 안전하게 거래 전략을 연습할 수 있는 시뮬레이션 환경 ABIDES-Gym을 소개합니다. 실제 시장의 복잡한 상호작용을 재현하면서도 표준 AI 학습 프레임워크와 바로 연결되는 이 도구가 왜 투자 연구의 게임 체인저가 될 수 있는지 살펴봅니다.