2020년 11월의 금융 AI 연구: 딥러닝이 미래를 본다, 그리고 그 위험

매달 arXiv에 쏟아지는 금융 AI 논문 중에서 가장 의미 있는 연구를 골라 정리합니다. 11월은 유독 특별한 달이었습니다 — 딥러닝으로 금융 의사결정을 학습하면 어떤 일이 벌어지는지, 수학적으로 증명된 연구가 나왔습니다. 한편으로는 위기 시 시장이 얼마나 함께 무너지는지를 측정하는 새로운 지표가 등장했습니다.

---

들어가며: 11월에 무슨 일이 있었나

2020년 11월, 전 세계는 COVID-19 백신 소식에 들떠 있었습니다. 화이자와 모더나의 임상 결과가 연이어 발표되면서 시장은 급반등했고, 팬데믹 이후의 "새로운 정상"을 상상하기 시작한 시기였습니다.

arXiv에는 이 달106편의 금융 AI 논문이 올라왔습니다. 그중78편이 우리 KB의 "관련" 기준을 통과했고,14편이 최상위 S/A 등급을 받았습니다.

숫자만 보면 평소와 비슷해 보이지만, 내용을 들여다보면 분위기가 다릅니다. 이 달의 연구를 관통하는 하나의 키워드가 있거든요: "과신하지 마라".

딥러닝으로 포트폴리오를 최적화하면 놀라울 만큼 좋은 결과가 나오지만, 그 결과가 사실은 "미래를 미리 본" 것일 수 있다는 경고가 수학적으로 증명되었습니다. 한편 COVID-19 위기에서 시장 간 꼬리 의존도가 어떻게 폭발했는지를 처음으로 분리·측정하는 도구도 나왔습니다.

5개 테마로 정리했습니다.

---

테마 1: 딥러닝 기반 포트폴리오 — 과적합의 함정과 해법

왜 흥미로운가

포트폴리오 최적화는 금융 AI에서 가장 오래된 주제 중 하나입니다. "평균과 분산을 추정해서 최적 비중을 구하라"는 아이디어는1950년대 마코위츠로 거슬러 올라가죠. 최근에는 이 문제를 신경망으로 직접 풀려는 시도가 활발합니다. 헤징 전략이나 투자 비중을 딥러닝 모델로 학습하면, 기존 방법으로는 불가능했던 복잡한 패턴을 잡아낼 수 있거든요.

문제는, 잘 된다는 것이 항상 좋은 것은 아니라는 겁니다.

대표 논문: 딥러닝이 "미래를 본다"는 것을 수학적으로 증명하다

Deep Empirical Risk Minimization in finance: looking into the future (Buehler, Gonon, Teichmann, Wood)

• arXiv: 2011.09349 | 등급: S | 복합점수: 80.0

이 논문은 금융에서 딥러닝을 쓸 때 벌어지는 가장 근본적인 문제를 다룹니다. 쉽게 말하면 이런 이야기입니다.

여러분이 주식 헤징 전략을 신경망으로 학습시킨다고 합시다. 시뮬레이션 데이터를 많이 만들고, 그 위에서 "손실을 최소화하는" 전략을 찾게 하죠. 결과는 놀랍습니다. 훈련 데이터에서는 거의 완벽한 헤징이 됩니다. 마치 미래 주가를 아는 것처럼요.

그런데 이게 정확히 문제입니다.

연구진은 이것을 overlearning(과학습)이라고 부릅니다. 과매개변수화된 대형 신경망은 훈련 데이터에서 미래 정보를 사실상 "암기"해 버립니다. 마치 시험 문제를 미리 외운 학생처럼, 시험(훈련 데이터)에서는100점을 맞지만, 실전(새로운 데이터)에서는 무너지죠.

이걸 Rademacher 복잡도라는 수학적 도구로 증명했습니다. Rademacher 복잡도란 "모델이 얼마나 복잡한 패턴을 외울 수 있는가"를 측정하는 지표인데요, 이게 높으면 높을수록 overlearning이 심해진다는 것이 이 논문의 핵심 정리(Theorem 7.1)입니다.

구체적으로, 과대망은 학습 데이터에서 anticipative(미래 정보를 활용하는) 전략에 수렴할 만큼 좋은 성능을 보이지만, 이는 실제로 미래를 알기 때문이 아니라 단순히 모델이足够复杂해서 훈련 경로를 암기한 것일 뿐입니다.

그럼 어떻게 해야 할까요? 논문은 세 가지를 강조합니다:

1. 합성 데이터를 충분히 많이 만들어야 합니다 — Rademacher 복잡도가 수렴하려면 데이터가足够해야 합니다.
2. 모델 복잡도를 제한해야 합니다 — 정규화(regularization), 조기 종료(early stopping)가 필수입니다.
3. 문제 차원을 인식해야 합니다 — 차원이 커질수록 overlearning이更容易해집니다.

이것은 ohselab의 백테스트 과적합 방지 가이드의 이론적 근거가 됩니다. "좋은 백테스트 결과"가 항상 "좋은 전략"을 의미하지는 않는다는 것을 수학적으로 뒷받침하는 연구입니다.

함께 보면 좋은 논문들

이 테마에는 딥러닝의 "위험"과 "해법"을 동시에 보여주는 논문들이 있습니다.

Optimal Portfolio Using Factor Graphical Lasso (Fan, Liu, Wang)

• arXiv: 2011.00435 | 등급: A | 복합점수: 75.4

포트폴리오 최적화의 오래된 난제가 있습니다. 자산이100개 넘어가면 공분산 행렬을 추정하는 게几乎불가능해진다는 겁니다. 표본 공분산은噪声가太多해서 역행렬을 구하면 결과가 폭발하거든요.

이 논문은 Factor Graphical Lasso(FGL)라는 방법을 제안합니다. 핵심 아이디어는 이렇습니다:

1. 먼저 Fama-French 같은 공통 팩터로 자산 수익률을 설명하고, 팩터로 설명되지 않는 잔차(고유 위험)를 추출합니다.
2. 이 잔차에 그래피컬 라쏘를 적용해서 희소한 정밀도 행렬(공분산 역행렬)을 추정합니다.
3. 마지막으로 Sherman-Morrison-Woodbury 공식으로 전체 정밀도 행렬을重组합니다.

실증 결과, S&P 500 데이터에서 FGL 기반 포트폴리오가 동일가중, Ledoit-Wolf 축소, POET 등 기존 방법 대비 샘플 외 샤프 비율에서 유의미한 우위를 보였습니다. 추정된 고유 정밀도 행렬의 비대각 원소 중74.5%~98.8%가 0이었다는 것은, 실제로大部分의 자산 쌍이 팩터를 제거하면 독립적이라는 것을 의미합니다.

Solving path dependent PDEs with LSTM networks and path signatures (Becker, Cheridito, Jentzen)

• arXiv: 2011.10630 | 등급: A | 복합점수: 73.7

경로의존 옵션(lookback, autocallable 같은)은 가격을 계산하기가 매우 어렵습니다. 기초자산의 가격 경로 전체가 가격에 영향을 미치기 때문이죠. 전통적으로는 몬테카를로 시뮬레이션을大量돌리는데, 시간이 오래 걸립니다.

이 논문은 LSTM + 경로 시그니처(Path Signature)의 조합으로 이 문제를 풀었습니다. 경로 시그니처란 가격 경로의 "지문" 같은 것으로, 무한 차원의 경로 정보를有限한 숫자로 압축합니다. 이걸 LSTM에 입력하면 경로의존 옵션의 가격과 헤징 비율을 동시에 학습할 수 있습니다.

구체적 결과: Black-Scholes 모델에서 d=2 차원 lookback 옵션의 경우, 가격 오차3.86×10⁻³, 헤징 오차2.08×10⁻⁴, 상관관계0.998을 달성했습니다. Heston 모델에서 autocallable 옵션도 상관관계0.948로 높은 정확도를 보여, 실전 파생상품 가격결정 엔진으로의 가능성을 제시합니다.

이 테마의 공통 인사이트

딥러닝을 금융에应用하려면 "과적합"과 "고차원"이라는 두 가지 장벽을同时에 넘어야 합니다. Deep ERM 논문은前者를 수학적으로 증명했고, FGL과 LSTM+Signature 논문은后者를 구체적인 방법론으로 해결했습니다. 세 논문을 함께 읽으면 "딥러닝을 금융에 쓰되, 어떻게 하면 안전하게 쓸 수 있는가"라는 질문에 대한完整的한 그림을 얻을 수 있습니다.

---

테마 2: 꼬리 위험 측정 — 위기 때 시장이 함께 무너지는 이유

왜 흥미로운가

2020년3월, COVID-19 팬데믹이 시장을 강타했습니다. 주식, 채권, 원유, 금 — 거의모든자산이同时에 폭락했습니다. "분산 투자"라는 말이 무색해지는 순간이었죠.

이 현상의 핵심은 꼬리 의존성(tail dependence)입니다.平常에는 자산 간 상관관계가 낮아도, 위기 때에는 상관관계가 급등한다는 겁니다. 문제는 전통적인 상관관계 지표(Pearson correlation)가 이 비대칭성을捕捉하지 못한다는 것입니다.

대표 논문: 선형과 비선형 꼬리 의존을 분리하는 새로운 지표

TailCoR (Cascos-Fernández, Krämer, Mostovyi)

• arXiv: 2011.14817 | 등급: A | 복합점수: 73.2

이 논문이 제안하는 TailCoR은 정말 우아한 지표입니다. 복잡한 최적화도 필요 없고, 분위수와 투영(projection)만으로 계산됩니다.

핵심 아이디어는 이렇습니다. 두 자산 X, Y의 관계를 생각해 봅시다.平常에는 둘 사이에 일정한 선형 상관(ρ)이 있습니다. 그런데 위기 때 — 예를 들어 X가极端하게 떨어질 때 — Y도 같이极端하게 떨어지는程度가平常과 다릅니다. 이 "다른程度"를 측정하는 것이 TailCoR입니다.

수학적으로, TailCoR은 이렇게分解됩니다:

• 선형 성분:平常의 Pearson 상관관계
• 비선형 성분: 꼬리特有的인 의존성 (꼬리 지수 α에 의해 결정)

이分解가 가능한 이유는 타원 분포(elliptical distribution) 가정 때문인데, 현실의 금융 데이터는 이 가정에서 크게 벗어나지 않는 경우가 많습니다.

연구진은21개 글로벌 시장 지수(2000년1월~2020년7월)에 TailCoR을 적용했습니다. 결과는 인상적입니다:

• 지리적 클러스터링: 북미, 유럽, 아시아 시장이各自뚜렷한 TailCoR 패턴을 보입니다.
• 위기 감지: GFC(2007-2009)와 COVID-19(2020) 기간에 TailCoR이 급등합니다.
• 가장중요的발견: COVID-19에서 비선형 성분이 선형 성분보다훨씬 급격히 반응했습니다.

마지막 점이 정말중요합니다.平常에는 선형 상관만으로 자산 간 관계를 설명할 수 있지만, 위기 때에는 꼬리特有的인 비선형 의존성이 추가로 폭발한다는 뜻이거든요. 이것을捕捉하지 못하면 위기 때 포트폴리오의 실제 리스크를 과소평가하게 됩니다.

함께 보면 좋은 논문들

Simulation of the drawdown and its duration in Lévy models (González Cázares, Mijatović)

• arXiv: 2011.06618 | 등급: A | 복합점수: 78.8

포트폴리오의 최대 낙폭(drawdown)과 그 지속 시간을 시뮬레이션하는 것은 리스크 관리의基本입니다. 그런데 현실의 수익률은 정규분포가 아닙니다. 점프가 있고, 꼬리가 두껍습니다. Lévy 모델은 이런特性을很好地반영하지만, 시뮬레이션이 어렵습니다.

이 논문은 Stick-Breaking Gaussian(SBG) 알고리즘을 제안합니다. Lévy 과정의 작은 점프를 브라운 운동으로 대체한 가우시안 근사를 만들고, 경로를 지수적으로 작은 구간으로分解해서 각 구간에서 시뮬레이션하는 방법입니다. Multilevel Monte Carlo(MLMC)와 결합하면 기존 방법 대비 계산 복잡도를 최대100배 줄일 수 있습니다.

Asymmetric excitation of left- and right-tail extreme events (Tomlinson, Greenwood, Mucha-Kruczynski)

• arXiv: 2011.12291 | 등급: A | 복합점수: 67.1 · Physical Review E 104, 024112 (2021) 게재

극단 손실과 극단 이익은 다른性格을 가지고 있습니다. S&P 500 데이터를 분석한 결과, 극단 손실이 극단 이익보다 2배 더 많이 발생하지만, 손실 충격은 이익보다 거의5배 빠르게 감쇠합니다. 즉, 시장은 빠르고 강하게 떨어지지만, 회복은相对적으로 느리다는 겁니다.

이 비대칭성을 Hawkes 과정으로 모델링하면, 극단事件의 군집성(clustering) — 한 번 떨어지면 연달아 떨어지는 경향 — 을定量적으로描述할 수 있습니다.

이 테마의 공통 인사이트

위기 시 리스크를 제대로 측정하려면平常의 상관관계만으로는 부족합니다. TailCoR은 꼬리 의존성을 분리·측정하고, Lévy 모델 드로다운 시뮬레이션은最大손실 분포를 정밀하게 추정하며, Hawkes 모델은 극단事件의 군집성을 모델링합니다. 세 도구를포트폴리오하면 "위기 때 포트폴리오가到底얼마나 무너지는가"에 대한完整的한 그림을 얻을 수 있습니다.

---

테마 3: 강화학습 트레이딩 — 라이브러리와냉정한 평가

왜 흥미로운가

딥강화학습(DRL)은 금융에서 가장热门인 AI 기술 중 하나입니다. "에이전트가 시장에서自己学서 최적의 매매 전략을 찾는다"는概念은 매력적이죠. 그런데 실제로는 어떤가요?

대표 논문: FinRL — DRL 트레이딩의 오픈소스 기반

FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading (Liu et al.)

• arXiv: 2011.09607 | 등급: A | 복합점수: 67.2

FinRL은 DRL 트레이딩연구를 위한통합 오픈소스 라이브러리입니다. DQN, DDPG, PPO, SAC, A2C, TD3等주요 알고리즘을 모두 포함하고, NASDAQ-100, DJIA, S&P 500, HSI, SSE 50, CSI 300等글로벌 지수를 지원합니다.

핵심贡献은재현성입니다. DRL 트레이딩연구는 하이퍼파라미터, 환경 설정, 데이터处理方式에 따라 결과가 크게 달라지는데, FinRL은这些를标准化했습니다. NeurIPS 2020 Deep RL Workshop에서 발표되어 학계의 주목을 받았습니다.

하지만냉정하게 봐야 합니다. FinRL은很好的프레임워크이지만,它本身는"실전에서赚钱한다"는 것을 보장하지 않습니다. 실제 라이브 트레이딩 환경에서의 성능 검증은아직부재합니다.

함께 보면 좋은 논문

Dirichlet policies for reinforced factor portfolios (Coletta, Vyetrenko, Korda)

• arXiv: 2011.05381 | 등급: A | 복합점수: 66.0

이 논문은 더直接적입니다. RL 기반 팩터 포트폴리오 배분을연구하면서,부정적 결과를 정직하게 보고했습니다.

Dirichlet 정책으로 장기전용 가중치를 생성하고 REINFORCE 알고리즘으로 학습시켰더니, 결과적으로균등가중(equal weight)으로 수렴한다는 겁니다. 즉, 복잡한 RL 알고리즘을 써도 단순히 "모든 자산에 동일 비중을 배분하는" 것과差不多相同的결과가 나온다는 뜻입니다.

이것은 RL의 한계를 정직하게 보여주는有价值的연구입니다.

이 테마의 공통 인사이트

DRL 트레이딩은연구인프라 수준에서는 성숙해지고 있지만,实际수익으로 연결되기에는아직간극이큽니다. FinRL은很好的出발점이지만, 자체적인 거래비용 모델, 슬리피지, 시장충격 모델을 추가하고 walk-forward 검증 체계를 구축해야 합니다. 그리고 "RL이 실제로简单的전략을 이기는가"라는 질문에 대한냉정한评估가필요합니다.

---

테마 4: 시장 미시구조·유동성 — 거래의 숨겨진 비용

왜 흥미로운가

大家都知道 "사고 싶을 때 사고, 팔고 싶을 때 팔 수 있다"는 것이중요하다는 것을. 이것이 바로 **유동성(liquidity)입니다. 그런데 유동성은免费가아닙니다. 대량매매를 하면 가격이不利하게 움직이고, 이것이시장 충격(market impact)**입니다.

대표 논문: 유동성 프리미엄의结构을이해하다

An Equilibrium Model for the Cross-Section of Liquidity Premia (Aquilina, Budish, O'Neill)

• arXiv: 2011.13625 | 등급: A | 복합점수: 68.8

이 논문은为무엇유동성이差한자산의 수익률이높은지를结构적으로설명합니다. 쉽게 말하면 이런故事입니다.

어떤 주식의 거래량이很少다고합시다. 이 주식을사려면많이기다려야하고, 사고 나서 팔려고 해도또많이기다려야합니다. 이"기다림"에는비용이있죠. 그래서투자자들은이 주식에更高的수익률을요구합니다. 이것이유동성 프리미엄입니다.

이 논문은多자산·多기관 거래비용一般均衡을전역적으로풀어, 유동성 프리미엄의횡단면을结构적으로도출합니다. Forward-backward SDE와행렬 Riccati 방정식을사용하는高度한수학이지만, 핵심메시지는단순합니다: 거래비용이큰자산일수록更高的프리미엄을提供한다.

이 테마의 공통 인시장 미시구조연구는이론적으로매우정교해지고있습니다. 평균장 게임(mean-field game), 자기흥분형 주문흐름(self-exciting order flow)等새로운수학적도구가적용되고있죠. 하지만실전에서这些이론을구현하려면시장데이터에대한깊은이해와기술적인프라가필요합니다.

---

테마 5: 모델 프리 분석 — 확률 모형 없이 트레이딩을분석하다

왜 흥미로운가

금융에서大部分의분석은확률 모형에기반합니다. 주가가로그정규분포를따른다거나, 변동성이GARCH过程을따른다거나하는假设이죠. 그런데这些假设이틀리면어떨까요?

대표 논문: 모델 없이전략을分解하다

Model-free Analysis of Dynamic Trading Strategies (Ananova, Cont, Xu)

• arXiv: 2011.02870 | 등급: A | 복합점수: 72.8

이 논문은확률 모형이나분포假设없이, 가격 경로의excursion(이탈)만으로동적트레이딩 전략의위험·수익을분석하는pathwise 프레임워크를제시합니다.

핵심概念은δ-excursion입니다. 가격이기준수준에서δ만큼이탈한후복귀하는경로를생각해보세요. 페어트레이딩에서는두자산의스프레드가이렇게움직이죠. 이논문은这种excursion의구조만으로거래횟수, 실현손익, 최대손실, 드로다운의명시적表达式을도출합니다.

수학적으로는매우우아한결과인데, 실전에서도의미가있습니다. 페어트레이딩 전략을설계할때, δ-excursion decomposition을활용하면신호의이탈폭과복귀패턴만으로전략의손익구조와리스크프로파일을모델프리하게평가할수있기때문입니다.

이 테마의 공통 인사이트

모델假设를최소화하려는이론적추세는2020년하반기통계차익거래연구의핵심축입니다. 확률모형대신경로의기하학적特性만으로분석하면모델리스크를원천배제할수있습니다.这对于"모델이틀렸을때어떻게될까"라는걱정에서자유로워지고싶은운용자에게매력적인접근입니다.

---

월 전체 Big Picture

2020년 11월 코호트의연구를관통하는메시지는이렇습니다: "强大的도구는强大的책임을伴한다".

딥러닝은금융에서매우强大的도구입니다. Deep ERM 논문이보여주듯, 신경망은금융데이터에서놀라울만한패턴을찾을수있습니다. 하지만이것이실제로는"미래를미리보는"과적합일수도있습니다. TailCoR이보여주듯, 위기때의자산간관계는平常과질적으로다릅니다. 이것을무시하면포트폴리오의실제리스크를과소평가하게됩니다.

한편, 모델프리분석과같은접근법은모델假设의안전망을제거하는대신, 데이터자체의구조에집중합니다. 강화학습연구는"AI가自己学서거래한다"는열망과냉정한현실사이의간극을직시하게합니다.

이모든연구가공통으로指向하는方向이있습니다: 금융에서AI를사용하려면, 그한계를정확히이해해야한다는것. 이것이이달의가장중요的教训입니다.

---

더 알아보기

이 글에서 다룬 논문들의 arXiv 링크입니다:

1. Deep ERM in finance — S등급, 복합점수 80.0
2. Drawdown simulation in Lévy models — A등급, 복합점수 78.8
3. Factor Graphical Lasso — A등급, 복합점수 75.4
4. LSTM + path signatures for PPDEs — A등급, 복합점수 73.7
5. TailCoR — A등급, 복합점수 73.2
6. Model-free analysis of trading strategies — A등급, 복합점수 72.8
7. Dynamic risk constraints — A등급, 복합점수 71.7
8. Sparse Portfolios — A등급, 복합점수 71.7
9. Mixed-frequency VaR/ES — A등급, 복합점수 70.7
10. Liquidity Premia Equilibrium — A등급, 복합점수 68.8
11. FinRL — A등급, 복합점수 67.2
12. Hawkes asymmetric tail — A등급, 복합점수 67.1
13. Dirichlet factor portfolios — A등급, 복합점수 66.0
14. Weak Transport — A등급, 복합점수 65.1

---

이 글은 ohselab 자동 백필 파이프라인에 의해 생성되었습니다. 2020년 11월 arXiv 코호트 기준.