AI가 금융 리스크를 '학습'하기 시작했다

2022년 9월 금융 AI 연구 한눈에 보기

들어가며

주식 투자를 하는 사람이라면 한 번쯤 이런 생각을 해봤을 겁니다. "내 포트폴리오가 갑자기 20% 떨어질 확률은 대체 얼마일까?" 이 질문에 답하려면, 과거 데이터에서 극단적 손실이 얼마나 자주 나타났는지를 봐야 합니다. 그런데 문제는, 금융 시장의 손실분포는 정규분포(종 모양 곡선)와 아주 다르다는 겁니다. 꼬리가 두껍고, 예측하기 어려운 '검은 백조'가 날아다닙니다.

2022년 9월에 발표된 금융 AI 논문들을 살펴보면, 공통된 하나의 흐름이 보입니다. 바로 "이론적으로 좋은 것을 실제로 쓸 수 있게 만들자"는 목표입니다. 리스크 추정, 포트폴리오 선택, 강화학습 실험, 고빈도 변동성 측정까지 \u2014 각 분야에서 '이론의 실전화'가 동시에 일어나고 있었습니다.

이 글에서는 2022년 9월에 발표된 101편의 관련 논문 중 핵심 연구를 4개 테마로 묶어 살펴봅니다.

테마 1: 리스크를 '학습'하는 신경망 \u2014 VaR와 ES의 비모수 추정

무엇이 문제였나

포트폴리오의 리스크를 측정하는 대표적인 지표로 VaR(Value-at-Risk)와 ES(Expected Shortfall)가 있습니다. 쉽게 말하면, VaR는 "99% 확률로 이 이상은 잃지 않는다"는 금액이고, ES는 "그 1% 안에 들어갔을 때 평균적으로 얼마나 잃는가"입니다.

전통적으로 이 지표들은 정규분포나 특정 분포를 가정해서 계산했습니다. 하지만 현실의 금융 수익률은 정규분포가 아닙니다. 꼬리가 훨씬 두껍죠. 그래서 데이터에서 직접 리스크를 '학습'하려는 시도가 있었지만, 수학적으로 "이 추정이 얼마나 정확한가"를 보장하는 것이 어려웠습니다.

핵심 아이디어

프랑스 LPSM 연구팀이 2022년 9월에 발표한 논문(2209.06476)은 바로 이 문제를 풀었습니다. 핵심은 2단계 접근법입니다.

1. 1단계: 신경망 분위 회귀(neural network quantile regression)로 VaR를 학습합니다. 분위 회귀란, 데이터의 특정 비율(예: 1%)에 해당하는 값을 신경망이 찾아내는 방법입니다.
2. 2단계: 최소제곱 회귀로 ES를 학습합니다. VaR를 이미 알고 있으니, 그보다 더 큰 손실들의 평균을 구하면 됩니다.

여기서 핵심은 Rademacher 복잡도 경계라는 수학적 도구를 사용한다는 점입니다. 이것은 "학습한 모델의 오차가 표본 크기에 따라 이렇게 줄어든다"는 비점근적(non-asymptotic) 보증을 제공합니다. 쉽게 말하면, "데이터가 충분하면 이 추정은 이 정도까지 정확해진다"고 수학적으로 증명한 것입니다.

결과 \u2014 무엇을 알아냈나

이 방법은 두 가지 실험에서 검증되었습니다. 첫째, Student-t 분포(꼬리가 두꺼운 대표적인 분포)로 만든 가상 데이터에서, 둘째, 동적 초기 마진(dynamic initial margin)을 학습하는 실제 금융 사례에서입니다. 특히 여러 분위 수준(1%, 5%, 10% 등)의 VaR를 한 번에 학습하는 확장 버전도 제시되어, 실전에서 다양한 리스크 수준을 동시에 모니터링할 수 있습니다.

한계와 주의점

재현성 점수가 42로 낮은 편입니다. 코드가 공개되어 있지 않아서, 논문의 방법을 그대로 재현하려면 상당한 구현 노력이 필요합니다. 또한 극단적으로 두꺼운 꼬리 beyond moderate heavy-tail에서의 성능은 추가 검증이 필요합니다.

이 테마의 다른 논문들

같은 달에 발표된 다른 리스크 논문들도 주목할 만합니다.

• 시스템 리스크와 옵션 (2209.04685): 주식만으로는 시스템 리스크를 구조적으로 통제할 수 없으며, 옵션이 필요충분 조건을 만족한다는 이론적 결과입니다. 포트폴리오에 옵션을 포함시키면 극단 손실 상황에서의 상관관계 헤지가 가능해진다는 뜻입니다.
• 딥러닝 정밀행렬 추정 (2209.04512): 금융 수익률의 신호 대 잡음비(signal-to-noise ratio)가 낮은 환경에서도, 딥러닝으로 비선형 팩터 잔차를 학습하면 대형 포트폴리오의 공분산 역행렬(정밀행렬)을 안정적으로 추정할 수 있다는 연구입니다.

이 테마의 공통 인사이트

이 논문들은 공통적으로 "정규분포 가정이 붕괴하는 극단 상황에서도 신뢰할 수 있는 리스크 측도를 만들어야 한다"는 문제의식을 공유합니다. 신경망\u00B7비모수 방법을 쓰되, 수학적 오차 보증을 놓지 않으려는 균형이 2022년 9월 리스크 연구의 특징입니다.

테마 2: 30년 된 포트폴리오 이론의 계산 병목을 풀다

무엇이 문제였나

1991년, Thomas Cover라는 수학자가 놀라운 결과를 발표했습니다. 미래 수익률을 전혀 모르더라도, 어떤 포트폴리오 전략이든 본질적으로 따라갈 수 있는 '유니버설 포트폴리오'라는 알고리즘이죠. 수학적으로 최적의 후회 보장(regret guarantee)을 제공합니다.

문제는 계산 비용이었습니다. 유니버설 포트폴리오는 매 라운드마다 d차원 적분을 근사해야 하는데, 기존 최선 구현(Kalai-Vempala 2002)은 라운드당 \u00D5(d\u2074(T+d)\u00B9\u2074)의 시간이 걸립니다. d가 100개 자산, T가 1000일이면... 상상만 해도 끔찍한 숫자입니다. 이론적으로는 완벽하지만, 실제로는 쓸 수 없는 알고리즘이었던 것입니다.

핵심 아이디어

이 문제를 프랑스 INRIA와 영국 연구팀이 해결했습니다(2209.13932). 핵심 아이디어는 현재 로그 손실을 Hessian의 로그 행렬식으로 정규화하는 것입니다. 쉽게 말하면, "이미 투자한 포트폴리오가 너무 한쪽으로 쏠리지 않게, 다양성을 유지하는 패널티를 추가한다"는 것입니다.

이것은 수학적으로 자산 수익률 벡터가 정의하는 다면체의 '혼합 로그-체적 장벽'을 사용하는 것과 같습니다. 최적화 이론의 내부점 알고리즘(interior-point method)과 절단평면 알고리즘(cutting-plane method)을 연결하는 놀라운 발견이었습니다.

결과 \u2014 무엇을 알아냈나

• 후회 보증: O(d log(T+d)) \u2014 Cover의 유니버설 포트폴리오의 O(d log T)와 본질적으로 같습니다. 상수 배와 log(T+d) vs log(T)의 차이만 있을 뿐입니다.
• 런타임: 라운드당 \u00D5(d\u00B2(T+d)) \u2014 기존 최선 구현의 \u00D5(d\u2074(T+d)\u00B9\u2074)에 비해 수십만 배 이상 빠릅니다.
• 이 논문은 수학Operations Research 저널(Mathematics of Operations Research)에 게재 예정입니다.

한계와 주의점

재현성 점수가 43으로 낮고, 구현체 공개 상태가 불명확합니다. 또한 거래비용\u00B7유동성 제약을 추가한 실전 변형은 별도 연구가 필요합니다.

이 테마의 다른 논문들

• 150년 수익 예측 (2209.00121): 150년간 16개국의 주식\u00B7채권\u00B7주택 데이터를 분석한 대규모 연구입니다. 배당\u00B7쿠폰\u00B7임대료 대비 가격 비율로 수익을 예측하려는 시도가 샘플 밖(out-of-sample)에서 일관되게 실패한다는 충격적인 결과를 제시합니다. 밸류에이션 기반 타이밍 신호를 쓰기 전에 꼭 읽어야 할 논문입니다.
• 행동재무학 포트폴리오 (2209.03461): 전통적 평균-분산 최적화 대신, 투자자의 실제 행동 편의(손실을 동일 이익보다 크게 느끼는 등)를 반영한 누적전망이론(CPT) 효용으로 포트폴리오를 최적화하는 방법입니다.

이 테마의 공통 인사이트

"이론적으로 최적인 전략이 계산 비용 때문에 실전에서 쓸 수 없다"는 갭을 메우는 것이 이 테마의 핵심 과제입니다. Cover의 유니버설 포트폴리오에서 시작해 행동재무학 기반 목적함수까지, 포트폴리오 선택의 계산 효율을 개선하려는 시도가 두드러집니다.

테마 3: 강화학습 실험환경을 표준화하다 \u2014 LOB 거래의 Gym

무엇이 문제였나

강화학습(RL)은 마켓메이킹이나 주문 집행 같은 알고리즘 트레이딩 문제를 풀기 위해 활발히 연구되어 왔습니다. 하지만 각 연구팀마다 실험환경을 직접 만들다 보니, 결과를 비교하기도 어렵고 재현하기도 어려웠습니다. 마치 각자 다른 규격의 운동장에서 축구를 하는 것과 같았습니다.

핵심 아이디어

영국 University of Manchester 연구팀은 수학금융 문헌의 LOB(호가장, Limit Order Book) 모델을 표준화된 OpenAI Gym 환경으로 구현하는 Python 모듈 mbtgym을 발표했습니다(2209.07823).

핵심 설계 원칙은 세 가지입니다.

1. 모듈러 구조: 서로 다른 LOB 모델의 구성요소(주문 도착률, 가격 역학, 체결 규칙 등)를 블록처럼 조합할 수 있습니다.
2. 벡터화 환경: 여러 에피소드를 병렬로 실행해서 RL 학습 속도를 높입니다.
3. 확장성: 새로운 모델과 문제를 쉽게 추가할 수 있는 인터페이스를 제공합니다.

결과 \u2014 무엇을 알아냈나

마켓메이킹(호가 양쪽에 주문을 내고 스프레드를 먹는 전략)과 최적 집행(대량 주문을 시장 충격을 최소화하며 나눠 내는 전략) 문제를 Gym 환경에서 RL로 풀 수 있음을 시연했습니다. 재현성 점수가 82로 높고, 오픈소스로 GitHub에 공개되어 있습니다.

한계와 주의점

모델 기반 환경이므로 현실 시장의 비정상성(시간에 따라 변하는 특성)을 완전히 포착하지 못할 수 있습니다. 또한 insight 점수가 58로, 이론적 기여보다는 도구적 성격이 강합니다.

이 테마의 다른 논문들

• 리스크 인식 RL (2209.04067): 시장 불확실성과 보상 변동 위험을 EVaR(엔트로피 VaR)와 엔트로피 위험으로 동시에 다루는 소프트 로버스트 RL 프레임워크입니다. "평균적으로 잘하는" RL이 아니라 "최악의 경우에도 안전한" RL을 추구합니다.
• 백테스트 과최적화 (2209.05559): 암호화폐 시장에서 DRL 전략의 수익률 자체보다, 백테스트에서 과최적화되어 실전에서 실패하는 문제를 핵심 과제로 전면화한 연구입니다.

이 테마의 공통 인사이트

"수학적으로 잘 정의된 모델을 RL 실험환경으로 옮기는 것"이 핵심 과제임을 보여줍니다. 리스크 인식 RL과 백테스트 과최적화 문제도 동시에 다뤄지며, 실전 적용의 장벽을 낮추려는 도구적 연구가 돋보입니다.

테마 4: 고빈도 데이터에서 변동성을 정확히 잡기

무엇이 문제였나

초단타 매매(HFT)나 시장 미시구조 분석에서는 '현물 변동성'(현재 시점의 가격 변동 정도)을 정확히 추정하는 것이 핵심입니다. 하지만 현실의 고빈도 데이터에는 매수-매도 스프레드, 주문 체결 지연 같은 '미시구조 잡음'이 섞여 있습니다. 이론적으로 최적인 변동성 추정량이 이 잡음 때문에 실제로는 엉망이 될 수 있습니다.

핵심 아이디어

이탈리아 피렌체 대학 연구팀은 2002년에 Malliavin과 Mancino가 제안한 Fourier 기반 현물 변동성 추정량이 미시구조 잡음에도 강인(robust)하다는 것을 이론적으로 증명했습니다(2209.08967).

Fourier 방법의 핵심은 가격 데이터를 주파수 영역으로 변환(푸리에 변환)해서 변동성을 추정하는 것입니다. 시간 영역에서의 잡음이 주파수 영역에서는 특정 주파수 대역에 집중되므로, 이를 자연스럽게 분리할 수 있다는 것이 아이디어입니다.

결과 \u2014 무엇을 알아냈나

두 가지 핵심 결과가 있습니다.

1. 잡음이 있는 경우: 중심극한정리(CLT)를 증명하고, 최적 수렴률 n^(1/8)을 달성했습니다. 놀라운 점은, 원본 데이터의 조작이나 편의 보정 없이 이 결과가 성립한다는 것입니다. 기존의 실현변동성(realized volatility) 기반 방법들은 잡음 보정을 위한 별도의 전처리가 필요했는데, Fourier 방법은 그럴 필요가 없습니다.
2. 잡음이 없는 경우: 최적 수렴률 n^(1/4)의 CLT를 도출하여, 이론적 완성도를 높였습니다.

또한 잡음 환경에서의 파라미터를 실현 가능하게 자동 선택하는 적응적 방법도 제안했습니다.

한계와 주의점

재현성 점수가 42로 낮고, 코드 공개 여부가 불명확합니다. 이론적 결과가 중심이며, 실증 검증의 규모가 제한적일 수 있습니다.

이 테마의 다른 논문들

• 무한변동 점프 환경의 변동성 추정 (2209.10128): 가격에 무한변동 점프(갑작스러운 큰 가격 변동)가 있어도 연속 성분의 적분변동성을 효율적으로 추정할 수 있는 디바이어스드 절단 실현변동량 방법입니다.
• 탈중앙화 거래소 설계 (2209.15569): 블록체인의 검증 규칙으로 거래 순서를 제약해 프론트러닝(앞서 가는 거래)과 MEV(최대 가치 추출)를 완화하려는 시장 미시구조 설계입니다. 암호화폐 시장의 투명성 문제에 대한 구조적 접근입니다.

이 테마의 공통 인사이트

"현실의 고빈도 데이터에는 미시구조 잡음이 섞여 있는데, 이론적으로 최적인 변동성 추정량이 실제로도 잘 작동하는가?"라는 질문에 답하려 합니다. Fourier 기반 방법과 실현변동량 기반 방법이 각각의 장점을 보여주며, 탈중앙화 거래소로의 확장도 시도됩니다.

월 전체 Big Picture

2022년 9월의 금융 AI 연구를 관통하는 메시지는 하나입니다: "좋은 이론을 쓸 수 있게 만들자."

VaR\u00B7ES 추정에서 비점근적 오차 보증을 유지하면서 신경망을 쓰고, Cover의 유니버설 포트폴리오를 계산 가능한 알고리즘으로 바꾸고, 수학적 LOB 모델을 RL 실험환경으로 패키징하고, Fourier 변동성 추정량의 잡음 강인성을 이론적으로 입증하는 등 \u2014 모두 "이론적으로 좋은 것을 실제로 쓸 수 있게 만들자"는 공통 목표를 향하고 있습니다.

포트폴리오 최적화 분과(B3)가 A 티어의 절반을 차지한 것도 우연이 아닙니다. 리스크 관리와 자산배분은 여전히 자기자본 운용의 핵심 과제이며, AI가 이 분야에 실질적으로 기여하려면 이론의 실전화가 필수적이기 때문입니다.

함께하기

ohselab은 금융 AI 연구를 실제 투자 전략에 적용하는 방법을 연구하고 있습니다.

• \uD83D\uDDEC 최신 연구 소식을 받아보려면: ohselab.com
• \uD83D\uDCAC 연구 내용에 대해 논의하고 싶다면: 상담 신청
• \uD83D\uDD14 새 글 알림: 팔로우

더 알아보기

이 달의 S/A 논문 전체 목록

관련 논문 더보기

각 논문의 관련 논문을 찾으려면:

python3 scripts/kb.py related <arxiv_id>