2017년 8월 금융 AI 논문: 가격 충격, 거친 변동성, 딥러닝 편미분방정식

매달 arXiv에 쏟아지는 금융 연구 중에서 의미 있는 논문을 골라 정리합니다. 이번은 2017년 8월입니다. 이 달의 논문들을 읽다 보면 하나의 흐름이 보입니다. 한쪽에서는 가격이 왜 움직이는지를 밀리초 단위로 측정하느라 바쁘고, 다른 한쪽에서는 그토록 정교해진 모델을 계산 가능하게 만드느라 바쁘다는 것. 그리고 그 사이에서 "예측을 더 잘하기보다 구조를 단순하게"라는 실무자의 지혜가 조용히 빛납니다.

---

들어가며: 재즈 밴드와 악보

주식 시장을 재즈 밴드에 비유해 본 적이 있나요? 악보(뉴스·공시)는 같아도, 연주(가격)는 밴드원 각각의 호흡—누가 먼저 건반을 두드리는지, 드럼이 얼마나 세게 치는지—에 따라 매번 달라집니다. 2017년 8월의 연구자들은 바로 그 호흡과 템포를 관찰하느라 바빴습니다. 누가 누구보다 0.1밀리초 먼저 반응하는지, 큰 주문이 시장에 남기는 자국은 어떤 모양인지, 변동성은 왜 교과서의 예측보다 자주 "폭발"하는지.

그리고 그 관측을 따라가려면 계산이 필요했습니다. 2017년 8월은 인공지능이 금융의 '계산 인프라'에 뛰어들기 시작한 달이기도 합니다. "딥러닝이 주가를 예측한다"는 식상한 이야기가 아니라, "딥러닝이 200차원 편미분방정식을 푼다"는 훨씬 본질적인 이야기입니다.

---

1. 가격을 움직이는 것은 뉴스가 아니라 '주문의 흐름'이다

시장에는 '가격을 밀어내는 힘'이 있다

큰 매수 주문 하나가 들어오면 가격이 오릅니다. 그런데 그 오르는 모양이 이상합니다. 주문량의 두 배를 사면 가격이 두 배 오르는 게 아니라, 처음에는 쭉 오르다가 나중에는 거의 오르지 않는 S자 모양이 됩니다. 마치 문을 여는 힘이 커질수록 문이 점점 덜 열리는 것처럼요. 이 "가격 충격의 비선형 곡선"은 여러 시장에서 공통적으로 관측되는 현상이라, 2010년대 중반 학계에서 큰 화제가 됐습니다.

문제는 정작 실무에서 널리 쓰이는 모델이 이 현상을 못 그린다는 점이었습니다. 프로퍼게이터(propagator) 모델—과거의 매수·매수 주문 부호를 시간에 따라 더해 가격을 만드는, 말하자면 '파동이 퍼져 나가는' 모델—은 수식이 단순하게 직선으로만 움직입니다. 직선 모델이 S자 곡선을 설명할 수 있을까요?

대표 논문: Nonlinear price impact from linear models (1708.02411)

프랑스 퀀트 펀드 Capital Fund Management의 Felix Patzelt과 Jean-Philippe Bouchaud(가격 충격 연구의 세계적 권위자)가 답을 내놓았습니다. 답은 놀랍도록 단순합니다. 거래를 두 종류로 나누면 된다는 것입니다.

• 가격을 바꾼 거래: 체결이 실제로 호가를 한 틱(tick) 움직임
• 가격을 바꾸지 못한 거래: 체결됐지만 호가가 그대로

이렇게 라벨을 붙이면, 원래 직선이었던 모델이 S자 곡선·단기 가격 움직임·확산 속도까지 아주 높은 정도로 재현합니다. 더 흥미로운 점은, 이 라벨의 설명력이 티크(최소 가격 단위)가 클수록 더 커진다는 사실입니다. 가격이 굵은 단위로만 움직이는 시장일수록 "가격을 바꿨는가"가 결정적 정보가 되는 셈입니다.

저자들은 이 결과를 위해 통계 작업도 대폭 손봤습니다. 기존 모델 검증이 쓰던 근사식이 때때로 허위 결론을 만들 수 있음을 지적하고, 2점·3점 상관을 정확히 추정하는 새 방법을 제시했습니다. "모델이 잘 맞는 것처럼 보였지만 검증 방법이 허술했던 것"이라는 반성에서 출발한 연구인 셈입니다.

검증 데이터도 알찹니다. 미국 나스닥 기술주 12종목(애플·마이크로소프트 포함, 2011~2016년), 북유럽 나스닥 OMX 거래량 상위 13종목(스톡홀름·헬싱키·코펜하겐), 유럽파생상품시장(EUREX) 선물 6종(독일 국채 선물부터 DAX 선물까지) — 서로 구조가 다른 31개 상품에서 같은 결론이 나왔습니다.

가볍게 더 보기

• 호가장의 회복력 (1708.02715, A등급): 시장가 주문과 지정가 주문의 흐름을 함께 보면, 시장이 큰 충격을 얼마나 빨리 털고 일어나는지(호가장 회복력) 설명할 수 있습니다. 큰 주문을 쪼개 넣어야 하는 이유를 보여주는 연구입니다.
• 소액 주문의 최적 배치 (1708.04337, B등급): "지정가로 기다릴까, 시장가로 바로 때릴까"를 확률 모델로 최적화합니다. 기다리다 가격이 도망갈 위험(음의 드리프트)까지 계산에 넣습니다.

이 테마의 공통 인사이트

가격은 '정보'가 아니라 '유동성이 소비되는 방식'에 의해 움직인다. 누가, 얼마나, 어떤 방식으로 주문을 넣는지—그 물리학을 알면 가격의 자국이 읽힌다.

---

2. 0.1밀리초의 우위 — 시장에는 시간이 하나가 아니다

같은 시장, 다른 시계

두 거래소가 있다고 합시다. 한 거래소의 가격이 움직이면 다른 거래소가 0.1밀리초 뒤에 따라옵니다. 이건 '누가 더 똑똑해서'가 아니라, 두 거래소의 서버가 물리적으로 떨어져 있어서 생기는 일일 수 있습니다. 그런데 이런 '선행-후행(리드-래그)' 관계는 하루 종일 똑같지 않습니다. 빠른 트레이더들의 세계에서는 한 방향으로, 느린 트레이더들의 세계에서는 반대 방향으로 나타나기도 합니다.

문제는 이걸 측정하기가 어렵다는 점입니다. 두 자산의 데이터가 서로 다른 시각에 찍히는(비동기) 고빈도 데이터에서, 억지로 시간표를 맞추기 위해 보간(interpolation)을 하면 잡음이 끼어듭니다.

대표 논문: Multi-scale analysis of lead-lag relationships in high-frequency financial markets (1708.03992)

하야시 다카키와 고이케 유타의 이 논문은 보간을 통째로 생략합니다. 대신 두 자산의 '상호 공분산 함수'에 웨이블릿 변환(주파수 대역을 나누는 신호 처리 기법)을 직접 적용해, 시간 스케일 구간마다 선행-후행 시간을 따로 추정합니다. 쉽게 말하면, "하루 전체를 하나의 시계로 보지 말고, 밀리초용 시계·초용 시계·분용 시계를 따로 만들어 놓고 각 시계에서 누가 앞서는지 읽는다"는 접근입니다.

실증 결과는 극적입니다. 나스닥 100 종목의 호가 데이터에서 두 종류의 선행-후행이 잡혔습니다.

1. 가장 빠른 스케일(약 0.1밀리초): 나스닥이 BATS 거래소를 선행합니다. 이 0.1밀리초는 전략의 결과가 아니라 광케이블의 물리학입니다. 나스닥 매칭 엔진이 있는 뉴저지 카터렛과 BATS 데이터센터가 있는 뉴저지 시코커스 사이의 최단 신호 전달 시간 추정치와 정확히 맞아떨어집니다.
2. 밀리초 스케일: 상대적으로 느린 트레이더들의 영역에서는 대체로 BATS가 나스닥을 선행합니다(반대인 경우도 적지 않지만).

"시장의 선행-후행은 하나의 숫자가 아니라 스케일마다 다른 숫자의 묶음이다"라는 이 발견은, 저자들에 따르면 당시 문헌에서 처음 관측된 것입니다.

가볍게 더 보기

• 초단타 '확정 이익'의 존재 조건 (1708.03099, B등급): 가격 점프가 미리 예측 가능하다면, 초단타 전략으로 위험 없는 이익이 생길 수 있다는 것을 확률 이론으로 증명합니다. 다만 '예측 가능한 점프'라는 전제가 얼마나 강한 가정인지 함께 생각해볼 일입니다.
• 정보의 도착을 '점프'로 모델링 (1708.06948, B등급): 뉴스가 물 흐르듯 들어오지 않고 툭툭 떨어진다는 관점에서, 정보 흐름 자체를 점프 과정으로 모델링합니다.

이 테마의 공통 인사이트

고빈도 시장의 시간축은 하나가 아니다. 데이터를 억지로 하나의 시간표에 맞추면, 정작 중요한 '누가 먼저 움직이는가'의 구조를 놓친다.

---

3. 거친 변동성, 점프, 두꺼운 꼬리 — 현실을 닮은 모델과의 사투

교과서의 변동성은 너무 예의 바르다

금융 교과서는 변동성이 부드럽게 움직인다고 가정합니다. 하지만 실제 변동성은 거칠게 요동치고(심지어 브라운 운동보다 거칠다는 것이 2014년의 유명한 실증 발견입니다), 가격에는 갑작스러운 '점프'가 섞여 있으며, 큰 하락은 정규분포의 예측보다 훨씬 자주 일어납니다(두꺼운 꼬리). 2017년 8월의 변동성 연구는 이 '예의 바르지 못한 현실'을 정면으로 받아들이는 방향으로 나아갑니다.

대표 논문: Turbocharging Monte Carlo pricing for the rough Bergomi model (1708.02563)

이 달의 최고 점수 논문(복합점수 75.8)은 제목부터 솔직합니다. "터보 부스터를 달자"는 것입니다. 대상은 '거친 Bergomi 모델'—변동성이 브라운 운동보다 훨씬 거칠게 움직인다는 발견 위에 세운, 당시 최신의 옵션 가격 모델입니다. 실제 옵션 시장의 '변동성 표면' 형태를 잘 그려내지만 결정적인 약점이 있습니다. 옵션 가격 공식이 없습니다. 오직 시뮬레이션(몬테카를로)으로만 값을 구할 수 있는데, 시장 데이터에 모델을 맞추려면 이 시뮬레이션을 수천 번 되풀이해야 합니다. 느립니다.

임페리얼 칼리지 런던의 Ryan McCrickerd와 Mikko Pakkanen은 모델을 고치지 않고 시뮬레이션의 품질을 끌어올렸습니다. 세 가지 요리를 한 접시에 담았습니다.

1. 조건부 몬테카를로: 확률적 요소 하나에 대해 '미리 평균을 내고' 시작하기 — 이론상 분산이 줄어드는 것이 보장됩니다.
2. 제어변수: 답을 이미 아는 비슷한 문제(타이머 옵션)의 값을 참고값으로 삼아 오차를 보정합니다. 왜 이 참고값이 더 자연스러운지에 대한 이론적 설명까지 붙였습니다.
3. 대칭 표본추출: 확률 경로를 좌우 대칭으로 짝지어, 경로 생성 비용을 즉시 절반으로 줄입니다.

이 조합의 결과는 인상적입니다. 같은 정확도를 낼 때 걸리는 시간이 평균 약 20배 단축되었습니다. 실제로는 경로 1,000개만으로 모델 보정이 약 0.7초 만에 끝납니다. 게다가 이 요리법은 '거친 Bergomi'에만 국한되지 않고, 변동성이 확률적인 모델이면 어디든 쓸 수 있습니다.

단, 주의할 점도 분명합니다. 이 방법은 시뮬레이션 오차를 줄이는 것이지, 모델 자체가 실제 시장과 얼마나 맞는지는 별개의 문제입니다. "계산이 빨라졌다"와 "모델이 옳다"는 다르다는 냉정함이 이 논문의 품격입니다.

가볍게 더 보기

• 꼬리가 두꺼운 세계의 변동성 전이 (1708.02073, A등급): 벨기에 KU Leuven의 연구로, 원자재 10종(천연가스·크루드오일·에탄올·옥수수·밀·대두·커피·설탕·면화 등)의 변동성이 서로에게 전파되는 양상을, 오차 분포의 꼬리가 두꺼운 현실을 반영한 모델로 분석했습니다. 에너지와 바이오연료, 에너지와 농산물 사이의 쌍방향 변동성 전이를 찾아냈고, 예측 정확도도 전통적 방법보다 좋아 20일 예측에서 오차가 약 14% 작았습니다(통계적으로 유의, p<0.01).
• 점프를 걸러내는 임계값 (1708.04339, A등급): 하루의 '진짜 변동성'을 구하려면 가격 점프를 걸러내야 합니다. 언제 튀어오를지 모르는 점프를 어떤 기준으로 걸러낼지—임계값을 수학적으로 최적화합니다.
• 어느 점프 검정을 써야 할까 (1708.09520, B등급): 점프 검정 도구들을 나란히 놓고 "이 상황에는 이 검정"을 알려 주는 비교 연구입니다.

이 테마의 공통 인사이트

변동성은 정규분포의 세상에 살지 않는다. 거칠고, 점프하고, 꼬리가 두껍고, 서로 전파된다. 이 사실을 정직하게 반영한 쪽이 측정도 예측도 더 정확했다.

---

4. 딥러닝이 편미분방정식을 풀기 시작한 해

금융의 숨은 병목, '차원의 저주'

옵션 가격, 포트폴리오 최적화, 리스크 계산—금융의 많은 문제가 사실은 편미분방정식(PDE) 문제입니다. 그런데 이 방정식들을 푸는 전통적 방법(유한차분법 등)은 자산이 늘어날수록 계산량이 폭발합니다. 10개 자산은 되는데 100개 자산은 안 되는, 이른바 '차원의 저주'입니다. 시장에는 이미 자산이 수천 개인데 말이죠.

대표 논문: DGM: A deep learning algorithm for solving partial differential equations (1708.07469)

저스틴 시그나노와 콘스탄티노스 스플리오폴로스의 이 논문은 단호한 선택을 합니다. 격자를 버립니다. 전통적 방법이 수억 개의 격자점을 만드는 대신, DGM은 무작위로 뽑은 점들에서 신경망이 방정식을 만족하도록 학습시킵니다. 격자 없이(mesh-free) 점만으로 푸는 겁니다. 방정식의 잔차(얼마나 어긋났는지)를 손실 함수로 삼아, 초기 조건과 경계 조건까지 함께 맞춥니다. 해를 '기저함수의 조합'으로 놓는 고전적 수치해석(Galerkin 방법)의 정신을 '기저함수 대신 신경망'으로 바꾼 것이라, 이름도 Deep Galerkin Method(DGM)입니다.

세부 기술도 실용적입니다. 신경망으로 2차 미분을 계산하면 비용이 크게 불어나므로, 2차 미분 자체를 몬테카를로로 근사합니다. 학습은 GPU 6개에 분산시켰습니다. 그리고 이 논문은 그냥 '실험이 잘 됐다'가 아니라, 신경망이 이런 방정식을 근사할 수 있다는 수학적 정리까지 증명합니다.

성과는 이렇습니다.

• 미국형 옵션 가격 문제(자유경계 문제)를 최대 200차원까지 정확하게 해결
• 21차원 최적제어의 가치함수(Hamilton-Jacobi-Bellman 방정식), 유체역학의 Burgers 방정식도 해결
• 정답을 모르는 문제에서도 오차 상한을 이용해 정확도를 검증(예: 해가 [0.10119, 0.10193] 구간 안에 있음을 확인)

물론 공짜는 없습니다. 200차원 해결에는 GPU 노드 6개의 분산 학습과 슈퍼컴퓨터 자원이 들어갔습니다. "노트북으로 200차원"이 아니라, 차원이 커질수록 전통 방법보다 유리해지는 교차점을 보여준 연구로 읽어야 합니다.

가볍게 더 보기

• 전력 가격 예측과 시장 통합 (1708.07061, A등급): 유럽 전력 시장에서 '이웃 시장의 정보'를 함께 넣은 딥러닝 예측이 벨기에 전력 가격 예측을 크게 개선합니다. 시장이 통합돼 있다면 이웃의 정보가 곧 내 정보라는 교훈입니다.
• 트레이딩을 제어 문제로 (1708.08857, B등급): 주식 매매를 피드백 제어로 재구성하고, 두 가지 제어 전략(확률적 모델 예측 제어 vs 유전 알고리즘)을 거래비용·강건성에서 비교합니다.

이 테마의 공통 인사이트

인공지능은 이 달 '주가 예측기'가 아니라 수치해석과 제어의 인프라로 금융에 들어왔다. 차원의 저주라는 오래된 벽에 새로운 도구가 들이댄 달이다.

---

5. 알파를 '합치지 않는' 포트폴리오

퀀트 펀드의 조립 라인

퀀트 펀드에는 '알파'—미래 수익을 예측하는 신호—가 수십~수백 개 있습니다. 전통적 작업 흐름은 이 알파들을 가중 평균해 하나로 합치고(이걸 '알파 콤보'라 부릅니다), 그 콤보로 포트폴리오를 짜는 것입니다. 그런데 이 '합치기' 단계가 그저 공짜가 아닙니다. 거래가 늘어 비용이 들고, 합치는 과정에서 잡음이 섞이며, 이론적으로도 최적이 아닐 수 있습니다.

대표 논문: Decoding Stock Market with Quant Alphas (1708.02984)

Zura Kakushadze(퀀트 컨설팅 회사 Quantigicr Solutions)와 Willie Yu의 이 논문은 과감하게 조립 라인의 중간 공정을 없앱니다. 알파들의 기대수익을 가중 합산해 주식 수익률을 예측하기 전에, 알파의 기대수익에서 곧바로 주식의 기대수익을 뽑아내는(역변환하는) 알고리즘을 제시합니다. 논문에 소스코드까지 실려 있습니다.

논문의 주장에 따르면, 알파 콤보 단계가 헤지펀드 손익의 약 3%를 비용으로 잡아먹는 반면 알파 자체의 비용은 약 10%입니다. 콤보라는 중간 공정 하나가 손익의 수 퍼센트를 낭비하고, 게다가 잡음까지 더한다는 것입니다. (이 비용 수치는 산업 경험에 근거한 주장이지 공개 데이터로 재현된 실증은 아니라는 점, 참고하시길. 저자도 퀀트 컨설팅 업계 이해관계자입니다.)

또한 포지션 데이터만으로 알파 리스크 모형을 독립적으로 구성해 같은 결론에 도달함을 보여, 두 가지 관점이 서로 확인해 준다는 점도 흥미롭습니다. 조건은 있습니다: 알파들이 다루는 종목이 상당 부분 겹쳐야 합니다. 겹치지 않는 알파는 이 방법 밖으로 빼야 합니다.

가볍게 더 보기

• 주식은 쪼갤 수 없다 (1708.07661, B등급): 현실의 주식 매매는 1주 단위로만 가능합니다. 이 '정수 제약'을 무시하면 이론적 최적 포트폴리오는 실제로는 실행 불가능할 수 있습니다. 정수 조건에서의 무차익 가격 이론을 정립한 연구입니다.
• 소형주 프리미엄, 정말 위험의 보상인가 (1708.00644, B등급): 소형주가 오래 잘 나간 현상(사이즈 프리미엄)이 위험의 보상인지, 미국·유럽·일본·한국·대만 등의 데이터로 다시 묻습니다. 뮤추얼펀드가 소형주를 선호하는 현상과의 연결까지 다룹니다.
• 위험측도의 선택이 곧 전략이다 (1708.05713, B등급): VaR, CVaR에 이어 '지수 VaR(EVaR)'라는 일관된 위험측도로 포트폴리오를 최적화하는 방법을 정리합니다.

이 테마의 공통 인사이트

때로는 예측을 더 잘하는 것보다, 예측을 짜는 구조를 단순하게 만드는 것이 성과를 만든다. 비용과 잡음을 줄이는 단순화, 그리고 실행 가능성에 대한 정직함이 이 테마의 논문들이 함께 말하는 바다.

---

월 전체 Big Picture: 측정이 정교해지고, 계산이 따라오고, 구조가 이긴다

2017년 8월은 세 흐름이 교차한 달입니다.

첫째, 측정이 정교해졌습니다. 거래를 '가격을 바꿨는가'로 분류하면 가격 충격의 수수께끼가 풀리고(테마 1), 선행-후행은 밀리초와 그보다 느린 스케일로 나뉘며(테마 2), 변동성은 거칠고 점프하고 서로 전파됩니다(테마 3). 시장을 보는 눈이 '평균'에서 '구조'로 이동했습니다.

둘째, 계산이 따라왔습니다. 정교해진 모델은 대개 계산이 느립니다. 몬테카를로 분산감소로 20배 가속하고(테마 3), 신경망으로 200차원 방정식을 풉니다(테마 4). 2017년 8월의 인공지능은 화려한 예측기가 아니라, 무거운 계산을 들어주는 인프라로 등장했습니다.

셋째, 구조가 예측을 이겼습니다. 알파 콤보를 없애고(테마 5), 정수 제약을 인정하고, 위험측도를 신중히 고르는 것—추정을 더 잘하는 것보다 구조를 정직하게 만드는 것이 실전에서 더 큰 차이를 만들었습니다.

디지털 시대의 시장은 점점 더 빠르고, 더 높은 차원의, 더 거친 데이터를 안겨줍니다. 2017년 8월의 연구들은 그 데이터에 정직한 가정과 실용적인 계산으로 접근하는 방법들을 모아 놓은 보물 상자입니다.

---

더 알아보기

이 글에서 깊게 다룬 논문들의 원문입니다.

• 가격 충격: Nonlinear price impact from linear models (1708.02411)
• 리드-래그: Multi-scale analysis of lead-lag relationships in high-frequency financial markets (1708.03992)
• 거친 변동성: Turbocharging Monte Carlo pricing for the rough Bergomi model (1708.02563)
• 딥러닝 PDE: DGM: A deep learning algorithm for solving partial differential equations (1708.07469)
• 알파 콤보: Decoding Stock Market with Quant Alphas (1708.02984)

가볍게 소개한 논문들: 호가장 회복력 (1708.02715) · 소액 주문 최적 배치 (1708.04337) · 초단타 확정 이익 (1708.03099) · 정보 흐름 모델링 (1708.06948) · 변동성 전이 (1708.02073) · 점프 임계값 (1708.04339) · 점프 검정 비교 (1708.09520) · 전력 가격 예측 (1708.07061) · 트레이딩 피드백 제어 (1708.08857) · 정수 제약 트레이딩 (1708.07661) · 사이즈 프리미엄 (1708.00644) · 지수 VaR 포트폴리오 (1708.05713)