
AI가 포트폴리오를 짜고, 뉴스를 조작하고, 블록체인에서 대량 매도한다
2026년 1월 금융 AI 연구 하이라이트
들어가며: 투자 의사결정의 "진짜 문제"
주식을 사기로 마음먹었다고 상상해 보세요. 그런데 문제는, 미래 수익률을 정확히 아는 사람이 없다는 거예요. 과거 데이터로 추정한 숫자를 믿고 투자해야 하는데, 그 추정이 틀리면 어떻게 될까요?
2026년 1월에 arXiv에 올라온 금융 AI 논문 574편을 살펴보니, 한 가지 뚜렷한 흐름이 보였습니다. "추정이 틀릴 수 있다는 것을 인정하고, 그 불확실성까지 반영해서 최적 결정을 내리자"는 것이에요. 포트폴리오 설계부터 AI 에이전트의 신뢰성, 블록체인 위의 대량 거래까지 — 이 관점이 관통하고 있었습니다.
이번 글에서는 그중 가장 흥미로운 다섯 가지 주제를 골라, 논문을 읽지 않은 분도 이해할 수 있게 풀어보겠습니다.
1. "모르는 것을 모르는 채로" 투자하면 생기는 일
무엇이 문제였나
전통적인 포트폴리오 이론(마코위츠, 머튼 같은 고전)은 미래 수익률과 변동성을 정확히 알고 있다고 가정합니다. 현실에서는 과거 데이터로 추정한 수치를 쓰는데, 이 추정치는 표본에 따라 크게 흔들려요. 특히 기대수익률(drift)은 추정 오차가 매우 커서, "정확한 값을 모른다"는 사실 자체가 핵심 정보입니다.
Pontryagin 투영: 모르는 것을 정책에 반영하는 방법

2601.03175 논문(PG-DPO)은 이 문제를 정면으로 다룹니다. 핵심 아이디어는 다음과 같아요:
쉬운 비유로 설명하면, 투자자가 "미래 수익률이 5%일 수도, -2%일 수도, 10%일 수도 있다"고 생각한다고 해봅시다. 기존 방식은 하나를 골라서 그걸 기준으로 포트폴리오를 짜요. 이 논문은 "모든 가능성을 고려한 포트폴리오 규칙"을 찾습니다.
구체적으로 두 단계로 작동합니다:
-
Stage 1 (DPO): 시뮬레이터 안에서 가능한 파라미터들을 랜덤으로 뽑아가며 포트폴리오 정책을 학습합니다. 마치 "만약 수익률이 이랬다면?"을 수천 번 반복해보는 거예요.
-
Stage 2 (폰트랴긴 투영): 이렇게 학습한 정책을 "실제로 배포 가능한 형태"로 정리합니다. 수학적으로는 폰트랴긴 최적성 조건을 모든 파라미터 가능성에 대해 평균낸 조건(집합 stationarity)을 만족하도록 정책을 투영합니다.
핵심 발견: 모델 프리 PPO(일반적인 강화학습)는 같은 제약 하에서도 목표에서 크게 벗어났지만, PG-DPO의 투영은 해석적 참조를 정확하게 복원했습니다. "파라미터 불확실성을 무시하고 강화학습을 돌리면 안 된다"는 실무적 교훈이에요.
한계도 솔직하게: 파라미터 불확실성 분포 q 자체를 외부에서 공급받아야 하며, q의 추정 오차는 다루지 않습니다. CRRA 효용 함수(상대위험회피 일정)라는 특정 형태에 제한된다는 점도 알아두세요.
2. AI 에이전트에게 "같은 질문에 같은 답을 해!"라고 요구하면?
무엇이 문제였나
은행에서 AI 에이전트가 "이 거래를 의심스럽다"고 판단했다고 해봅시다. 규제기관이 "왜 그랬나요? 같은 조건에서 다시 실행하면 같은 결과가 나오나요?"라고 물으면, institution은 "네"라고 대답해야 합니다. 그런데 실제로 LLM 에이전트에게 같은 입력을 주고 다시 실행하면, 결과가 다른 경우가 많아요.
DFAH: 결정론과 정확도는 별개다

2601.15322 논문(DFAH)은 4,700회 이상의 에이전트 실행을 통해 이 문제를 체계적으로 측정했습니다.
놀라운 발견: 결정론(같은 입력 → 같은 출력)과 정확도(정답을 맞힘) 사이에 유의미한 상관관계가 없었습니다 (r = -0.11, p=0.63). 쉽게 말하면:
- 소형 모델(7~20B): 거의 완벽한 결정론(91
98%)을 보이지만, 정확도는 2042%에 불과. 마치 "항상 같은 틀린 답을 내놓는" 것과 같아요. - 프론티어 모델(Claude, Gemini): 결정론이 50~96%로 들쭉날쭉하지만, 정확도는 더 높음.
- 어떤 모델도 두 가지를 동시에 충족하지 못함.

왜 이런 일이 생길까요? 소형 모델은 학습 데이터의 패턴을 그대로 따라가는 "암기형" 동작을 합니다. 그래서 항상 같은 답을 내놓지만, 새로운 상황에 맞지 않는 답을 줄 때가 많아요. 프론티어 모델은 상황에 따라 다양한 추론 경로를 탐색하기 때문에 더 정확할 수 있지만, 실행할 때마다 다른 경로를 선택할 수 있어요.
실무 시사점: 금융 AI 에이전트를 평가할 때, 결정론과 정확도를 독립적으로 측정해야 합니다. 단일 지표로는 충분하지 않아요. 검증 샘플도 프론티어 모델은 소형 모델 대비 3.7배 더 필요합니다.
3. 유니스왑에서 1만 ETH를 한 번에 팔면?
무엇이 문제였나
블록체인의 탈중앙 거래소(DEX)에서 대량으로 암호화폐를 팔면, 가격이 크게 밀립니다. 전통 주식시장에서는 알고리즘을 이용해 시간을 나눠 팔면서 시장 충격을 줄이는 "최적 집행(optimal execution)" 연구가 오래된 분야입니다. 하지만 DEX의 AMM(자동화된 시장 조성자)은 지정가 주문장(LOB)과 완전히 다른 가격 구조를 가지고 있어서, 기존 이론을 그대로 적용할 수 없어요.
Uniswap에서의 최적 집행

2601.03799 논문은 Uniswap v2와 v3에서 transient price impact(충격이 시간에 따라 서서히 사라지는 현상)를 고려한 최적 집행 전략을 다룹니다.
핵심 발견:
-
Uniswap v2 (CPAMM): 일반적 가격 역학 하에서 닫힌형(closed-form) 최적 전략을 도출했습니다. 쉽게 말하면, "이 공식에 숫자만 넣으면 최적 실행 스케줄이 나온다"는 거예요. 근본 가격이 영드리프트(random walk)일 때, 1차 근사 하에서는 유동성 크기와 무관하게 해가 독립적입니다.
-
Uniswap v3 (CLAMM): 집중 유동성(Concentrated Liquidity) 구조에서는 해가 훨씬 복잡해져서, 수치적 방법으로 근사해야 합니다. 하지만 핵심 insight는 명확해요 — 유동성 레벨과 현물 가격의 위치에 따라 전략이 달라진다.
한 가지 재밌는 점: 이 논문이 다루는 transient impact 모델은 전통 시장의 Obizhaeva-Wang 모델(2013)에서 가져온 것이지만, AMM의 고유한 가격 구조를 반영하도록 수정했어요. "전통 금융 이론 + 블록체인 특성"의 결합이 활발히 일어나고 있다는 증거입니다.
한계: 실제 블록체인의 슬롯타임, 가스비, MEV(Maximal Extractable Value) 같은 현실적 요소는 아직 반영되지 않았습니다.
4. 은행끼리 데이터를 안 공유해도 신용리스크를 예측할 수 있을까?
무엇이 문제였나
은행이 대출 심사를 할 때, "이 사람이 언제 빚을 못 갚을까?"를 예측하는 것이 핵심입니다. 문제는 두 가지예요:
-
시점 문제: 기존 방식은 "12개월 안에 연체했는가?"를 이진 분류(YES/NO)로 처리합니다. 하지만 1개월 만에 연체한 사람과 11개월째에 연체한 사람은 손실 규모가 완전히 달라요. 이 차이를 무시하면 위험 평가가 부정확해집니다.
-
프라이버시 문제: 여러 은행이 데이터를 모으면 더 좋은 모델을 만들 수 있지만, GDPR이나 CCPA 같은 개인정보 보호 규칙 때문에 차주 데이터를 직접 공유할 수 없어요.
연합 생존분석: 타이밍까지 맞추면서 프라이버시도 지키기

2601.11134 논문(FSL-BDP)은 이 두 문제를 동시에 해결합니다.
방법론: 부도 여부를 이진 분류가 아니라 생존분석(time-to-default)으로 모델링합니다. 쉽게 말하면, "이 사람이 3개월째에 부도날 확률, 6개월째에 부도날 확률..."을 시간축에 걸쳐 추정하는 거예요. 여기에 연합학습(데이터를 공유하지 않고 모델 파라미터만 교환)과 베이지안 차등프라이버시(노이즈를 추가해 개별 차주 정보를 보호)를 결합했습니다.
핵심 발견:
- 중앙집중 환경에서는 고전 차등프라이버시가 베이지안 차등프라이버시보다 우수했습니다.
- 하지만 연합 환경에서는 순위가 뒤집혔습니다: 베이지안 DP가 +7.0% 성능 향상을 보인 반면, 고전 DP는 +1.4%에 불과했어요.
- 베이지안 DP는 비프라이빗 성능에 거의 근접했습니다.
왜 이런 일이? 베이지안 DP는 데이터에 의존적으로 노이즈를 조절합니다. 연합 환경에서 각 기관의 데이터 분포가 다를 때(비-IID), 이 적응적 특성이 빛을 발합니다. 고전 DP는 고정된 노이즈 레벨을 쓰기 때문에, 다양한 분포가 섞이는 연합 환경에서 오히려 불리해요.
실무 시사점: 프라이버시 메커니즘을 선택할 때는 대상 배포 아키텍처에서 평가해야 합니다. 중앙집중 환경에서의 벤치마크 결과를 그대로 믿으면 안 된다는 거예요.
5. 주문이 들어오면 가격이 왜 움직일까? — 하나의 이론으로 모두 설명하기
무엇이 문제였나
시장에서 일어나는 일들을 관찰하면, 여러 "보편적 사실"이 있습니다:
- 부호 있는 주문 흐름(사려는 방향의 주문 - 파려는 방향의 주문)은 매우 오래가는 패턴을 보여요(장기 기억).
- 거래량(부호 없는)은 거칠게 요동칩니다(rough volatility).
- 시장 충격(대량 주문이 가격에 미치는 영향)은 주문 크기의 제곱근에 비례해요(제곱근 법칙).
이 세 가지를 하나의 모델로 동시에 설명하는 것은 오래된 과제였습니다. 부드러운 주문 흐름과 거친 거래량이 어떻게 공존할 수 있는지, 게다가 시장 충격의 제곱근 법칙까지 만족해야 하니까요.
Hawkes 기반 통합 미시구조 이론

2601.23172 논문은 놀랍도록 간결한 모델로 이 문제를 해결합니다.
모델 구조: 주문 흐름을 두 층으로 나눕니다:
- 핵심 흐름(core flow): 느린 투자 결정, 포트폴리오 리밸런싱에서 나오는 자율적 거래 활동. 장기 기억을 가집니다.
- 반응 흐름(reaction flow): 시장 활동에 대한 반응 — 유동성 공유, 시장 조성, 고빈도 거래. 핵심 흐름에 자극받아 발생합니다.
두 층 모두 호크스 과정(Hawkes process)으로 모델링합니다. 호크스 과정은 "사건이 발생하면 추가 사건 발생 확률이 높아지는" 자기흥분 모델이에요. 주문이 들어오면 비슷한 주문이 더 들어오는 클러스터링을 자연스럽게 포착합니다.
핵심 발견: 이 모델의 스케일링 리밋(시간 간격을 0으로 보냈을 때의 극한)에서 모든 것이 하나의 통계량 H₀로 결정됩니다:
- H₀ ≈ 3/4 (실제 데이터에서 추정)
- 부호 있는 주문 흐름은 H₀를 허스트 지수로 하는 분수 과정 + 마팅게일의 합으로 수렴
- 거래량은 허스트 지수 H₀ - 1/2인 거친 과정
- 변동성은 허스트 지수 2H₀ - 3/2 ≈ 0.25 (rough volatility와 일치!)
- 시장 충격은 크기의 (2 - 2H₀) = 1/2 거듭제곱에 비례 (제곱근 법칙!)
이게 왜 대단한가요? 경험적으로 널리 알려진 세 가지 사실(장기 기억, rough volatility, 제곱근 충격 법칙)이 하나의 모수 H₀ ≈ 3/4에서 동시에 나옵니다. 각각 다른 데이터셋에서 따로 추정한 값들이 이론적으로 정확히 일치하는 거예요.
실전 의미: 체결/호가 데이터 기반의 미시구조 리스크 모델링, 충격 함수 추정, 거래비용·슬리피지 예측에 직접 참고할 수 있습니다.
그래서 투자/실무엔?
2026년 1월 연구들이 공통적으로 말하는 것이 있습니다:
-
불확실성을 무시하지 마라: 포트폴리오를 짤 때, 추정 오차를 정책 설계에 반영하는 것이 "정확한 추정을 하려 노력하는" 것보다 중요할 수 있습니다.
-
AI 에이전트는 "정확함" ≠ "일관됨": 금융용 AI를 도입할 때, 결정론과 정확도를 따로 측정해야 합니다. 규제 감사에서 "같은 입력 → 같은 출력"을 보장하려면 별도의 설계가 필요해요.
-
DEX에서도 실행 최적화가 가능하다: 블록체인 위의 대량 거래도 전통 시장의 실행 이론을 확응용할 수 있습니다. 하지만 AMM의 고유한 유동성 구조를 반영한 수정이 필수예요.
-
프라이버시 보존 학습은 환경에 따라 다르다: 연합학습에서의 프라이버시 메커니즘 선택은 중앙집중 환경의 벤치마크를 그대로 따르면 안 됩니다.
-
미시구조 이론이 하나로 수렴하고 있다: 주문 흐름, 변동성, 시장 충격을 하나의 모델로 설명하는 이론적 프레임워크가 완성 단계에 접어들고 있습니다.
함께하기
이런 연구를 더 빠르게 만나고 싶다면:
더 알아보기
이 글에서 다룬 논문들의 arXiv 링크입니다:
- 2601.03175 — PG-DPO: Dynamic Portfolio Choice with Parameter Uncertainty (A등급, composite 69.7)
- 2601.15322 — DFAH: Replayable Financial Agents (A등급, composite 68.4)
- 2601.03799 — Optimal Execution on Uniswap v2/v3 (A등급, composite 70.4)
- 2601.11134 — FSL-BDP: Federated Survival Learning (A등급, composite 68.8)
- 2601.23172 — Unified Theory of Order Flow, Market Impact, and Volatility (A등급, composite 65.3)
이 밖에도 2026년 1월에는 A등급 23편을 포함해 총 197편의 관련 논문이 수집되었습니다. 전체 목록은 백필 리포트에서 확인하세요.
관련 글
🤖 AI 연구2026년 5월 AI 트레이딩 연구 한눈에 보기 — 성과를 어떻게 믿을 것인가?
2026년 5월 arXiv에 올라온 AI 트레이딩 연구 중 가장 주목할 만한 논문들을 테마별로 정리했습니다. 백테스트 신뢰성, LLM 에이전트 감사, 마켓메이킹 최적화, 포트폴리오 의사결정, 변동성 모형의 다섯 가지 연구 흐름을 살펴봅니다.
🤖 AI 연구AI가 주식을 예측할 수 있을까? — 2026년 3월 금융 AI 연구 리뷰
2026년 3월 금융 AI 논문 734편을 분석한 월간 종합. LLM의 시간 편향 문제, 백테스트 엔진의 숨겨진 오차, 포트폴리오 최적화의 새로운 수학, LOB 시뮬레이션의 현실화, 강화학습 트레이딩 시스템의 실전 전환까지 — 신뢰할 수 있는 금융 AI를 만드는 5가지 연구 테마를 살펴봅니다.
🤖 AI 연구7월의 AI 투자 연구: 더 큰 모델이 정답이 아니다
2026년 7월 시스템 트레이딩 연구 동향. LLM 에이전트 비용 최적화, DEX 라우팅 $2,400만 손실 계량화, 추세추종의 주파수 영역 해석, 포트폴리오 분포 불확실성 강건 최적화, 시계열 부트스트랩 실용화.