A등급 · 우수팩터 투자 LLM 트레이딩 에이전트

AI가 투자 팩터를 발굴하면 누가 검증할까? — LLM 에이전트와 통계 심판의 분리

오세에이아이연구소·2026년 9월 25일·15분 읽기

#LLM #투자팩터 #팩터 발굴 #통계적검증 #양적투자 #AI에이전트 #과적합방지 #anytime-valid #e-process

📄 원 논문A등급 · 우수

Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That Mine Investment Factors

Bo Qu, Mingguang Chen, Licheng Wang

arXiv:2609.27051 PDF·2026년 9월 공개팩터 투자

"심판이 직접 선수를 뛰게 하면 안 된다"

들어가며

요즘 인공지능(AI)이 정말 많은 걸 합니다. 주식 시장에서도 AI가 투자 전략을 짜고, 과거 데이터를 분석하고, 심지어 새로운 투자 아이디어까지 만들어내고 있습니다. 특히 대규모 언어 모델(LLM) — 챗GPT 같은 기술 — 이 양적 투자 세계에 들어오면서, AI가 스스로 투자 "팩터"(주식 수익률을 예측하는 지표)를 발굴하고 검증하는 시대가 열리고 있습니다.

그런데 여기서 한 가지 심각한 문제가 생깁니다. AI가 시험 문제를 만들고, 풀고, 채점까지 하면 어떻게 될까요? 당연히 자기가 만든 문제를 자기가 잘 푸는 것처럼 보이겠죠. 실제 투자에서는 이 문제가 "과적합(overfitting)"이라는 무서운 형태로 나타납니다. 과거 데이터에만 잘 맞는 팩터를 "진짜"라고 착각해서 실제 시장에서 돈을 잃는 거죠.

2026년 9월에 나온 이 논문은 바로 이 문제에 대한 근본적인 해결책을 제시합니다. 핵심 아이디어는 간단합니다: "제안하는 사람"과 "판단하는 사람"을 철저히 분리하자.

무엇이 문제였나

기존의 AI 기반 팩터 발굴 방식을 생각해 봅시다. 한 개의 AI 시스템이 이런 일들을 모두 합니다:

새로운 투자 팩터를 만들어냄 (예: "이 지표가 주식 수익률을 예측할 거야")
과거 데이터로 이 팩터가 잘 맞는지 테스트함
결과가 좋으면 통과, 나쁘면 버림
이 과정을 수백, 수천 번 반복

문제가 보이시나요? AI가 계속 새 팩터를 만들고 테스트하다 보면, 순전히 운으로 과거 데이터에 잘 맞는 팩터가 반드시 나오게 됩니다. 마치 동전을 1000번 던지면 앞면이 10번 연속 나오는 경우가 생기는 것과 같습니다.

전통적인 통계학에서는 이 문제를 "다중 검정(multiple testing)"이라고 부릅니다. 하지만 기존의 수정 방법들(t-test, deflated Sharpe ratio 등)은 AI 에이전트가 순서를 바꿔가면서 테스트하거나, 중간에 멈추는 시점을 자유롭게 선택할 경우 유효하지 않습니다.

쉽게 말하면, 시험을 몇 문제 풀 것인지, 언제 그만둘 것인지까지 AI가 정할 수 있는 상황에서는 기존의 채점 기준이 무너진다는 뜻입니다.

핵심 아이디어 — "누가 판단하느냐가 모든 것을 결정한다"

이 논문의 핵심 원칙은 놀랍도록 단순합니다:

"판단하는 사람(setter)이 오탐 수를 정하고, 제안하는 사람(proposer)이 수익률을 결정한다."

다시 말해:

제안자(Proposer): 팩터를 자유롭게 만들어냄. 수익률을 높이는 것이 목표.
심판(Referee): 팩터의 유효성을 판단. 에이전트가 절대 수정할 수 없음. 오탐 수를 통제하는 것이 목표.

이 둘을 철저히 분리하는 것이 이 논문이 "통제된 자기 진화(governed self-evolution)"라고 부르는 프레임워크의 핵심입니다.

비유로 이해하기

농구 경기를 생각해 봅시다. 선수(에이전트)가 자유롭게 플레이하지만, 심판(통계 절차)은 경기 규칙에 따라 반칙을 선고합니다. 만약 선수가 심판을 자기 편으로 끌어들일 수 있다면? 반칙이 사라지고 게임이 엉망이 되겠죠. 이 논문은 "심판은 절대 선수가 바꿀 수 없다"고 못 박는 것입니다.

어떻게 작동하나

심판의 메커니즘

심판은 세 가지 핵심 부품으로 구성됩니다:

1. 입장 테스트 (e-process 기반) 새로운 팩터가 "진짜 실력이 있는지"를 검증합니다. 전통적인 p-value 대신 e-process라는 도구를 사용하는데, 이는 데이터를 계속 모아도 통계적 보증이 유지되는 특별한 성질을 가집니다. 쉽게 말하면, 시험을 몇 번 치르든 결과의 신뢰성이 보장된다는 뜻입니다.

2. 온라인 e-BH (허위 발견률 제어) 지금까지 통과한 모든 팩터의 허위 발견률(FDR)을 실시간으로 관리합니다. 고정된 2000개의 "자리"를 사용해서, 너무 많은 가짜 팩터가 통과되지 않도록 막습니다.

3. 은퇴 검사 (e-detector) 한번 통과한 팩터도 계속 유효한지 확인합니다. 팩터의 예측력이 미리 정한 비용 기준(예: 0.015) 아래로 떨어지면 은퇴시킵니다.

핵심 보증

이 심판이 제공하는 보증은 강력합니다: 에이전트가 언제 멈추든, 어떤 전략을 쓰든, 몇 개의 팩터를 시험하든, 허위 발견이 통제됩니다. 조건은 단 하나 — 에이전트가 제출 후의 시장 데이터를 미리 알 수 없어야 합니다.

실험 — 무엇을 알아냈나

연구진은 세 종류의 제안자와 네 종류의 심판을 조합해서 실험했습니다:

구분	내용
제안자 3종	스크립트(규칙 기반), 밴디트(강화학습), LLM 에이전트
심판 4종	동결 심판(제안), 엿보기 심판, 적응적 임계값, 게이트 없음
실험 환경	합성 데이터, 프로브 작성, CSI 500 10년 워크포워드

결과 1: 심판이 오탐을 통제한다

가장 중요한 발견입니다. 동결 심판은 결함이 있는 심판 대비 하위 임계값 팩터를 5~11배 적게 통과시켰습니다.

CSI 500 실데이터(4개 팩터 패밀리)에서:

동결 심판: 캠페인당 11.7개 오탐
게이트 없음: 캠페인당 196.0개 오탐
LLM 에이전트도 결함이 있는 심판 아래에서는 2.6~4.9배 더 많은 가짜 팩터를 통과시킴

"누가 제안하느냐"는 "누가 판단하느냐"를 대체할 수 없습니다. 아무리 똑똑한 AI가 팩터를 만들어도, 심판이 허술하면 가짜가 넘쳐납니다.

결과 2: LLM 제안자의 가치는 있지만 한계가 있다

LLM 에이전트는 스크립트를 초과하고 밴디트와 대등한 수익률을 보였습니다. 특히 LLM만의 고유한 능력이 있었습니다: 진단 프로브(diagnostic probe) 작성. LLM은 팩터를 테스트하기 위한 새로운 진단 도구를 자체적으로 만들어낼 수 있습니다. 이는 예상치 못한 결함을 발견하는 데 유용합니다.

하지만 자원 배분(어떤 팩터에 더 많은 데이터를 투입할 것인가)에서는 밴디트를 확실히 이기지 못했습니다. LLM의 강점은 "진단과 도구 창작"이지, "순수한 배분 최적화"가 아닙니다.

결과 3: 인증의 대가 — 시간

가장 현실적인 발견입니다. 동결 심판 아래에서 진짜 팩터가 인증을 받기까지의 중간 대기 시간은 약 500거래일 — 약 2년입니다.

이 때문에 인증된 팩터로 구성한 포트폴리오는 돈을 잃지는 않지만, 검증 없는 포트폴리오에 비해 성과가 뒤처집니다. 두 가지 이유 때문입니다:

대기 시간: 팩터가 증거를 축적하는 동안 포트폴리오가 비어 있음
패밀리 선택 편향: 엄격한 인증 기준이 가장 강한 일간 신호를 선호하는데, 이 데이터에서는 "단기 역전(Short-Horizon Reversal)" — 거래 비용 후 수익이 나쁜 패밀리 — 이 통과함. 검증 없는 포트폴리오는 "모멘텀(Momentum)" — 느리지만 수익을 내는 패밀리 — 을 포착

한계와 주의점

이 논문의 프레임워크도 만능이 아닙니다. 솔직하게 짚어보겠습니다.

1. 인증 지연이 현실적으로 너무 김 2년의 대기 시간은 빠르게 변하는 시장에서 치명적일 수 있습니다. 논문도 이 점을 인정하며, "인증의 가격은 시간"이라고 명시합니다.

2. 일간 신호 편향 현재 프레임워크는 일간(daily) 빈도의 팩터 검증에 최적화되어 있습니다. 느리지만 강력한 주간·월간 팩터는 충분한 증거를 빠르게 쌓기 어렵습니다.

3. CSI 500 한정 실험 실험이 중국 CSI 500에만 수행되어, 다른 시장(미국, 한국, 유럽)에서의 효과는 추가 검증이 필요합니다.

4. LLM의 "진단 프로브" 능력의 불확실성 LLM이 자체적으로 유용한 진단 도구를 만들어내는 능력은 절반의 모델 패밀리에서만 확인되었습니다.

그래서 투자/실무엔?

이 논문이 우리에게 주는 시사점은 명확합니다.

AI가 아무리 똑똑해도, 검증 시스템은 AI와 분리되어야 합니다. 이것은 양적 투자뿐만 아니라 AI를 의사결정에 사용하는 모든 분야에 해당하는 원칙입니다.

실무적으로 생각하면:

팩터 발굴 파이프라인에서 "제안"과 "검증"을 별도의 시스템으로 분리하세요
검증 시스템은 에이전트가 수정할 수 없도록 물리적으로 격리하세요
anytime-valid 통계 도구(e-process, e-BH)를 기존의 p-value 대신 고려하세요
인증 대기 시간을 현실적으로 고려한 포트폴리오 구성을 하세요

자기자본 운용 관점에서는, 이 프레임워크의 "동결 심판" 패턴을 백테스트 유출(look-ahead bias) 방지 시스템으로 재활용할 수 있습니다. 팩터를 발굴하는 AI와 유효성을 검증하는 통계 절차를 분리하면, 과적합의 위험을 구조적으로 줄일 수 있습니다.

함께하기

최신 양적 투자 연구를 꾸준히 따라가고 싶으시다면:

🌐 ohselab.com — 연구 및 상담
📧 뉴스레터 구독 — 새로운 논문 분석을 매주 받아보세요
🐦 팔로우 — 실시간 연구 소식

더 알아보기

📄 원본 논문: arXiv:2609.27051
5차원 점수: Composite 77.4 (A등급)
분과: LLM 기반 트레이딩 에이전트 (C4)

이날 수집된 다른 주목 논문들

논문	등급	핵심 내용
Differential Machine Learning	A (70.7)	미분 정보로 ML 학습 가속 — 파생상품 리스크 계산의 게임 체인저
No Arbitrage SVI	A (71.1)	옵션 변동성 곡면의 비차익 조건 완전 특성화
Quadratic Hawkes for Order Book	A (65.3)	오더북 dynamics의 비모수적 모델링 — 시장이 잭점 근처에 있음을 발견
k-BAHC Covariance Cleaning	A (65.0)	부스트된 클러스터링으로 공분산 행렬 정제 — 포트폴리오 성능 개선
Pump and Dumps in Bitcoin	A (69.5)	암호화폐 시장 조작 실시간 탐지