LLM 트레이딩 전략 100개 자동 발굴, 정직한 평가를 통과한 것은?

AI에게 전략 100개를 만들어 보라고 시키면, 그중 최고의 백테스트 성적은 거의 확실히 '운'입니다. 이 논문은 그 운을 정확한 계산서로 청구합니다.

들어가며: 동전 던지기 대회 챔피언

100명이 동전 던지기 대회에 나왔다고 상상해 봅시다. 각자 10번 던져서 앞면이 가장 많이 나온 사람이 챔피언이 됩니다. 결승에서 누군가 10번 중 9번 앞면이 나왔습니다. 대단해 보이죠? 그런데 잠깐만요. 100명이 각자 10번 던졌는데, 누군가 9번 앞면이 나올 확률은 사실 꽤 높습니다. 이 사람의 '실력'을 인정하려면, "100명 중에 제일 잘한 사람"이라는 사실까지 감점해야 합니다.

금융 AI 세계에서 매일 일어나는 일이 바로 이겁니다. 대규모 언어 모델(LLM)이 트레이딩 전략을 자동으로 발굴하는 연구가 빠르게 늘고 있는데, 흔한 패턴이 하나 있습니다. 후보 전략 수백 개를 만들어 돌려보고, 백테스트 성적이 가장 좋은 하나를 골라 논문에 보고하는 것. 여기에 두 가지 문제가 숨어 있습니다. 첫째, 시험에 쓴 데이터에 '미래 정보'가 몰래 섞여 있을 수 있습니다(데이터 누수). 둘째, 아무리 정직하게 계산해도 많이 시도하면 최고 성적은 올라가게 마련입니다(탐색 편향). 둘 다 보정하지 않은 Sharpe 비율(수익률 대비 변동성 지표)은, 회의적인 실무자가 그대로 믿고 돈을 걸 수 없는 숫자가 됩니다.

2026년 8월 arXiv에 올라온 이 논문은 이 두 문제를 "약속하지 말고 구조로 막자"는 원칙 하나로 정면 돌파합니다. 그리고 냉정한 실험 결과를 이렇게 보고합니다. "정직하게 계산하면, 이 스위트의 LLM 발견 전략은 하나도 살아남지 못한다. 다만 진짜 증거가 있는 패시브 투자는 살아남는다."

무엇이 문제였나: "최고만 보고"의 두 가지 비용

1. 데이터 누수 — 시험 문제를 미리 본 것

백테스트에서 가장 흔한 사고는 룩어헤드 바이어스(look-ahead bias), 즉 미래의 정보가 과거의 매매 판단에 쓰이는 것입니다. 예를 들어 "내일 수익률을 미리 아는" 피처를 실수로(혹은 의도적으로) 쓰면 백테스트 성적은 하늘을 찌릅니다. 흔한 처방은 "LLM에게 미래 정보를 쓰지 말라고 지시한다"는 것인데, 저자의 지적은 날카롭습니다. 텍스트 지시로는 생성된 전략이 실행 환경에 노출된 미래 정보를 소비하는 것을 막을 수 없습니다. 애초에 못 쓰게 만드는 수밖에 없습니다.

2. 탐색 편향 — 많이 시도한 만큼 성적이 오른다

LLM 에이전트는 "전략 생성 → 백테스트 → 수정"을 스스로 반복합니다. 이건 놀라운 생산성이지만, 어두운 이면이 있습니다. 자가 반복 루프는 오퍼레이터가 숫자를 보기 전에 수십 번의 암묵적 백테스트를 이미 수행합니다. 그 탐색 횟수만큼 보고된 최고 성적은 우연으로 부풀려져 있는데, 이를 보정하지 않으면 에이전트의 생산성 자체가 편향 증폭기가 됩니다. 동전 던지기 대회에서 참가자 수를 숨기는 셈이죠.

핵심 아이디어: 약속이 아니라 구조로 막는다

논문이 만든 전략 발굴 시스템은 크게 두 개의 구조적 장치로 이루어져 있습니다.

장치 1: 미래 정보가 "표현되지 않는" 설계도 그리기

에이전트는 코드를 직접 쓰지 않습니다. 대신 시스템이 미리 등록해 둔 검증된 도구들(특징 추가, 신호 항목 추가, 전략 선택 등)만 조립해 전략을 만듭니다. 이때 특징(feature) 목록에서 미래 정보를 쓰는 항목은 아예 빠져 있습니다. 금지가 아니라 '존재하지 않음'입니다. 전략은 사람이 읽을 수 있는 선언적 설계도로 남고, 감사할 대상은 블랙박스 코드가 아니라 이름 붙은 규칙들이 됩니다. 외부 뉴스·이벤트 데이터는 발표 지연을 강제하는 별도 감사 레이어를 거칩니다.

효과는 극적입니다. 같은 LLM에게 "JSON으로 전략을 적어 보라"고만 하면 60개 중 60개 전부가 잘못된 특징 이름이나 파라미터로 기각됩니다. 검증 도구 루프를 거치면 100개 중 99개(두 번째 모델은 80개)가 유효하고 해석 가능한 전략이 됩니다.

장치 2: 시도한 횟수를 반드시 계산서에 넣는다

시스템은 검색이 수행한 모든 전략 평가를 '시도 장부(트라이얼 레지저)'에 기록하고, 보고하는 모든 성적을 그 시도 횟수만큼 깎습니다. 이게 바로 Deflated Sharpe Ratio(DSR)입니다. 쉽게 말하면 "여러 번 시도했을 때 우연히 올라오는 기대 최고치만큼을 성적에서 빼는 것"입니다. 시도 100번의 최고 성적과 시도 1번의 성적은 같은 점수표에 놓을 수 없다는 뜻이죠.

여기에 두 가지 보조 계기가 더 붙습니다.

• PBO(백테스트 오버피팅 확률): 데이터를 16조각으로 나눠 "인샘플 1등이 밖에서 중위권 이하로 떨어질 확률"을 미리 계산합니다.
• 증발 곡선: 시도가 늘어날수록 '지금까지 최고 성적'과 '통과 문턱'이 어떻게 경주하는지 한 장에 보여 주는 그래프입니다.

재미있는 부산물 하나: 시도가 1번이면 디플레이션 문턱이 사실상 사라집니다. 즉 가설을 미리 등록하고 딱 한 번 시험한 전략은, 천 번 탐색한 기계보다 훨씬 낮은 증거 문턱을 받습니다. 논문은 이 '사전 등록의 보상'을 형식화하고, 인간 트레이더의 실제 운영 시스템도 바로 이 경로로 시험에 넣습니다.

결과 — 무엇을 알아냈나

실험은 미국 대형주 453종목(거래 가능한 종목을 시점별로 재선정)과 39개 멀티자산 ETF에서, 수수료 1bp·스프레드 2bp·시장충격·공매도 차입비용까지 반영한 현실적 비용으로 진행했습니다. 핵심 결과만 정리하면 이렇습니다.

1) 통계 보정만으로는 데이터 누수를 잡지 못한다. 일부러 '내일 수익률을 아는' 부정 전략을 심어 놓았더니 설계 Sharpe 34.7, 평가 Sharpe 51.5에 DSR은 1.00으로 '완전 통과'했습니다. Deflated Sharpe는 정직하게 계산된 백테스트들 사이의 선택만 보정할 뿐, 정보가 오염된 것 자체에는 손쓸 수단이 없습니다. 실무 교훈은 명쾌합니다. 두 자리 수 Sharpe를 보면 알파가 아니라 누수를 의심하세요.

2) 클래식 팩터는 아무것도 살아남지 못했다. 모멘텀, 저변동성, 단기 반전 등 잘 알려진 전략을 시장중립으로 구현해 돌렸더니 모두 DSR 0.25 이하, 탐색 자체의 오버피팅 확률(PBO)은 0.83. 오르내림이 심한 시장에서 무작위로 사고팔지 않은 '동일가중 매수후보유'(DSR 0.97)와 SPY(0.94)만이 인증선 0.95에 근접했습니다.

3) LLM이 발굴한 최고 전략은, 자체 탐색 강도 앞에서 무너졌다. 에이전트는 가설 단서 20개를 순환하며 전략 100개를 만들었고(99개 유효), 그 최고작은 RSI와 거래량을 조합한 해석 가능한 역추세 전략으로 설계 Sharpe 1.69 — 매수후보유(1.15)를 이기는 인상적인 숫자였습니다. 논문 표지에 실을 법한 결과죠. 그러나 시도 102번의 디플레이션 문턱은 1.21까지 올라왔고, DSR은 0.86에서 멈춰 0.95 인증선에 미달했습니다. 그리고 미개봉 평가 구간(4년)에서 이 전략은 +4.7%(Sharpe 0.18)로 붕괴한 반면 매수후보유는 +40.8%를 벌었습니다. 같은 프로토콜을 돌린 두 번째 프론티어 모델(claude-sonnet-5)도 다른 탐색 경로 끝에 같은 판정을 받았고, 5번의 독립 반복은 모두 변동성 돌파 계열로 수렴하며 전부 수익(+26~33%)인데도 0/5만 인증을 받았습니다. 발견은 재현되는데, 증거는 재현 가능하게 부족한 셈입니다.

4) 심판은 '예'라고 말할 줄도 안다. 연구진은 자칫 "이건 그냥 시장 효율성의 값비싼 증명"이라는 비판을 받을 수 있기에, 문서화된 프리미엄이 실제로 사는 곳 — 주식·국채·금·원자재·비트코인을 아우르는 39개 ETF, 9년짜리 평가 구간 — 으로 무대를 옮겼습니다. 결과는 대칭적이었습니다.

• 동일가중 멀티자산 매수후보유(+108%)와 SPY(+249%)만 인증 — 신뢰구간이 0을 제외했습니다.
• 가장 견고한 프리미엄으로 꼽히는 시계열 모멘텀은 9년간 +55%를 벌고도 미달(검정력 부족).
• 충격적인 대목: 무작위 가중치로 만든 전략이 9년간 +23%를 벌었습니다. 아웃오브샘플 수익만으로는 아무것도 증명되지 않는다는 점을 가장 깔끔하게 보여 주는 사례입니다.
• 이번 무대에서의 LLM 발견 전략은 PBO 0.80이 평가창을 열기 전에 실패를 예고했고, 실제로 −21%로 끝났습니다. 실패 모드가 서로 다른 두 경우를 각각 전용 계기가 잡아낸 셈입니다.

5) 인간의 전략에도 같은 잣대를 들이댔다. 저자 본인의 실제 주간 매매 규칙 엔진(추세 추종 + 발산 지표 + 캔들 필터)을 84개 노드의 신호 그래프로 그대로 옮겨, 원본과 바 단위로 대조해 오차 0을 확인한 뒤 사전 등록 전략으로 시험했습니다. 결과는 두 얼굴이었습니다. 개발 10년(2007–2016)에는 실제로 +34% 수익을 냈지만, 평가 9년(2017–2025)에는 금이 사상 최대 강세를 달리는 동안 관망·공매도 상태로 머물러 −13%에 그쳤고, 금을 그냥 들고 있던 것(+257%)에 통계적으로 기각되었습니다. 잘 나가던 타이밍 전략이 국면이 바뀌면 어떻게 무너지는지의 교과서적인 그림입니다.

6) 모든 것을 지배하는 검정력 산술. t 값은 Sharpe × √(연수)로 자랍니다. 진짜 실력이 SR 0.6인 전략도 아웃오브샘플 11년 가까이 모아야 통계적으로 '인정'받습니다. 4년짜리 창에서 아무것도 인증되지 않는 것은 놀라운 일이 아니라 산술의 귀결입니다. 짧은 기간에 실력을 증명하려면 하루 수천 건처럼 거래 횟수로 검정력을 모으는 방법뿐입니다.

한계와 주의점

정직한 만큼 한계도 분명합니다.

• 생존 편향: 주식 종목 리스트가 현재 기준이라 상장폐지 종목이 대부분 빠져 있습니다(중도 이탈 8종목만 포함). 이건 액티브 전략에 유리한 편향이라, 논문의 '아무것도 안 통과' 결론은 오히려 보수적입니다.
• 특징 범위: 뉴스 감정분석·재무제표 특징은 시스템에 있으나 본 실험에서는 제외했습니다. 가격 특징만으로는 발굴 가능한 전략의 영역이 제한됩니다.
• 모델 2개: gpt-4.1과 claude-sonnet-5만 시험했고, 기본 온도에서는 같은 모델 안에서도 전략이 수렴하는 경향이라 탐색 다양성이 과소평가되었을 수 있습니다.
• 국면 의존: 2017–2025년은 금·주식 역사적 강세장이라 타이밍 전략에 구조적으로 불리했습니다. 쌍 검정이 이를 보고할 뿐 완전히 분리하지는 못합니다.
• 재현성: 통계 코드·실험 설정·전체 탐색 기록이 Zenodo에 공개되어 있고(DOI: 10.5281/zenodo.21261868), 데이터 재구성 스크립트도 제공됩니다. 다만 전체 발굴 플랫폼은 '요청 시 제공'이고 원시 데이터는 재배포가 불가합니다.

그리고 한 가지를 분명히 하자면, 이 논문은 "LLM 트레이딩은 쓸모없다"고 말하지 않습니다. 지금의 증거로는 '운과 구분할 수 없다'고 말할 뿐입니다. 저자의 표현대로 이것은 시스템의 실패가 아니라 시스템이 제대로 작동한 결과입니다.

그래서 투자/실무엔?

1. 성적표에 '시도 횟수'를 붙이세요. 어떤 전략이든 백테스트 성적을 볼 때 "이 숫자를 얻기까지 몇 개를 더 시험했나?"를 물어야 합니다. 시도 횟수를 알려주지 않는 수익률 자랑은 동전 던지기 대회 우승 기록과 구별할 수 없습니다. 탐색 예산이 100개에서 1만 개로 늘면 통과 문턱은 약 1.5배 높아집니다.

2. 누수는 다짐이 아니라 구조로 막습니다. "미래 정보를 안 썼다"는 약속 대신, 미래 정보가 애초에 선택지에 없는 설계(특징 등록 테이블, 발표 지연 감사)가 유일한 확실한 방어입니다. 백테스트 프레임워크를 만들 계획이라면 이 구조를 먼저 짜세요.

3. 사전 등록 가설과 탐색 전략을 분리하세요. 경제 논리로 '가설 하나'를 먼저 세우고 딱 한 번 시험하면 낮은 증거 문턱을 받습니다. 반면 무작위 탐색은 그 횟수만큼 대가를 지불해야 합니다. 전략 리뷰 프로세스를 두 트랙으로 나누면 이 원리가 자연스럽게 구현됩니다.

4. "검증되지 않음"은 "없음"이 아닙니다. 9년간 +55%를 낸 전략도 통계적으로는 미달이었습니다. 이 프레임워크의 판정은 신념이 아니라 증거에 대한 것이며, 부족한 증거의 양까지 알려 줍니다. 나의 전략이 '아직 못 받은 증명서'인지 '실제로 없는 실력'인지 구분하려면 시간과 거래 횟수의 산술을 먼저 계산해 보세요.

5. 자기 전략에도 같은 자를 들이대세요. 이 논문의 가장 인상적인 부분은 저자가 자신의 실제 매매 시스템에 스스로 같은 심판을 적용했다는 점입니다. 개발 기간의 성과와 홀드아웃 기간의 성과를 분리해 기록하는 습관, 그것이 자기 전략에 대한 확신과 시장 국면 운을 가르는 유일한 실증 방법입니다.

더 알아보기

• 원문: What survives honest evaluation? Leakage-safe, search-aware assessment of LLM-driven trading strategy discovery (arXiv:2608.27734)
• 5차원 점수 (참고): 혁신성 78 / 적용성 82 / 엄밀성 62 / 재현성 35 / 통찰력 80 — 종합 70.5, A등급
• 함께 읽기 좋은 관련 논문 (KB 기준):
  • Look-Ahead-Bench: 룩어헤드 바이어스 표준 벤치마크 (arXiv:2601.13770)
  • GPT 기반 주가 예측의 룩어헤드 바이어스 평가 (arXiv:2309.17322)
  • MemGuard-Alpha: 암기 오염 신호 탐지·필터링 (arXiv:2603.26797)
  • FinBench: 에이전트형 금융 AI의 시간 게이트 캘리브레이션 벤치마크 (arXiv:2607.16229)