백테스트가 거짓말하는 이유 — 그리고 컴퓨터가 그 거짓말을 잡아내는 방법

핵심 요약: 투자 전략의 백테스트 결과가 실제 수익률과 크게 다르다면, 가장 흔한 원인은 "미래 정보를 몰래 사용한" 룩어헤드 바이어스입니다. 이 논문은 이 문제를 수학적으로 정의하고, 컴퓨터가 자동으로 검증하는 방법을 제안합니다.

---

들어가며: 왜 내 백테스트는 항상 좋은 성과를 보여줄까?

주식 투자 전략을 만들었다고 상상해 보세요. 과거 데이터로 시뮬레이션해 보니 연 수익률 30%. 멋지죠? 그런데 실제 돈을 넣어보면 수익률은 절반 이하로 뚝 떨어집니다. 왜 그럴까요?

대부분의 경우, 답은 생각보다 단순합니다. 백테스트에서 미래 정보를 사용했기 때문입니다. 이를 전문 용어로 "룩어헤드 바이어스(look-ahead bias)"라고 부릅니다.

예를 들어볼게요. 오전 10시에 매수 결정을 내려야 하는데, 그날 종가(오후 3시에 확정되는 가격)를 이미 알고 있었다면 어떨까요? 당연히 수익률이 좋을 수밖에 없겠죠. 하지만 실제 trading에서는 오후 3시의 종가를 오전 10시에 알 수 없습니다.이것이 바로 룩어헤드 바이어스의 핵심입니다.

---

무엇이 문제였나: 기존 검증 방법의 한계

"그럼 미리 미래 정보를 쓰지만 않으면 되지 않나?"라고 생각할 수 있습니다. 문제는, 실제 백테스트 파이프라인에서 룩어헤드 바이어스가 아직도 졸업적으로 발생한다는 점입니다.

기존 업계에서는 이 문제를 해결하기 위해 몇 가지 방법을 사용했습니다:

• 채널별 검증: 각 데이터 소스마다 "이 데이터는 미래 시점에 사용하면 안 된다"는 규칙을 수동으로 정의
• 경험적 탐지기: 백테스트 결과가 현실과 비교해서 너무 좋으면 의심

하지만 이 방법들은 두 가지 구조적 한계가 있습니다:

1. 채널별로만 검증: 데이터가 여러 채널을 거치면서 섞이면, 개별 채널의 검증만으로는 누출을 잡을 수 없습니다
2. "조용하면 안전"이라는 착각: 탐지기가 아무것도 찾지 못했다고 해서 안전하다는 보장이 없습니다. 탐지하지 못한 누출이 있을 수 있거든요

마치 자물쇠가 없는 문에 "도둑이 들어온 흔적이 없으니 안전하다"고 주장하는 것과 같습니다.

---

핵심 아이디어: 룩어헤드 = 시간적 비간섭

이 논문의 핵심 기여는 바로 이겁니다. 룩어헤드 바이어스를 "시간적 비간섭(temporal non-interference)"이라는 기존 수학적 개념으로 정확히 동일시했습니다.

쉽게 말하면 이렇습니다:

모든 데이터에는 두 개의 시간 정보가 있습니다:

• 참조 시점(reference time): 이 데이터가 "어떤 시점"을 설명하는가 (예: 오늘 종가)
• 가용 시점(availability): 이 데이터를 "언제 사용할 수 있는가" (예: 오늘 종가는 오후 3시 이후)

룩어헤드는 이 두 시점이 다를 때 발생합니다. 참조 시점이 "오늘"인데 가용 시점이 "내일"인 데이터를 "오늘" decision에 사용하면, 미래 정보를 쓴 것이 됩니다.

이 관찰을 형식화한 것이 바로 "시간적 비간섭"입니다. 정보 보안 분야에서 "비간섭"이란 "한 쪽의 동작이 다른 쪽에 영향을 주지 않는다"는 성질인데, 여기서는 "미래 데이터가 현재 decision에 영향을 주지 않는다"는 의미입니다.

---

무엇을 알아냈나: 선형 시간에 검증하는 타입 시스템

논문은 이 형식화를 바탕으로 실용적인 검증 도구를 만들었습니다. 핵심 결과는 이렇습니다:

값-독립 파이프라인: 선형 시간에 검증 가능

퀀트 워크플로우에서 가장 흔한 연산 — 윈도잉(windowing), 리샘플링(resampling), 조인(join), 포인트-인-타임(PIT) 읽기, 에이전틱 검색 — 은 모두 "값-독립(value-independent)" 파이프래그먼트에 속합니다. 이 경우:

• 룩어헤드 자유 여부를 선형 시간(O(n))에 결정할 수 있습니다
• 파이프라인의 크기에 비례하는 시간이면 충분합니다

값-의존 파이프라인: 원래 불가능

데이터의 가용 시점이 그 데이터의 값에 의존하는 경우(예: 결측치가 값에 따라 결정되는 경우), 룩어헤드 자유 여부는 판단 불가능(undecidable)합니다. 수학적으로 Π₀¹-hard라고 증명했습니다. 쉽게 말하면, 어떤 알고리즘도 항상 정확한 답을 줄 수 없다는 뜻입니다.

하지만 실무에서 이런 경우는 드뭅니다. 퀀트 워크플로우의 대부분은 값-독립 패턴이므로, 실용적으로는 충분합니다.

검증기의 성능

• 파이프라인 크기에 선형적으로 스케일링
• 독립 오라클이 검증기 수용 파이프라인에서 누출을 발견하지 못함
• 기존 차분·타일링 검출기가 놓치는 모든 심은 누출을 검출

---

한계와 주의점

이 논문에도 분명한 한계가 있습니다:

1. 값-의존적 데이터 가용성은 범위 밖: 결측치가 값에 의존하는 경우, 형식적 검증이 불가능합니다. 실무에서는 이런 경우를 별도로 관리해야 합니다.

2. 에이전틱 파이프라인의 한계: AI 에이전트가 동적으로 데이터를 검색하는 경우, 값-독립 가정이 성립해야 적용 가능합니다. 에이전트가 "어떤 데이터를 볼지"가 과거 데이터 값에 의존하면 문제가 복잡해집니다.

3. 구현의 정확성: 형식적 검증기는 파이프라인의 논리적 구조를 검증하지, 실제 코드의 버그나 데이터 품질 문제는 잡지 않습니다.

---

그래서 투자/실무엔?

이 논문의 의미를 실무 관점에서 정리하면:

1. 백테스트 파이프라인을 "감사"할 수 있는 도구가 생겼습니다. 프로덕션 배포 전에 파이프라인의 룩어헤드 자유를 형식적으로 검증할 수 있습니다.

2. 윈도잉·리샘플링·PIT 조인 같은 핵심 패턴을 안전하게 다룹니다. 퀀트 워크플로우에서 가장 흔한 연산들을 커버합니다.

3. "검출기가 조용하다 = 안전하다"는 더 이상 통하지 않습니다. 형식적 검증은 "증명된 안전성"을 제공합니다.

4. 알고리즘 trading 시스템을 개발하는 팀이라면, 파이프라인 변경 시마다 이 검증기를 돌리는 것이 좋습니다. 코드 리뷰만으로는 놓치기 쉬운 룩어헤드 누출을 자동으로 잡아줍니다.

---

함께하기

퀀트 투자와 AI trading에 관심이 있으시다면:

• ohselab.com에서 최신 연구를 팔로우하세요
• 구독·상담·팔로우는 위 링크에서 가능합니다

---

더 알아보기

• 원본 논문: arXiv:2607.04958
• 5차원 KB 점수: composite 76.6 / A 티어 / 시계열 계량경제학(B4) 분과
• 관련 논문: KB에서 같은 분과의 상위 논문들을 확인할 수 있습니다

python3 scripts/kb.py related 2607.04958