AI가 주식을 예측할 때, '기억'하고 있었다면?

MemGuard-Alpha로 LLM 알파의 함정을 걸러내는 방법

---

들어가며: 왜 백테스트는 창업인데 실전은 폐업일까?

주식 투자에서 가장 황당한 경험 중 하나가 있습니다. 백테스트(과거 데이터로 전략을 시뮬레이션하는 것)에서는 연 수익률이 30%가 넘는데, 실제 돈을 넣으면 오히려 손해를 보는 경우죠. 흔히 "과적합(overfitting)" 때문이라고들 합니다. 그런데 최근 대형 언어 모델, 그러니까 ChatGPT 같은 AI를 이용해 주식 예측 신호를 만들 때 이 문제가 훨씬 더 심각해진다는 연구 결과가 나왔습니다.

문제는 단순한 과적합이 아닙니다. AI가 학습할 때 과거 주식 데이터를 통째로 기억해버린 것이 원인입니다. 마치 시험 문제를 외운 학생이 모의고사에서는 100점을 맞지만, 실제 시험에서 다른 문제가 나오면 40점을 맞는 것과 같습니다.

오늘 소개할 논문 MemGuard-Alpha는 바로 이 "기억 오염" 문제를 실시간으로 탐지하고 걸러내는 방법을 제안합니다. 이 글에서는 이 논문이 무엇을 발견했고, 왜 중요한지, 그리고 실전 투자에 어떤 의미가 있는지를 쉽게 풀어보겠습니다.

---

무엇이 문제였나: LLM의 "숨겨진 기억"

LLM은 금융 데이터를 기억한다

대형 언어 모델(LLM)은 인터넷에 있는 엄청난 양의 텍스트를 읽고 학습합니다. 여기에는 뉴스 기사, 재무 보고서, 투자 분석글, 심지어 과거 주가 데이터까지 포함됩니다. 문제는 LLM이 이 데이터를 단순히 "이해"하는 것이 아니라, 상당 부분을 그대로 기억하고 있다는 것입니다.

이게 왜 문제냐고요? LLM에게 "2020년 3월 Apple 주가가 어땠을까?"라고 물으면, AI는 진짜로 "예측"하는 것이 아니라 학습 데이터에서 본 답을 기억해서 내놓을 수 있습니다. 이렇게 만들어진 예측 신호는 과거 데이터에서는 정확해 보이지만, 미래 데이터에는 전혀 작동하지 않습니다.

기존 해결책의 한계

이 문제를 해결하려는 기존 방법들은 두 가지가 있었습니다:

1. 모델 재학습: 기억된 데이터를 제거하고 다시 학습. 비용이 엄청나게 비쌉니다.
2. 입력 익명화: 회사명, 날짜 등을 가리고 학습. 하지만 정보 손실이 커서 예측력이 떨어집니다.

둘 다 실전에서 쓰기 어렵습니다. MemGuard-Alpha는 이 문제를 완전히 다른 접근법으로 해결합니다. 모델을 바꾸지 않고, 만들어진 신호를 사후에 걸러내는 것입니다.

---

핵심 아이디어: "기억한 신호"와 "진짜 추론"을 구별하는 두 가지 방법

MemGuard-Alpha는 두 가지 알고리즘으로 구성됩니다. 하나씩 쉽게 설명하겠습니다.

방법 1: MemGuard Composite Score (MCS) — "이 신호, 혹시 시험 답안 외운 건가?"

이 방법의 핵심 아이디어는 membership inference attack (MIA)이라는 기법을 활용하는 것입니다.

쉽게 말하면 이렇습니다. AI가 학습한 데이터와 학습하지 않은 데이터에서 나온 예측은 미묘하게 다릅니다. 마치 학생이 교과서에 있는 문제와 없는 문제에 대해 보이는 태도가 다른 것처럼요. MIA는 이 미묘한 차이를 감지해서 "이 예측이 학습 데이터에서 나온 것인지"를 추측합니다.

MemGuard-Alpha는 5가지 MIA 방법을 조합하고, 시간적 근접성(temporal proximity)이라는 정보를 추가합니다. 예를 들어, 학습 컷오프 날짜에 가까운 데이터일수록 기억 가능성이 높겠죠.

이 5가지 방법을 각각 썼을 때는 오염 여부를 구별하는 능력이 Cohen's d = 0.39~1.37 정도였습니다. 하지만 다섯 가지를 조합한 MCS는 Cohen's d = 18.57을 기록했습니다. 쉽게 말하면, 깨끗한 신호와 오염된 신호가 거의 완벽하게 분리된다는 뜻입니다.

참고: Cohen's d는 두 집단 사이의 차이가 얼마나 큰지를 나타내는 수치입니다. 0.2이면 "작은 차이", 0.8이면 "큰 차이", 2 이상이면 "매우 큰 차이"입니다. 18.57이라면 거의 완벽한 분리입니다.

방법 2: Cross-Model Memorization Disagreement (CMMD) — "여러 AI에게 같은 문제를 내고 답이 다르면?"

이 방법은 더 직관적입니다. 서로 다른 시기에 학습된 여러 LLM에게 같은 질문을 하고, 답이 다른지를 보는 것입니다.

예를 들어, 2023년까지 학습된 모델 A와 2024년까지 학습된 모델 B에게 "2022년 Apple 주가를 예측해 보세요"라고 물어봅니다.

• 두 모델이 같은 답을 내놓으면 → 그 답은 진짜로 시장에서 발견 가능한 패턴일 가능성이 높습니다.
• 두 모델이 다른 답을 내놓으면 → 적어도 하나의 모델이 기억에 의존하고 있을 가능성이 높습니다.

왜냐하면, 기억은 학습 데이터에만 의존하므로 학습 데이터가 달라지면 답이 달라지지만, 진짜 시장 패턴이라면 어느 모델이든 비슷하게 잡아내기 때문입니다.

이 아이디어를 이용해, 같은 질문에 대해 여러 LLM의 예측이 서로 다른 경우를 "오염된 신호"로 분류하고 걸러냅니다.

---

실험 결과: 무엇을 알아냈나

이 논문의 실험 규모는 상당히 큽니다:

• 7개 LLM (파라미터 124M~7B 범위)
• S&P 100 종목 50개
• 42,800개 프롬프트
• 5가지 MIA 방법
• 5.5년 기간 (2019~2024)

핵심 수치

참고: bps는 "basis point"의 약자로, 1bps = 0.01%입니다. 14.48bps는 하루 0.1448% 수익을 의미합니다. 연환산하면 상당한 수준입니다.

가장 충격적인 발견: "크로스오버 패턴"

이 논문에서 가장 주목할 만한 발견은 다음과 같습니다:

• 인샘플(과거 데이터) 정확도: 오염이 심할수록 상승 (40.8% → 52.5%)
• 아웃샘플(새 데이터) 정확도: 오염이 심할수록 하락 (47% → 42%)

이것은 무엇을 의미할까요? LLM이 과거 데이터를 많이 기억할수록, 과거 데이터에 대한 예측은 더 정확해 보입니다. 하지만 실제 새 데이터에서는 오히려 더 부정확해집니다. 기억이 정확도를 부풀리고, 일반화 능력을 해친다는 직접적인 증거입니다.

쉽게 말하면, 학생이 모의고사 답안을 통째로 외우면 모의고사 점수는 올라가지만, 실제 시험에서는 더 못 보는 것과 같습니다.

---

한계와 주의점

솔직하게 말씀드리면, 이 논문에도 한계가 있습니다:

1. 블랙박스 방식이지만 일반화 검증은 아직 부족: MIA 방법이 학습 데이터에 접근할 필요 없다는 것은 장점이지만, 다양한 LLM 아키텍처에서 같은 효과가 나오는지는 추가 검증이 필요합니다.

2. 로지스틱 회귀 기반 MCS의 안정성: 데이터 분포가 변하면 MCS의 성능이 떨어질 수 있습니다. 시장 레짐이 바뀌면 재캘리브레이션이 필요할 수 있습니다.

3. 영어 금융 데이터만 검증: 7개 LLM 모두 영어 기반입니다. 한국어 금융 데이터나 다른 시장에서의 효과는 미검증입니다.

4. 구체적인 수치 제한: Sharpe 비율이나 수익률은 특정 실험 조건에서 나온 것입니다. 다른 종목, 다른 기간에서는 결과가 달라질 수 있습니다.

---

그래서 투자/실무엔?

이 논문의 시사점은 명확합니다:

1. LLM 기반 알파 신호는 반드시 "기억 검증"을 거쳐야 한다

LLM이 만들어낸 예측 신호를 그대로 사용하는 것은 위험합니다. 최소한 서로 다른 시기에 학습된 2~3개 LLM에 같은 질문을 해보고, 답이 일치하는지 확인하는 과정이 필요합니다.

2. 백테스트 성능이 좋을수록 의심하라

이 논문이 보여준 "크로스오버 패턴"은 매우 중요합니다. 백테스트 성능이 비정상적으로 좋다면, 그것은 전략이 뛰어나서가 아니라 AI가 과거 데이터를 기억하고 있기 때문일 수 있습니다.

3. 비용 없는 필터링 방법

MemGuard-Alpha의 가장 큰 장점은 모델을 재학습할 필요가 없다는 것입니다. 이미 만들어진 신호에 후처리로 필터를 붙이기만 하면 됩니다. 비용이 거의 들지 않으면서 Sharpe 비율을 49%까지 끌어올릴 수 있다면, 적용해 보지 않을 이유가 없습니다.

4. 학습 컷오프 날짜를 항상 기억하라

LLM은 보통 특정 시점까지의 데이터로 학습됩니다. 이 "학습 컷오프" 날짜에 가까운 과거 데이터에 대한 예측은 특히 의심해야 합니다. 기억일 가능성이 가장 높은 구간입니다.

---

더 알아보기

• 📄 원본 논문: arXiv:2603.26797
• ✍️ 저자: Anisha Roy, Dip Roy
• 📅 게시일: 2026년 3월 26일

---

이 글은 arXiv 프리프린트(동료 검증 전)를 기반으로 작성되었습니다. 실험 결과는 특정 조건에서의 수치이며, 실제 투자 성과를 보장하지 않습니다.

참고: 이 글은 일반적인 정보 제공 목적이며, 구체적인 사안은 전문가와 상담하시기 바랍니다.