AI 금융 에이전트, 정말 똑똑할까? — 투자 리서치의 진짜 능력을 측정하는 벤치마크의 등장

"데이터를 잘 긁어오는 것과, 투자 판단을 잘하는 것은 완전히 다른 문제다"

---

들어가며: AI 에이전트의 환상과 현실

금융업계에서 "AI 에이전트"라는 말을 안 들어본 사람이 있을까요? 최신 대형 언어 모델(LLM)이 인터넷 검색도 하고, 금융 보고서도 읽고, 투자 분석까지 해준다고 합니다. 실제로 GPT, Claude, Gemini 같은 모델들이 금융 시험을 잘 통과하고, 데이터 추출도 꽤 잘하니, "이제 AI가 애널리스트 역할을 대체할 수 있는 것 아닐까?"라는 기대가 커지고 있습니다.

그런데 잠깐, 한 가지 의문이 듭니다. 데이터를 잘 읽는 것과, 그 데이터를 바탕으로 좋은 투자 판단을 내리는 것은 같은 능력일까요?

학교 시험에서 교과서 내용을 잘 외우는 학생이 있죠. 그 학생은 시험을 잘 볼 수 있습니다. 하지만 실제 현장에서 복잡한 문제를 해결하려면, 교과서 지식만으로는 부족합니다. 여러 정보를 종합하고, 맥락을 파악하고, 판단을 내려야 합니다.

금융 AI 에이전트에도 비슷한 문제가 있습니다. 기존 벤치마크들은 대개 "데이터를 잘 추출하는가?"라는 질문에 초점을 맞췄습니다. 보고서에서 숫자를 정확히 읽어내는지, 특정 지표를 올바르게 계산하는지를 평가했습니다. 하지만 실제 투자 리서치는 훨씬 복잡합니다. "이 회사의 경쟁 우위는 지속 가능한가?", "다음 분기 실적 촉매는 무엇인가?", "이 섹터의 거시적 역풍은 어떤가?" 같은 질문에 답하려면, 단순한 데이터 추출을 넘어서는 능력이 필요합니다.

Samaya AI의 Yuhao Zhang 연구팀이 이 문제에 정면으로 도전했습니다. 기존 벤치마크들이 놓치고 있던 것, 즉 실제 투자자의 전체 워크플로를 평가하는 새로운 벤치마크를 만들었는데, 결과가 매우 흥미롭습니다.

---

무엇이 문제였나: 기존 벤치마크의 사각지대

기존 금융 AI 벤치마크들은 대개 이런 방식으로 설계되었습니다:

1. 데이터 추출 중심: 보고서에서 특정 숫자를 찾거나, 테이블에서 값을 읽어내는 능력만 측정
2. 단답형 정답: 정해진 정답이 있고, 맞히거나 틀리거나 하는 방식
3. 좁은 범위: 특정 유형의 질문만 다룸

하지만 실제 투자 리서치는 이와 전혀 다릅니다. 실무 애널리스트가 하는 일을 생각해 보세요:

• 여러 출처(SEC 공시, 실적 발표, 산업 보고서, 시장 데이터)에서 정보를 종합
• 열린 형식의 질문에 대해 근거 있는 분석 제공
• 데이터 사이의 연결고리와 맥락 파악
• 시간에 따른 변화 추적 및 촉매 이벤트 모니터링

이런 복잡한 워크플로를 제대로 평가하려면, 기존 벤치마크의 틀을 완전히 새로 설계해야 했습니다.

---

핵심 아이디어: 투자 워크플로 전체를 포착하는 벤치마크

FrontierFinance의 핵심 아이디어는 간단하지만 강력합니다: "실제 투자자가 하는 일을 AI에게 시키고, 전문가 기준으로 채점하자."

구체적으로 어떻게 설계했을까요?

전문가가 직접 만든 220개 질문

일반인이 만든 문제가 아닙니다. 전직 매수 애널리스트, 매도 애널리스트, 투자은행가들이 직접 투자 리서치 과정에서 실제로 마주하는 질문들을 만들었습니다. 이 질문들은 6개 투자 유스케이스를 포괄합니다:

1. 금융 데이터 추출 (32%): 보고서에서 특정 수치나 정보를 찾아내기
2. 스크리닝·발견 (8%): 투자 기회를 발굴하고 필터링하기
3. 기업 리서치 (15%): 특정 기업의 심층 분석
4. 커버리지·촉매 모니터링 (12%): 커버 기업의 변화와 실적 촉매 추적
5. 섹터·산업·매크로 (17%): 산업 동향과 거시경제 분석
6. 실적·이벤트 (16%): 실적 발표와 주요 이벤트 분석

흥미로운 점은, 이 유스케이스들이 실제 투자 의사결정의 전체 그림을 그린다는 것입니다. 단순한 데이터 긁어오기부터, 기업 분석, 산업 동향 파악, 실적 해석까지 — 애널리스트가 하루 동안 하는 일이 여기 다 들어있습니다.

이진 루브릭 채점: 주관을 배제한 엄격한 평가

"이 답변이 좋은가?"라고 물으면, 사람마다 답이 다릅니다. FrontierFinance는 이 문제를 교묘하게 해결했습니다.

각 질문마다 평균 52.5개의 이진 루브릭을 만들었습니다. 예를 들어 "Apple의 다음 분기 실적 촉매는 무엇인가?"라는 질문에 대해:

• ✓/✗ 새 iPhone 모델의 출시 일정이 언급되었는가?
• ✓/✗ 서비스 매출 성장률이 고려되었는가?
• ✓/✗ 중국 시장 위험이 반영되었는가?
• ✓/✗ 공급망 이슈가 고려되었는가?

각 루브릭은 어디서 근거를 찾아야 하는지(SEC 공시, 기업 자료, 전문 지식, 시장 데이터 등)까지 명시되어 있습니다. 이렇게 하면 주관적 채점 없이, 일관되고 재현 가능한 평가가 가능합니다.

총 루브릭이 11,543개입니다. 이 정도면 거의 "투자 리서치의 체크리스트"라고 해도 과언이 아닙니다.

난이도 분류: 어떤 질문이 어려운가?

모든 질문이 같은 난이도는 아닙니다. Bradley-Terry 모델(쌍대비교 기반)로 Easy, Medium, Hard로 분류했는데, 흥미로운 패턴이 나왔습니다:

• 스크리닝·발견과 섹터·매크로가 가장 어려움
• 데이터 추출이 가장 쉬움

이것이 의미하는 바는 명확합니다. 데이터를 읽는 것은 상대적으로 쉽지만, 데이터를 바탕으로 인사이트를 도출하는 것은 매우 어렵다.

---

결과 — 무엇을 알아냈나

최고 시스템도 56% 수준

FrontierFinance로 여러 최신 AI 시스템을 평가한 결과입니다:

숫자만 보면 "절반 이상 맞히네?"라고 생각할 수 있습니다. 하지만 이 점수의 의미를 정확히 이해해야 합니다.

이 점수는 "52.5개 루브릭 중 몇 개를 만족시켰는가"를 측정한 것입니다. 즉, 56%라는 것은 전문가가 기대하는 분석의 절반 이상을 놓쳤다는 뜻입니다. 투자 리서치에서 "절반만 맞힌 분석"은 사실상 쓸모가 없습니다.

가장 어려운 분야: 스크리닝과 매크로

유스케이스별로 점수를 보면, 그림이 더 선명해집니다:

• 스크리닝·발견: 최고 시스템도 33% — 셋 중 하나도 못 맞힘
• 섹터·매크로: 39% — 역시 신통치 않음
• 데이터 추출: 상대적으로 양호

이 패턴이 말해주는 것은, 현재 AI 에이전트가 "찾아내는 것"은 어느 정도 하지만, "판단하는 것"은 아직 멀었다는 것입니다. 그리고 투자에서 가장 가치 있는 것은 후자입니다.

도구 하네스가 모델보다 중요하다

가장 놀라운 발견 중 하나입니다. 같은 Claude Fable5 모델이라도, 어떤 도구를 어떻게 연결하느냐에 따라 성능이 크게 달랐습니다.

• Samaya In-house 하네스: 56.0% (최적화된 도구 파이프라인)
• FA-v2 오픈 하네스: 49.2% (범용 도구 세트)

같은 모델인데 7% 차이가 납니다. 이것은 "더 좋은 LLM을 쓰라"가 아니라, "더 좋은 도구 파이프라인을 구축하라"는 메시지입니다.

비유를 들어보겠습니다. 같은 재료로 요리를 해도, 주방 도구가 좋으면 요리가 더 맛있어지죠. AI 에이전트도 같습니다. LLM이라는 "재료"보다, SEC 공시 파서, 실적 전사 인덱서, 섹터 데이터 파이프라인 같은 "주방 도구"가 더 중요합니다.

오픈웨이트 모델의 가능성

Kimi K3 (오픈웨이트 모델)가 Claude Fable5 대비 4.5배 저렴한 비용으로 거의 비슷한 성능(46.4% vs 49.2%)을 냈습니다. 이것은 프로덕션 환경에서 큰 의미가 있습니다.

수십 개, 수백 개 기업을 커버해야 하는 투자 리서치팀에서 모든 쿼리에 고가의 프론티어 모델을 쓰기는 비용 부담이 큽니다. 오픈웨이트 모델이 충분한 성능을 낸다면, 비용을 대폭 절감하면서 커버리지를 확대할 수 있습니다.

실패 패턴: URL 추측의 함정

흥미로운 실패 패턴도 발견되었습니다. AI 에이전트가 금융 데이터를 찾을 때, 검색 엔진을 통해 찾는 것과 모델이 기억하는 URL로 직접 가는 것이 있는데, 후자의 오류율이 훨씬 높았습니다.

쉽게 말하면, "SEC에서 Apple 공시를 찾아줘"라고 했을 때:

• 검색으로 찾는 경우: 대부분 정확한 페이지에 도달
• 기억하는 URL로 직접 가는 경우: 종종 잘못된 페이지나 존재하지 않는 페이지로 이동

이것은 금융 AI 시스템을 구축할 때 중요한 교훈입니다. 모델이 URL을 "추측"하지 못하게 하고, 항상 검색을 통해 접근하게 해야 합니다.

---

한계와 주의점

이 벤치마크도 완벽하지 않습니다. 정직하게 한계를 짚어보겠습니다.

1. 공개 데이터만 평가: 이 벤치마크는 공개된 정보만으로 평가합니다. 사내 데이터, 대체 데이터, 독점 정보의 가치는 측정하지 않습니다. 실제 투자에서 "정보 우위"의 상당 부분은 비공개 데이터에서 오는데, 이 부분은 평가에서 빠져 있습니다.

2. 이진 루브릭의 한계: 52.5개 루브릭이 아무리 많아도, 분석의 "질"이나 "창의성"을 완전히 포착하지 못할 수 있습니다. 가끔 최고의 투자 인사이트는 체크리스트에 없는 것에서 나옵니다.

3. 스냅샷 평가: 특정 시점의 질문에 대한 답변을 평가합니다. 실시간으로 변화하는 시장에 적응하는 능력, 시간에 따른 포트폴리오 추론 능력은 측정하지 않습니다.

4. 실행 레이어 부재: 리서치 품질만 평가하지, 실제 매매 실행, 리스크 관리, 포트폴리오 구성 능력은 포함하지 않습니다. 좋은 분석을 해도 실행을 못 하면 의미가 없죠.

5. 하네스 의존성: 결과가 도구 하네스에 크게 좌우됩니다. 다른 연구에서 다른 하네스를 쓰면 직접 비교하기 어렵습니다.

---

투자 실무에 주는 시사점

이 연구가 투자 실무에 주는 시사점을 정리하면 이렇습니다:

첫째, 도구 파이프라인에 투자하라. LLM 모델을 업그레이드하는 것보다, SEC 공시 파서, 실적 전사 인덱서, 섹터 매크로 데이터 피드 같은 특화 도구를 구축하는 것이 더 높은 투자 수익률을 가져옵니다. 같은 모델이라도 도구가 좋아지면 성능이 7% 이상 올라갔습니다.

둘째, 오픈웨이트 모델을 진지하게 고려하라. Kimi K3 같은 오픈웨이트 모델이 프론티어 모델 대비 4.5배 저렴한 비용으로 거의 비슷한 성능을 냈습니다. 커버리지를 확대해야 하는 리서치팀에서 비용 효율적 선택지가 될 수 있습니다.

셋째, 자체 벤치마크를 구축하라. FrontierFinance의 루브릭 작성 파이프라인(전문가 설계 → 밀집 루브릭 → AI 보조 감사 → 층화 리밸런싱)은 자체 커버리지 유니버스에도 적용할 수 있습니다. 기업별 리서치 질문에 대한 이진 루브릭을 만들고, 에이전트 품질을 지속적으로 모니터링하는 프레임워크로 활용 가능합니다.

넷째, 검색 우선 전략을 적용하라. AI 에이전트가 URL을 "추측"하지 못하게 하고, 항상 검색을 통해 금융 데이터에 접근하게 해야 합니다. 이 작은 변경 하나가 오류율을 크게 낮춥니다.

다섯째, 가장 가치 있는 영역이 아직 미해결이라는 것을 인식하라. 스크리닝·발견(33%)과 섹터·매크로(39%)가 가장 어려운 영역인데, 이것이 바로 투자에서 가장 가치 있는 작업입니다. 현재 AI 에이전트에 과도하게 의존하기보다, 인간 애널리스트의 판단을 보조하는 도구로 활용하는 것이 현명합니다.

---

함께하기

최신 금융 AI 연구와 퀀트 투자 인사이트를 받아보시려면:

• 📬 ohselab.com에서 뉴스레터 구독
• 💬 투자 리서치 AI 도입 상담 문의
• 🐦 최신 연구 소식 팔로우

---

더 알아보기

• 📄 논문: FrontierFinance: A Challenging Benchmark for Measuring Frontier Intelligence of Finance Agents
• 🏷️ 티어: A | 분과: LLM 기반 트레이딩 에이전트 (C4)
• 📊 5차원 점수: composite 70.8

참고 — 이 논문과 관련된 연구

• 2503.18313 — Will LLMs be Professional at Fund Investment? (벤치마크 평가)
• 2505.13533 — FinMaster: A Holistic Benchmark for Mastering Full-Pipeline Financial Workflows (전체 파이프라인 벤치마크)
• 2502.15865 — Standard Benchmarks Fail — Auditing LLM Agents in Finance Must Prioritize (벤치마크 비판)
• 2603.08262 — FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use (도구 사용 평가)