Claude Code Looked Right but Missed $800K - Natalia Connolly & Kevin Madura, AlixPartners

한 줄 핵심

이 영상은 Claude Code를 실제 대규모 계약 분석에 적용했을 때, 단순히 답을 잘 그럴듯하게 만드는 것보다 데이터 구조화·도구화·업무 맥락 주입이 정확도를 좌우한다는 점을 보여준다.

시간별 요약

1. 0:00
   소개 AlixPartners의 AI·데이터 팀이 실제 조달 분석에 Claude Code를 적용한 경험을 공유하며, 사업 맥락과 접근 방식, 그리고 시행착오에서 얻은 교훈을 다룬다.
2. 0:52
   두 회사와 40,000개 계약의 거래 대형 헬스케어 회사의 인수합병으로 수만 개의 계약과 수백 개 벤더가 뒤섞였고, 핵심 목표는 통합 후 협상력과 절감 가능액, 그리고 실행 시점까지 추적 가능한 근거와 함께 답하는 것이다.
3. 2:30
   그럴듯하지만 틀린 답 Claude Code는 형식적으로는 완성도 높은 답을 내놨지만, 총 계약 가치에서 약 $800,000를 놓쳤고 자동 갱신을 막아야 하는 날짜도 December 1st로 잘못 계산했다.
4. 3:29
   계약 데이터가 지저분한 이유 계약 데이터는 긴 문서의 전처리 실패, 부모 계약과 분리된 orphan amendments, 금액만 보고 합산하면 틀리는 개정 조항, 페이지를 넘나드는 표처럼 구조적으로 쉽게 오해를 낳는다.
5. 5:46
   5단계 처리 파이프라인 문서 인식과 OCR, 계약 유형 분류, 조건·요율·지출 추출, 서비스별 지출 범주 매핑, 그리고 그 위에서 Claude Code가 작업하는 5단계 파이프라인을 만들어 40,000개 이상 계약을 처리했다.
6. 7:08
   차트, 표, 구조화된 출력 차트나 그래프 같은 멀티모달 요소는 단순 OCR로는 정보가 손실되기 쉬우므로, 이미지를 구조화된 요소로 변환해 데이터베이스처럼 다루고 필요한 항목만 선별적으로 활용하는 방식이 효과적이다.
7. 8:26
   내장된 비즈니스 규칙을 가진 맞춤형 도구 구조화된 데이터를 바탕으로 SQL 실행, 테이블 조회, 특정 벤더 지출 조회 같은 맞춤형 도구를 만들고, 조회 로직 안에 비즈니스 규칙을 넣어 프롬프트만으로는 놓치기 쉬운 맥락을 강제할 수 있다.
8. 10:20
   효과적인 것의 패키징 잘 작동하는 도구와 규칙은 MCP 서버와 설정으로 묶어 재사용 가능하게 만들고, 허용된 작업만 열어두고 나머지는 차단하는 방식으로 데이터 접근도 통제할 수 있다.
9. 11:14
   교훈: 잘못된 날짜 만료 날짜가 아니라 갱신 조항 기준 날짜를 써야 했는데도, 이런 외부 비즈니스 규칙을 사전에 주입하지 않으면 작은 차이가 누적되어 실제 결과를 크게 망칠 수 있다.
10. 11:59
    교훈: 고아가 된 개정안 CLM 시스템이 완전하지 않은 경우가 많아, 계약 본문을 직접 읽으며 MSA, SOW, 개정안의 관계를 다시 구성해야 하며, 그래야 최신 관계 상태를 반영하면서 중복 계산을 피할 수 있다.
11. 13:25
    교훈: 접근 오류는 0처럼 보인다 권한 문제나 접근 거부가 발생해도 반환값이 0처럼 보이면 모델은 이를 실제 값으로 오해할 수 있으므로, 실패 원인을 명확히 전달해 graceful fallback이나 사람 개입으로 이어지게 해야 한다.
12. 14:37
    교훈: 절감액 중복 제거 여러 에이전트가 병렬로 절감 기회를 찾더라도 결과를 정교하게 재조정하고 중복 제거해야 하며, 어떤 지표를 비교하고 어떤 다음 단계를 허용할지 절차를 엄격하게 정의해야 한다.
13. 16:04
    교훈: 사업이 이미 하고 있는 일을 파악하라 분석 시점의 실제 사업 상황, 특히 이미 착수된 조치와 진행 중인 M&A 맥락을 반영하지 않으면 유효하지 않은 추천이 쏟아지므로, 이미 확인한 사실을 재탐색하지 않도록 맥락을 축적해야 한다.
14. 17:37
    핵심 정리 먼저 데이터를 정교하게 구조화해 모델이 환경을 다시 학습하듯 헤매지 않게 하고, 동시에 충분한 비즈니스 맥락을 넣어야 실제로 신뢰할 수 있는 분석 결과를 얻을 수 있다.

실무 인사이트

• 계약 분석에서는 모델의 추론력보다도 개정안 연결, 날짜 기준, 접근 실패 처리처럼 업무 규칙을 데이터·도구 단계에서 강제하는 설계가 정확도를 좌우한다.
• 그럴듯한 답변을 검증하려면 자연어 결과를 그대로 믿지 말고, 계약 페이지·인보이스 라인·집계 로직을 코드로 역추적할 수 있는 구조가 필요하다.
• 병렬 에이전트나 맞춤형 도구를 쓰더라도 최종 단계의 중복 제거와 사업 맥락 반영이 없으면 절감 효과가 과대계상되거나 실무에서 바로 폐기된다.