Teaching Coding Agents to do Spreadsheets - Nuno Campos, Witan Labs

한 줄 핵심

코딩 에이전트를 스프레드시트 작업에 강하게 만들려면 도구를 늘리는 것보다 REPL, 고충실도 검증 루프, 도메인 지식, 평가 체계를 함께 설계해야 하며, 이 조합으로 정확도를 50%에서 92%까지 끌어올릴 수 있다.

시간별 요약

1. 0:15
   스프레드시트는 사람에게는 시각적으로 직관적이지만 모델에게는 구조, 수식, 입력값의 의미를 모두 추론해야 하는 어려운 과제다. 재무 분석 벤치마크 정확도를 50%에서 92%까지 올린 과정은 무엇이 효과적이었고 무엇이 실패였는지에 대한 실험의 기록이다.
2. 2:02
   초기에는 계획·실행·검증을 분리한 3개 에이전트 구조와 SQL, XML 등 다양한 표현 방식을 시도했지만, 대부분은 단독 해법으로는 실패했다. 다만 CSV·TSV 뷰와 HTML 렌더링은 부분 도구로는 유용했고, 결국 스프레드시트를 이미지처럼 보게 하는 렌더링 엔진까지 연결되었다.
3. 4:01
   가장 큰 전환점은 15개의 분산 도구를 하나의 Node.js REPL로 합친 것이다. JavaScript를 스크립팅 언어로 쓰고 실제 스프레드시트 처리는 C#으로 두는 구조 덕분에, 에이전트는 한 번에 여러 작업을 묶어 실행하고 상태를 이어받으며 더 짧고 유연하게 추론할 수 있게 되었다.
4. 9:01
   정확도 향상은 단일 기법이 아니라 REPL, 검색 보강, 수식 추적, 시스템 프롬프트 개선, 버그 수정 같은 누적 개선의 결과였다. 특히 formula engine과 render engine으로 검증 루프를 닫아야 에이전트가 결과를 확인하고 스스로 수정할 수 있었고, 5분 제한 시간 안에 끝내지 못하던 작업들도 대부분 사라졌다.
5. 13:01
   평가는 LLM as judge만으로는 불안정하므로, 가능한 곳에서는 골든 스프레드시트와 결정적 비교로 바꾸는 것이 핵심이다. 또한 에이전트 실패처럼 보이는 문제의 상당수는 도구 버그, 잘못된 예시, 추적 플러그 문제이므로 traces를 끝까지 확인해야 한다.

실무 인사이트

• 도구를 세분화해 늘리기보다 에이전트가 한 번에 여러 행동을 묶어 수행할 수 있는 REPL형 인터페이스를 먼저 설계하는 것이 성능과 안정성에 유리하다.
• 스프레드시트처럼 결과 검증이 중요한 업무는 렌더링·계산 엔진을 붙여 피드백 루프를 만드는 순간부터 에이전트 품질이 급격히 좋아진다.
• 벤치마크가 좋아져도 원인이 모델인지 도구인지 구분되지 않으면 개선이 멈추므로, 결정적 평가와 traces 점검을 자동화하는 것이 필수다.