SimulationMaxxing: How we ship agents 20× faster — Aman Gupta (Nubank) + Shreya Rajpal (Snowglobe)

한 줄 핵심

에이전트 평가는 프로덕션 데이터에만 의존하면 너무 느리고 비싸지만, 시뮬레이션으로 평가 데이터를 만들면 배포 속도를 20배까지 끌어올리면서 품질과 안정성도 함께 개선할 수 있다.

시간별 요약

1. 0:01
   Nubank는 수억 명 고객을 가진 디지털 은행으로, 고객 지원용 AI 에이전트에 인간 상담사와 AI를 함께 쓰고 있다. 핵심 목표는 반복 업무는 AI가 처리하고, 복잡한 사례는 사람이 맡아 빠르고 공감적이며 정확한 응대를 만드는 것이다.
2. 3:01
   에이전트 평가의 핵심은 metrics와 data이며, 특히 병목은 평가 지표가 아니라 평가에 쓸 데이터다. 멀티턴 에이전트는 상태와 툴 호출이 얽힌 trajectory라서 수작업 작성은 너무 느리고, 프로덕션 trace는 공짜에 가깝지만 실사용자를 대상으로 실험해야 한다는 비용이 크다.
3. 6:00
   시뮬레이션을 쓰면 하네스 변경 후 오프라인 평가와 온라인 검증까지 걸리는 시간을 몇 주에서 하루 이하, 때로는 몇 시간·몇 분으로 줄일 수 있다. 실제 사용자 데이터를 기다리지 않고도 가상의 사용자로 빠르게 가설을 검증할 수 있어, 반복 실험과 출시 판단이 훨씬 쉬워진다.
4. 8:00
   시뮬레이션은 agent를 Snowglobe SDK로 감싸고, persona와 use case를 입력으로 넣어 다회 대화 데이터를 생성한 뒤 judge를 얹어 평가 파이프라인으로 연결하는 방식이다. 생성된 데이터는 fake address, fake credit card 같은 grounding 정보와 톤·말투까지 일관되게 포함해 실제와 비슷한 조건에서 에이전트를 시험하게 만든다.
5. 10:01
   배포-관측-평가-시뮬레이션-하네스 최적화-재배포로 이어지는 self-improvement loop가 구축되면서, 다수의 A/B test를 덜 위험하게 돌릴 수 있게 됐다. 시뮬레이션은 생산 전 회귀를 잡아내고 self-service rate와 TNPS를 함께 끌어올렸으며, 오픈소스 모델 비교 실험도 몇 주의 수고를 줄여줬다.

실무 인사이트

• 에이전트 실험 속도를 높이려면 먼저 평가 지표보다 평가 데이터를 어떻게 안정적으로 만들지부터 설계하는 것이 효과적이다.
• 시뮬레이션 도입 시에는 sim-to-real 갭을 줄이기 위해 오프라인 평가, 인간 검토, 프로덕션 비교를 함께 운영해야 결과를 신뢰할 수 있다.
• 운영 환경에서는 작은 개선을 바로 배포하기보다, 시뮬레이션으로 여러 후보를 먼저 거른 뒤 가장 유망한 안만 A/B test에 올리는 방식이 비용과 리스크를 크게 줄인다.