Building GTM AI Agents: Lessons from Deploying to 6,000 Users — Sait Izmit, Snowflake

한 줄 핵심

대규모 GTM AI 에이전트는 완벽한 아키텍처보다 품질 중심의 작은 시작, 강한 변화관리, 지속적인 로그 기반 개선이 성패를 좌우한다.

시간별 요약

1. 0:00
   백만 건의 질문, 주당 4만 건 사내 GTM 도구는 2023년 9월 출시 이후 100만 건이 넘는 질문에 답했고, 주당 약 40,000건을 처리하는 내부 표준 도구로 자리잡았다. 다양한 기업들도 비슷한 문제를 겪고 있어, 실제 구축 경험과 운영 교훈을 공유할 필요가 크다.
2. 1:31
   영업 조직은 절반인데 데이터는 분절돼 있다 영업 인력이 조직의 큰 비중을 차지하지만 데이터가 SaaS 도구 곳곳에 흩어져 있어 한 사람이 고객·계정·지원·소비·뉴스를 동시에 따라가기 어렵다. AI는 데이터를 한곳에 모으고, 도구를 줄이며, 반복 업무를 자동화해 생산성과 매출 성과를 높이는 수단이 된다.
3. 3:24
   신뢰는 천천히 쌓이고 하룻밤에 무너진다 비결정적 시스템은 첫인상이 중요하며, 초기에 만족하지 못하면 사용자를 되돌리는 비용이 매우 크다. 그래서 품질을 가장 우선시하고, 처음 몇 번의 질문에서 신뢰를 얻는 데 모든 초점을 맞춰야 한다.
4. 4:16
   에이전트를 만지기 전에 150개의 질문을 적었다 에이전트를 열기 전에 영업 프로세스를 기준으로 150개의 실제 질문을 먼저 써서 테스트했으며, 처음 결과는 50% 정확도 수준이었다. 100개를 70%로 맞추는 것보다 50개를 95%로 맞추는 쪽이 초기 신뢰 형성에 훨씬 유리하다는 판단으로 품질 우선 전략을 택했다.
5. 5:08
   에이전트는 이렇게 커졌다 출시 후 데이터와 기능이 계속 추가되며 지금은 15개 semantic views, 85개 tables, 3,000개 columns, 5~6개의 MCP connections, 약 20개의 skills를 가진 큰 시스템이 되었다. 다만 규모가 커져도 초기 신뢰를 잃지 않도록 통제된 방식으로 확장해야 했다.
6. 5:46
   파일럿, 10% 베타, GA로 나눠 출시한다 출시는 파일럿에서 정확도와 품질을 검증하고, 10% 베타에서 실제 MVP가 되는지와 사용자가 다시 돌아오는지를 확인한 뒤 GA로 넓히는 방식으로 진행된다. 특히 주간 활성 사용자의 재방문율이 70%를 넘는지를 중요한 기준으로 삼는다.
7. 7:14
   실패는 보통 변화관리에서 시작된다 제품을 출시해도 조직이 실제로 써보지 않으면 지표는 오르지 않으며, 이 단계에서 문제는 기술보다 활성화와 변화관리인 경우가 많다. 2~3개월 동안 세일즈 미팅, 데모, 대시보드, 리더십 후원으로 사용을 끌어올려야 이후에 깊이 있는 활용으로 이어진다.
8. 8:56
   와우 효과는 금방 사라진다 처음에는 '데이터와 대화한다'는 경험만으로도 강한 반응을 얻지만, 몇 달이 지나면 더 많은 기능을 기대하게 되고 기존 기능만으로는 부족해진다. 기대 수준이 기본값이 되기 때문에 새로운 단계의 가치, 예를 들면 자동화와 개인화로 계속 올라가야 한다.
9. 9:44
   데이터와 대화하고, 자동화하고, 그다음에 만든다 첫 단계는 대시보드와 분석가 의존성을 줄여 데이터를 자연어로 묻는 것이다. 다음 단계는 MCP 연결로 이메일·Slack·아웃리치 같은 업무를 자동화하고, 그다음에는 팀별 대시보드·알림·앱을 직접 만드는 수준까지 확장된다.
10. 11:49
    완벽한 아키텍처를 찾느라 시간을 보내지 마라 초기에는 9페이지 분량의 agent instructions, 몇 개의 Cortex analyst tools, semantic views, Cortex search service만으로 6,000명에게 배포했고, 이후 CI/CD, eval, skills, MCP, progressive disclosures, user memory, task scheduling을 계속 더해 갔다. 중요한 것은 처음부터 완벽한 설계를 고집하는 것이 아니라, 출시하고 배우면서 30~40%는 계속 재구성할 수 있어야 한다는 점이다.
11. 14:18
    로그는 금광이고, 마지막 교훈은 분명하다 로그를 분석하면 질문 주제, 세부 하위 범주, 실패 지점, 반복 질문, 사용자 불만을 실시간으로 파악할 수 있어 피드백 루프를 만들기 쉽다. 로그는 battle cards, sales enablement 문서, 교차 판매 대상 매칭까지 자동화할 수 있게 해 주며, 핵심 교훈은 품질 우선, 변화관리, 와우 효과의 지속, 빠른 재구성, 그리고 로그 기반 개선이다.

실무 인사이트

• 초기 목표는 기능 범위 확대보다 상위 50개 질문의 정확도를 높여 첫 사용 경험을 안정화하는 데 두는 것이 효과적이다.
• 출시 이후 성패는 모델 성능보다 사용 활성화와 조직 내 확산에 더 크게 좌우되므로, 세일즈 리더와 현장 관리자 대상의 변화관리 계획을 별도로 설계해야 한다.
• 로그를 운영 자산으로 취급해 질문·실패·불만을 자동 분류하면, 다음 기능 후보와 지식 보강 지점을 빠르게 찾아낼 수 있다.