Notion's Token Town — Sarah Sachs, Notion

한 줄 핵심

AI 제품과 회사는 단일 최상위 모델에 종속되기보다, 모델 선택권·오케스트레이션·보안·거버넌스를 설계해 토큰 비용을 통제하면서도 지속 가능한 소프트웨어 팩토리를 만들어야 한다.

시간별 요약

1. 0:01
   Notion의 AI 팀은 AI를 단순한 도구가 아니라 인간·에이전트·에이전트가 함께 협업하는 시스템으로 보고 있다. 현재 대부분의 조직은 아직 AI를 assistant 수준에서만 쓰고 있으며, 그 이유는 데이터 사일로와 지속 가능한 시스템 오브 레코드가 부족하기 때문이다.
2. 4:00
   토큰 비용은 AI 제품의 구조적 장벽이며, 자동 업그레이드나 단일 벤더 종속은 고객과 회사 모두에게 불리한 선택이 된다. 핵심은 모델을 직접 학습하는 경쟁이 아니라, 고객 데이터와 워크플로를 이해해 적절한 능력·지연시간·가격의 조합을 설계하는 일이다.
3. 12:01
   모델 종속을 피하려면 model agnostic 전략이 필요하고, Notion은 auto model로 약 75%의 트래픽을 처리하면서 필요에 따라 여러 모델로 전환한다. 또한 open weights, CPUs, 그리고 업무별 라우팅을 활용하면 비용과 성능 사이의 협상력을 확보할 수 있다.
4. 18:00
   다음 단계의 핵심은 성능보다 보안과 거버넌스이며, private data·untrusted content·external communication이 결합되는 lethal trifecta를 경계해야 한다. 샌드박스, 권한, persistence 제어를 갖춘 환경이 있어야 에이전트가 더 결정적으로 동작하고 토큰 경제도 개선된다.
5. 19:00
   Notion의 software factories는 여러 에이전트를 역할별로 붙여 스코프 작성, 데이터 수집, PR 생성, 리뷰까지 이어지는 협업 루프를 실제로 돌리고 있다. 이 구조의 가치는 특정 lab에 베팅하는 데 있지 않고, 작업별로 가장 적합한 에이전트를 조합해 시간을 절감하고 품질을 높이는 데 있다.

실무 인사이트

• AI 제품을 설계할 때는 모델 성능 비교보다 '어떤 작업에 어떤 모델을 얼마 동안 쓰는가'를 기준으로 라우팅 정책과 비용 구조를 먼저 정해야 한다.
• 단일 모델·단일 공급자 의존을 줄이려면 fallback 모델, open weights, CPU 기반 결정적 작업을 섞어 optionality를 확보하는 것이 실무적으로 가장 강력하다.
• 에이전트 도입의 성패는 기능 추가가 아니라 권한·샌드박스·데이터 접근 범위를 안전하게 통제하는 하네스 설계와 워크플로 오케스트레이션에 달려 있다.