Building Turbopuffer: Gergely Orosz (@pragmaticengineer ) × Simon Eskildsen (CEO)

한 줄 핵심

Shopify에서의 대규모 인프라·데이터베이스 경험과 napkin math를 바탕으로, S3 위에 단순한 구조로 Turbopuffer를 만들고 Cursor 같은 고객의 비용을 크게 낮춘 사례를 통해, AI 시대에도 좋은 인프라는 복잡함보다 명확한 제약과 실용적 설계에서 나온다는 점을 보여준다.

시간별 요약

1. 0:01
   PowerPoint와 Front Page에서 시작해 HTML, PHP, 알고리즘 문제로 깊어지며 컴퓨터를 배운 과정이 공유된다. 정식 컴퓨터공학 교육보다도 스스로 파고드는 습관이 성장의 핵심이었다.
2. 4:01
   Shopify에 고등학생 시절 합류한 뒤 인프라 팀에서 샤딩, 다중 데이터센터, 장애 주입 테스트 같은 어려운 문제를 다뤘다. Toxyroxy 같은 도구로 데이터베이스 장애를 CI에서 재현하면서 실패 대응을 체계화한 경험이 이후의 기반이 됐다.
3. 15:03
   napkin math로 DRAM, S3, NVMe, EBS의 비용과 성능을 숫자로 외우며 시스템 설계를 감으로 판단하는 능력을 키웠다. 벤치마크보다 계산이 먼저라는 관점이 생기면서, 검색과 데이터베이스의 병목을 더 정확히 보는 방식으로 이어졌다.
4. 21:02
   기존 검색 시스템의 비효율과 S3의 높은 내구성을 결합해, 벡터를 S3에 두고 클러스터와 centroid를 이용해 검색하는 Turbopuffer의 첫 버전이 만들어졌다. 처음에는 reverse proxy와 단순 캐시만으로 시작했지만, 매우 작은 MVP를 실제 고객이 받아들이면서 제품으로 전환됐다.
5. 29:00
   Cursor는 초기부터 Turbopuffer를 도입해 PostgreSQL/Aurora 대안으로 쓰며 비용을 95% 낮췄다. 이후에도 CPU 부족, NVME SSD 수요, venture capital의 목적, 원격 문화와 campfire 같은 운영 방식이 설명되며, AI 인프라 회사이지만 본질은 신뢰와 단순성에 있다는 메시지가 강조된다.

실무 인사이트

• 복잡한 시스템을 설계할 때는 벤치마크보다 먼저 napkin math로 대략의 상한과 병목을 계산하면 잘못된 방향을 빨리 걸러낼 수 있다.
• 초기 고객은 기술 스펙보다도 실제 문제를 함께 풀어주는 신뢰에서 생기므로, 직접 찾아가 장애와 비용 문제를 해결해 주는 방식이 강력하다.
• AI 인프라 경쟁이 심해질수록 GPU보다 CPU, 네트워크, 스토리지 같은 기초 자원과 운영 효율이 경쟁력의 핵심이 된다.