How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut

한 줄 핵심

Revolut은 2,000명 규모의 엔지니어링 조직에서 오픈 모델을 자체 호스팅해 코딩 AI 비용을 90% 절감하면서, 실제 병목은 코딩 자체보다 검색·업무 맥락 처리에 있음을 입증한다.

시간별 요약

1. 0:00
   소개 고성능 엔지니어링과 전용 GPU 위에서의 오픈 모델 자체 호스팅을 다루는 기술 중심 발표의 범위를 제시한다.
2. 0:36
   Revolut은 어떤 회사인가 Revolut은 유럽의 디지털 은행으로 80 million 고객과 45개 시장에서 운영되며, 제품 출시 속도와 엔지니어링 문화에 강한 우선순위를 둔다.
3. 1:18
   AI가 2,000명 엔지니어의 리드타임에 미친 영향 Gemini 도입은 리드타임과 코딩 시간을 각각 10%, 20% 개선했지만, 초기의 Cloud Code 도입은 기대만큼의 효과를 내지 못했다. AI 채택 시점과 제품 성숙도가 성과에 큰 영향을 준다.
4. 2:45
   자체 호스팅을 시작한 이유 엔지니어가 월 수천 달러를 쓰는 상황에서 비용 대비 효과에 대한 의문이 커졌고, 무제한에 가까운 토큰을 더 낮은 비용으로 제공하기 위해 오픈 소스 모델 자체 호스팅을 시작했다. GLM 도입 후 코딩 시간과 리드타임이 크게 개선됐다.
5. 3:33
   병목은 코딩이 아니다 리드타임 개선 폭이 코딩 시간보다 더 컸다는 점에서, 엔지니어링 병목은 실제 코딩보다 이메일, Jira, Confluence 같은 업무 맥락 처리에 더 가깝다. 토큰 제약이 사라지면 어려운 작업에 아껴 쓰던 행동이 줄고, 비용은 예측 가능한 정액 구조로 바뀐다.
6. 4:24
   GLM을 자체 호스팅하려면 무엇이 필요한가 2,000명의 엔지니어를 지원하려면 약 56 B200이 필요하고, 목표는 3초 미만의 time to first token과 실사용에 충분한 200 tokens per second이다. 자체 호스팅 GLM의 혼합 토큰 비용은 1 million당 30 cents 수준으로, Anthropic과 OpenAI 대비 청구액이 10분의 1 수준까지 내려간다.
7. 5:46
   튜닝: 같은 GPU로 88% 더 빠르게 GPU 개수는 그대로 둔 채 요청 처리량과 time to first token을 조정하는 튜닝만으로 성능을 크게 끌어올릴 수 있다. 같은 56 GPU에서 요청은 3에서 7 이상으로, time to first token은 10초 이상에서 1.6초 수준으로 개선되며 88% 성능 향상을 달성했다.
8. 7:06
   중요한 파라미터들 긴 컨텍스트는 실제로는 과장된 요구사항이며, 대부분 256 수준이면 충분하다. Blackwell 계열 GPU에서는 FP4/VFP4 같은 저정밀 양자화, 적절한 tensor parallelism, 90% 이상의 cache hit, spec decoding 같은 세부 최적화가 성능을 좌우한다.
9. 8:14
   프로덕션 구성 텍스트 전용 모델의 한계를 인정하되, 필요한 이미지 인식은 다른 모델로 라우팅하는 방식이 실용적이다. OpenAI 호환 API와 response API를 맞추면 Open Code Codex 같은 도구 안에서도 쉽게 연결할 수 있고, UI 작업에는 별도 vision 모델을 활용할 수 있다.
10. 9:23
    CIO를 위한 규제 준수와 안전 중국계 오픈 소스 모델을 써도 가중치를 미국 기반 서비스에 올려 쓰는 구조라면 데이터 공유 측면에서 문제를 줄일 수 있다. 인간 검토가 보장되는 sandbox, 허용·금지 작업 규칙, prompt injection 대응, 데이터 거버넌스, 강한 OpenTelemetry가 규제와 보안의 핵심이다.

실무 인사이트

• 코딩 AI의 효과는 모델의 절대 성능보다도 리드타임의 병목을 어디서 줄이느냐에 따라 크게 달라지므로, 코드 생성 외의 업무 문맥 제거가 먼저다.
• 자체 호스팅의 핵심은 GPU를 더 사는 것이 아니라 time to first token, cache hit, quantization, tensor parallelism 같은 운영 파라미터를 체계적으로 튜닝하는 데 있다.
• 대규모 조직에서 오픈 모델을 도입할 때는 비용 절감만 보지 말고, sandbox와 감사 로그를 포함한 통제 체계를 함께 설계해야 확산이 가능하다.