Our Smaller Model Beat Opus on Finance Tasks - Alexander Shevchenko, Ramp

한 줄 핵심

Ramp는 더 강력한 프런티어 모델을 기다리기보다, 자체 적용 연구로 더 빠르고 저렴한 특화 모델·캐시·스웜 기법을 만들어 금융 업무에서 성능과 비용을 동시에 개선하고 있다.

시간별 요약

1. 0:00
   소개 Ramp의 적용 AI 팀에서 일하며, 프런티어 모델의 발전을 기다리는 대신 현재의 역량을 끌어올리는 연구와 제품화를 다룬다.
2. 0:36
   쓴맛 교훈이 강한 회사 Ramp는 LLM 사용 사례가 급증했지만, 더 좋은 모델이 계속 나오면서 같은 정확도를 더 낮은 비용으로 제공할 수 있는 환경에 있다. 그래서 성능 향상과 단가 절감이 동시에 일어나는 구조를 적극적으로 활용한다.
3. 1:15
   왜 그냥 기다리지 않는가? 외부 모델이 더 좋아질 때까지 기다리기보다, 내부에서 적용 연구를 해야 하는 이유가 제기된다. 제품 계층에서 직접 경험을 개선하는 일이 사업상 더 빠르고 효과적일 수 있다.
4. 1:29
   2023년과 2026년의 에이전트 구축 2023년에는 엄격한 가드레일, 긴 프롬프트 조정, 적은 컨텍스트로 에이전트를 억지로 돌려야 했지만, 2026년에는 MCP와 넓은 컨텍스트만으로도 훨씬 안정적으로 작동한다. 그럼에도 한 단계 더 깊이 파고들면 사용자 경험을 더 끌어올릴 여지가 남아 있다.
5. 3:06
   Ramp Sheets용 특화 모델 스프레드시트 에이전트 Ramp Sheets에서 DCF 작성처럼 복잡한 금융 작업은 계획과 시트 탐색 때문에 느리고 비용이 컸다. 이에 프런티어 모델은 오케스트레이션에 두고, 금융 질의응답을 담당하는 더 빠른 전문 모델을 별도로 학습시키는 방향을 택했다.
6. 5:16
   Haiku 속도로 Opus를 넘다 Prime Intellect와 함께 Qwen 3.5 35 billion을 post-train해 당시 기준 Opus 4.6보다 높은 정확도를 달성하면서도 훨씬 낮은 지연으로 서빙했다. 빠른 전문 모델을 프런티어 오케스트레이터와 결합하면 실제 제품 성능이 크게 좋아진다.
7. 5:58
   KV 캐시 카트리지 cartridge는 KV cache에 컨텍스트를 20~30배 더 압축해 담아두는 방식으로, 월말 정산처럼 미리 예측 가능한 작업을 밤새 준비해 둘 수 있다. post-training보다 부담이 낮고, API에 들어오더라도 내부적으로 쌓은 활용 경험이 큰 자산이 된다.
8. 7:50
   10,000개 에이전트로 Ramp 침투 테스트 Ramp Inspect를 활용해 10,000개의 병렬 에이전트를 돌려 전체 시스템의 취약점을 탐색하고, LLM으로 중복 제거와 재현 검증까지 수행했다. 그 결과 7개의 high severity 취약점을 찾아 패치했으며, 비용 외에는 사람의 시간을 거의 쓰지 않았다.
9. 9:30
   스웜에서 더 싼 오픈 웨이트 모델 사용 스웜 구조에서는 frontier reasoning 모델보다 최대 5배 저렴한 open weight 모델을 써도 탐지율이 크게 떨어지지 않는다. 여러 모델을 병렬로 쓰는 방식이 저비용과 준수한 성능을 함께 만든다.
10. 10:08
    시간과 돈 절약 지연 시간과 토큰 비용을 줄이는 시도들이 Ramp의 핵심 목표인 시간과 돈 절감으로 이어진다. 이런 연구 성과는 실제 제품 전략으로 연결된다.
11. 10:36
    토큰 지출 관리와 Ramp Router 토큰 지출 관리 제품은 API key, 사용자, 회계 범주, 세금 크레딧까지 포함해 회사 내 LLM 사용을 세밀하게 분석한다. Ramp Router는 Nvidia Switchyard 같은 라우팅 전략과 smart flex offloading으로 지연과 비용을 함께 줄인다.
12. 12:03
    Ramp Labs 블로그 더 보기 Ramp Labs 블로그에는 post-train 간 지식을 옮기는 portal, self-improving monitoring, semantic tagging 같은 추가 연구가 정리되어 있다. 이런 작업들은 모델 학습 비용을 아끼고, 모니터링과 분류를 자동화하며, 제품 기능으로 이어진다.

실무 인사이트

• 프런티어 모델을 기다리기보다, 오케스트레이션용 모델과 전문 모델을 분리해 병렬 최적화하면 성능·지연·비용을 동시에 개선할 수 있다.
• 예측 가능한 업무는 실시간 추론으로만 풀지 말고, KV cache나 사전 준비형 워크플로로 전환하면 체감 속도와 운영 효율이 크게 좋아진다.
• 보안 점검이나 사용량 분석처럼 반복적이지만 넓은 탐색이 필요한 작업은 에이전트 스웜으로 자동화할 때 사람 시간을 거의 쓰지 않고도 높은 효과를 낼 수 있다.