How a Trading Firm Ships New AI Models the Same Day - Noyan Tokgozoglu, Optiver

한 줄 핵심

Optiver는 초단기 손익 피드백과 엄격한 규제 환경에 맞춰, 모델·하니스·비용·평가를 모두 통제하는 내부 AI 플랫폼을 구축해 새 frontier model을 당일 생산에 올릴 수 있는 운영 체계를 만들었다.

시간별 요약

1. 0:00
   소개 Optiver의 AI 엔지니어링 책임자로서, 손익이 바로 연결되는 환경에서 AI를 어떻게 확장하는지 설명한다.
2. 0:22
   마켓 메이커가 하는 일 Optiver는 자체 자본으로 거래를 중개하는 마켓 메이커이며, 하루 1,000만 건 이상 거래와 100만 개 이상 상품의 가격 산정, 방대한 데이터 처리를 고성능으로 수행해야 한다.
3. 1:00
   몇 분기 대신 몇 시간 만의 피드백 일반 테크 기업처럼 분기 단위 지표를 기다리는 구조가 아니라, 변경을 적용하면 몇 시간 안에 P&L 영향이 드러난다. 그래서 의사결정은 빠르게 내려야 하고, 놓친 기회의 비용도 즉시 커진다.
4. 2:53
   플랫폼 원칙 빠르게 움직이되 모듈화와 측정 가능성을 유지하고, 내부 벤치마크로 모델의 실제 효과를 검증해야 한다. 사용자는 높은 자율성을 가지지만 혼란을 막기 위해 기본값과 현장 밀착 지원이 필요하며, 모든 것은 on prem에서 안전하게 운영되어야 한다.
5. 5:11
   AI 플랫폼 스택 하단에는 third-party, self-hosted, open-source model이 있고, inference gateway가 라우팅과 비용 관리를 담당한다. 그 위로 skills, plugins, tools를 가진 agent platform과 agent gateway가 있으며, 사용자용 web interface와 workbench, personal assistant가 실제 사용 지점을 제공한다.
6. 7:06
   frontier model을 당일 배포하기 새로운 frontier model이 공개되면 같은 날 생산 흐름에 넣는 것을 목표로 하며, 이를 위해 golden set 평가와 고객 거래팀의 벤치마크 수집이 필수다. 동시에 gateway, API, 비용 관리, 하니스 업데이트, 24시간 지원 체계를 함께 갖춰야 한다.
7. 8:31
   모델과 하니스에 종속되지 않기 모델 가용성, 지역별 제약, DMZ on-prem 요구에 대응하려면 특정 모델이나 하니스에 묶이지 않는 구조가 필요하다. 모든 상호작용을 로깅하고 평가 시스템으로 넘기며, 메타 하니스 계층으로 팀별 설정과 이식성을 확보한다.
8. 9:53
   AI 지출 통제 사용량이 늘어도 ROI를 유지하려면 토큰 비용을 체계적으로 줄여야 한다. MCP tool search, 더 효율적인 CLI 래핑, 캐시 조정, knowledge base 재배치, model routing, open-source model 활용, 팀별 한도와 알림 설정으로 지출을 통제한다.
9. 13:54
   사용자가 있는 곳에서 만나기 사람들이 각자 만든 비공식 하니스와 웹 UI를 대신해, 세션·채팅·artifact를 관리하는 공식 web portal과 협업 기능을 제공한다. 사용자들은 직접 PR을 보내고, 여러 에이전트를 한 공간에서 다루는 형태로 발전시키며 생산성을 높인다.
10. 16:11
    질의응답 knowledge base는 하이브리드 검색으로 운영하지만, 그래프 DB 같은 더 나은 방식도 계속 탐색 중이다. 자체 인프라와 속도 요구 때문에 외부 도구에 종속되지 않으려 하며, 에이전트는 하나에 기능을 몰아넣기보다 역할별로 나눠 multi-agent로 운영하는 방향이 더 효과적이다.

실무 인사이트

• 손익 피드백이 빠른 조직일수록 모델 성능보다도 평가·배포·롤백·지원 체계가 경쟁력이 된다.
• 비용 최적화는 단순한 절감이 아니라, 토큰 예산·컨텍스트 설계·하니스 구조를 함께 바꿔야 효과가 크다.
• 에이전트를 범용으로 비대하게 키우기보다, 측정 가능한 단위로 쪼개고 gateway로 연결하는 편이 운영과 확장이 쉽다.