Why Waiting for the Next AI Model Can Pay Off - John Stecher, Blackstone & Scott Worland, Norm AI

한 줄 핵심

금융·규제 환경에서 AI 에이전트를 제대로 쓰려면 모델 성능을 기다리는 것보다 데이터 전략, 평가 체계, 생산 배포 가능성을 함께 설계하고, 필요하면 기존 코드를 과감히 버리며 빠르게 재구성해야 한다.

시간별 요약

1. 0:00
   소개 Blackstone과 Norm AI의 역할을 소개하며, 한쪽은 대규모 자산운용의 기술 전반을 다루고 다른 한쪽은 법률·규제 영역에서 엔터프라이즈 AI 플랫폼을 운영한다는 배경을 공유한다.
2. 1:05
   AI 에이전트를 제대로 만드는 법 AI 에이전트 경쟁은 모델의 진전과 함께 본격화됐고, 특히 긴 컨텍스트와 더 긴 실행 시간이 가치 창출을 크게 키웠다.
3. 1:32
   데이터 전략이 먼저다 에이전트를 성공시키려면 거래 시스템에 흩어진 데이터를 일관된 구조로 옮겨 접근·관리·재호출이 쉬운 데이터 체계를 먼저 만들어야 한다.
4. 2:21
   스트레이트스루 처리가 여전히 중요하다 에이전트 자체보다 중요한 것은 가능한 한 사람이 개입하지 않는 처리 흐름을 설계하는 일이며, 에이전트는 필요한 지점에만 지능을 주입하는 역할로 써야 한다.
5. 3:46
   Norm의 초기 워크플로 접근 초기에는 모델을 둘러싼 구조를 촘촘히 쌓아 일종의 워크플로로 운영했고, 컨텍스트 주입·모델 순서·일관성 검증을 세밀하게 관리해 높은 정확도와 일관성을 확보했다.
6. 5:05
   에이전트가 코드를 구식으로 만든 순간 대규모 수작업 평가 샘플을 보유하고 있었기 때문에 에이전틱 접근으로 전환하자 기존 코드의 상당 부분이 불필요해졌고, 이를 계기로 플랫폼을 처음부터 다시 정의해 에이전트 경험과 AI 공동개발을 지원하는 방향으로 재설계했다.
7. 6:42
   금융 서비스에서의 평가 금융 서비스에서는 정확도 기준이 매우 높아, 모델 버전이나 실행 하네스가 바뀌어도 일관되고 반복 가능한 결과를 내는 평가 세트와 건강 상태 측정 체계가 필수다.
8. 7:40
   비터 레슨 사람이 정교하게 설계한 규칙 기반 시스템보다 계산량을 확장하는 시스템이 결국 앞선다는 원칙이 반복해서 확인되며, 이런 관점은 로드맵과 프로젝트 우선순위 판단에도 직접 연결된다.
9. 8:54
   ROI와 다음 모델을 기다릴 시점 작업을 지금 할지 미룰지는 ROI와 현재 구축 비용의 균형으로 판단하며, 당장 사업 가치가 크지 않고 몇 달 뒤 더 나은 모델로 더 싸게 풀 수 있으면 기다리는 선택도 한다.
10. 10:25
    빠르게 개념증명까지 가는 법 기술과 하네스를 적극 활용하면 기획에서 코드 작성, 그리고 클릭 가능한 POC나 POV까지 매우 빠르게 갈 수 있으며, 가치가 없으면 과감히 버리고 반복하는 편이 비용과 시간을 줄인다.
11. 12:43
    Claude Code에 대한 업데이트 Claude Code처럼 코드 작성과 실행을 연결하는 도구를 통해 범용성이 커졌다고 느끼게 되었고, 이후에는 데이터 수집·정제, 벤치마크, 평가를 더 중요하게 보고 법률 업무에는 점수표 방식으로 성공 기준을 관리한다.
12. 14:49
    프로덕션으로 가는 어려운 길 진짜 어려운 단계는 생산 환경에 올리는 일로, 기업 인프라 적합성·사이버보안·지원 가능성·운영 관측성까지 충족해야 하며 이 부분은 아직도 많은 팀이 과소평가한다.
13. 15:45
    아직 사람 검토가 필요한 부분 핵심 프리미티브와 데이터가 민감한 영역은 여전히 사람이 설계·소유·승인해야 하고, 새로운 모델을 받아들이더라도 스택의 핵심은 잠그되 나머지는 유연한 통로로 연결해야 한다.
14. 17:24
    유지보다 재구축 예전에는 기존 애플리케이션을 끝까지 유지하는 것이 상식이었지만, 지금은 내부 앱을 목적 단위로 만들고 버리는 편이 더 합리적인 경우가 많아 재작성과 교체를 적극적으로 검토해야 한다.
15. 19:13
    마무리 생각 AI 덕분에 숙련된 엔지니어가 다시 직접 만들며 자신의 아키텍처 역량을 표현할 수 있게 되었고, 이는 새로운 회사와 제품을 더 빠르게 만들 수 있는 매우 흥미로운 시기라는 메시지로 마무리된다.

실무 인사이트

• AI 에이전트 도입은 모델 선택보다 먼저 데이터 구조화와 평가 체계를 정리하는 것이 효과적이다.
• 금융·규제 산업에서는 POC 성공보다 프로덕션 적합성이 더 큰 허들이므로, 처음부터 보안·관측성·인수인계 가능성을 설계해야 한다.
• 기존 시스템을 오래 유지하는 관성보다, 더 싸고 빠르게 재구축할 수 있는지를 주기적으로 다시 계산하는 습관이 필요하다.