The Unreasonable Effectiveness of Separating the Task from the Model — Maxime Rivest & Isaac Miller

한 줄 핵심

AI 프로그램은 모델 자체보다 입력·출력 계약, 구현, 평가를 분리해 함수처럼 다룰 때 더 재사용 가능하고 최적화 가능해지며, DSPy는 이 구조를 통해 실무 AI를 더 싸고 안정적으로 만들 수 있다고 주장한다.

시간별 요약

1. 0:01
   AI 작업도 함수처럼 입력·출력 계약과 구현을 분리하면 재사용, 조합, 테스트, 배포가 쉬워진다. DS9는 Python 기반 오픈소스로 이런 성질을 AI 워크플로와 프로그램에 적용하게 해준다.
2. 2:00
   반복되는 AI 과제는 명확한 인터페이스를 먼저 고정해야 새 모델, 새 기법, 새 전략이 나와도 내부 구현만 바꿔 끼울 수 있다. 인보이스에서 세금 추출, 문법 교정, 이메일 초안 작성, repo로부터 PR 생성 같은 작업이 모두 같은 방식으로 다뤄질 수 있다.
3. 5:00
   태스크를 제대로 정의하려면 instructions, code, evals의 세 요소가 필요하다. instructions는 무엇을 할지, code는 반드시 지켜야 할 제약을, evals는 좋은 결과가 무엇인지 정하며, 이 조합이 있어야 자동 최적화와 책임 있는 변경이 가능하다.
4. 9:00
   엔터프라이즈에서는 구현을 유연하게 두는 것이 비용 절감과 확장성의 핵심이며, Shopify 사례처럼 비싼 모델에서 싼 모델로 바꿔도 같은 eval과 비즈니스 로직을 유지할 수 있다. 최근에는 recursive language models, 프롬프트 최적화, multi-module GRPO 같은 기법을 같은 인터페이스 안에 쉽게 끼워 넣을 수 있다.
5. 12:00
   DSPy Flex는 점점 하네스 자체를 학습 대상으로 보고, qualitative learning은 생산 환경의 traces·user actions·product analytics 같은 실제 피드백을 eval로 바꾸는 방향을 제안한다. AGI가 와도 맥락과 문제 정의를 알지 못하므로, 마지막 한 단계의 학습과 평가를 데이터 기반으로 계속 갱신하는 구조가 중요하다.

실무 인사이트

• 반복되는 AI 기능은 먼저 입력·출력 계약과 실패 조건을 고정하고, 모델·프롬프트·툴은 교체 가능한 내부 구현으로 취급하는 설계가 가장 실용적이다.
• 평가 지표를 나중에 붙이지 말고, 실제 운영 데이터와 사람의 피드백이 바로 eval로 연결되도록 설계해야 개선 속도가 빨라진다.
• 새로운 모델이나 기법을 도입할 때는 성능 주장보다 기존 인터페이스를 유지한 채 비용·정확도·안정성을 얼마나 개선하는지로 판단해야 한다.