The Loop Is the Product — Roland Gavrilescu, Introspection

한 줄 핵심

에이전트 제품의 핵심은 단순히 모델이 아니라 실행-검증-개선의 루프 자체를 제품화하고, 그 루프에서 얻은 신호를 레시피와 평가로 축적해 더 가치 있는 작업을 더 적은 비용으로 반복하게 만드는 것이다.

시간별 요약

1. 0:00
   xAI에서 Introspection으로 에이전트 인프라를 다루던 경험을 바탕으로, 항상 켜져 있고 긴 시간축으로 동작하는 태스크를 독립적인 방식으로 다루기 위해 새로운 접근이 필요하다는 문제의식이 제기된다. 이 발표는 고객 규모에 맞게 확장 가능한 방식으로 이러한 아이디어를 제품화하는 방법을 다룬다.
2. 1:03
   자동 연구를 위한 청사진 2026년 이후의 자동 연구는 세 가지 핵심 아이디어로 정리된다. 첫째는 루프를 제품으로 보는 관점이고, 둘째는 시스템을 증류해 재사용 가능한 모아두기를 만드는 관점이며, 셋째는 전력 대비 가치 있는 작업을 최적화하는 관점이다.
3. 1:13
   루프가 곧 제품이다 모델 성능 향상에서 하네스 중심의 관점으로 이동한 뒤, 이제는 코드 자체보다 실행 루프를 설계하는 것이 중요해졌다는 흐름이 강조된다. 핵심은 모델이나 코드보다도, 실제로 반복 실행되는 과정이 곧 제품의 본체가 된다는 점이다.
4. 1:48
   OpenClaw의 첫 루프 OpenClaw를 이용해 자동차 가격 협상을 자동화한 사례가 초기 루프의 전형으로 제시된다. Reddit에서 가격과 재고를 찾고, 딜러들을 경쟁시키며, 검증 가능한 기준으로 적정 가격을 확인한 뒤 계약을 성사시키는 구조가 하나의 제품이 될 수 있음을 보여준다.
5. 3:03
   OODA 루프 모델과 에이전트는 관측하고 행동하는 OODA 루프의 관점에서 이해할 수 있으며, 빠르게 변하는 환경에서 반복적으로 반응하는 구조와 닮아 있다. 강한 신호와 검증 가능한 작업이 양쪽 끝에 놓일 때 루프의 성과가 크게 달라진다.
6. 3:38
   신호와 검증기 루프의 성공률은 신호의 품질에 달려 있고, 검증기의 품질은 그 성공이 실제로 맞는지 판별하는 능력을 좌우한다. 좋은 신호와 좋은 검증이 함께 있어야 worker나 cloud code agent가 안정적으로 동작한다.
7. 4:08
   루프를 다시 루프에 넣기 첫 번째 루프에서 나온 산출물을 다시 입력으로 사용해 두 번째 루프를 돌리는 구조가 지속적 개선의 핵심이다. 결과적으로 한 번의 실행이 끝이 아니라, 다음 실행을 더 잘하게 만드는 재료가 되어야 한다.
8. 4:23
   시스템 증류는 해자다 첫 번째 루프에서 무엇이 잘됐고 무엇이 잘못됐는지를 이해해 두 번째 루프에 반영하는 능력이 경쟁 우위가 된다. 하네스, 프로필, eval, 모델, 자원, 도구, 환경에서 나온 정보를 포터블하고 버전 관리 가능한 형태로 유지하는 것이 중요하다.
9. 5:03
   AI 시스템을 위한 레시피 연구에서의 data recipe처럼, AI 시스템도 하루아침에 정해진 것이 아니라 반복을 통해 레시피가 다듬어진다. 환각이나 reward hacking 같은 문제를 다루기 위해, 평가와 인간 판단, 튜닝 내역을 포함한 재현 가능한 레시피가 필요하다.
10. 5:47
    에이전트 레시피: 재현 가능한 최전선 시스템 에이전트 레시피는 특정 플랫폼이나 제공자에 종속되지 않고, 시간이 지나며 더 나아지는 재현 가능한 최전선 AI 시스템을 만들게 해준다. 실패 패턴은 judges와 evals로, 반복 행동은 skills와 prompts로, 사용자 불만은 하네스의 일부로 흡수되어야 한다.
11. 6:53
    Introspection과 Pi 레시피 Introspection은 시스템을 성찰해 레시피를 생성하는 방식으로 이해된다. Pi harness와 Harbor for evals를 기반으로 Git repo에 버전 관리하며, 제작자의 취향과 판단 기준을 에이전트가 점진적으로 학습하고 모방하도록 설계한다.
12. 9:17
    와트당 가치 있는 작업 좋은 시스템은 단순히 잘 동작하는 것을 넘어, 얼마나 가치 있는 일을 얼마나 적은 전력과 비용으로 수행하는지가 중요하다. Code 분야에서 시작된 이 관점은 고객지원, 법률 리서치 등 다른 영역으로 확장될 수 있으며, 경제성이 최종 기준이 된다.
13. 10:47
    취향을 eval로 코드화하기 평가란 단순한 테스트가 아니라 제작자의 취향을 에이전트가 재현하고 자기 개선할 수 있게 만드는 장치로 다뤄진다. 취향을 eval로 옮기고 실험으로 검증해 weights에 반영하는 과정이 핵심이며, 이를 포터블하게 만드는 방법이 아직 큰 과제다.
14. 12:12
    인재 소싱 에이전트 예시 talent sourcing agent를 예시로, web search와 LinkedIn, 서브에이전트를 조합한 기본 하네스에서 시작해 신호를 이해하는 과정이 설명된다. 좋은 채용은 단순히 유명 인물을 찾는 것이 아니라 숨은 인재를 찾는 것이며, 이 기준이 이후의 평가와 개선을 이끈다.
15. 13:17
    트레이스에서 패턴 찾기 트레이스를 분석해 공통 행동과 사용자 불만을 묶어내면, 에이전트가 반복적으로 저지르는 편향을 발견할 수 있다. 예를 들어 대형 기술회사 직원에게만 접근하는 경향을 패턴으로 잡아내면, 다음 단계의 판단 기준을 만들 수 있다.
16. 14:07
    사람이 함께하는 판정 보정 에이전트가 패턴을 찾아 judges와 eval을 생성하되, 사람은 그 판단 기준에 동의하는지 보정하는 역할을 맡는다. 인간은 eval을 직접 전부 만들기보다, 에이전트가 만든 기준이 제작자의 취향과 맞는지 검증하는 데 집중해야 한다.
17. 15:12
    프로덕션에서 취향을 A/B 테스트하기 오프라인 eval이 좋더라도 최종 검증은 프로덕션에서 사용자 반응으로 이뤄져야 한다. A/B 테스트나 multi-arm bandit으로 사용자들이 그 취향을 실제로 가치 있게 여기는지 확인한 뒤에만 다음 버전의 agent recipe로 승격할 수 있다.
18. 16:47
    핵심 정리 루프 자체를 제품으로 보고, 시스템 증류를 통해 취향과 판단을 레시피로 축적하며, 와트당 가치로 성과와 경제성을 동시에 측정해야 한다는 결론이 제시된다. 결국 지속적으로 자기 개선하는 에이전트와 그 제품화 방식이 앞으로의 핵심 경쟁력이 된다.

실무 인사이트

• 에이전트 제품은 모델 성능보다 루프 설계가 더 중요하므로, 실행 결과를 다음 평가와 개선으로 되돌리는 구조를 먼저 정의해야 한다.
• 좋은 eval은 단순 정확도 지표가 아니라 제작자의 취향을 재현하는 기준이므로, 인간은 기준을 직접 만드는 사람보다 기준을 보정하는 사람으로 배치하는 편이 효율적이다.
• 프로덕션에서 사용자 반응과 경제성을 함께 검증해야만 진짜 경쟁력이 생기므로, 오프라인 성능이 아니라 가치/비용 비율을 제품 승격 기준으로 삼는 것이 좋다.