Your AI Agent Is Hiding Its Mistakes From You - Ben Holmes, Warp

한 줄 핵심

에이전트가 남긴 대화·도구 사용·산출물을 일관되게 수집해 평가하고, 그 결과를 바탕으로 스스로 설정과 스킬을 개선하는 피드백 루프를 만들면 시간이 갈수록 에이전트 품질이 실제로 올라간다.

시간별 요약

1. 0:00
   도입 Warp의 DevEx 엔지니어링 리드가 에이전트가 과거 작업을 되돌아보고 자기 설정을 개선하는 자기개선형 에이전트의 개념을 소개한다. 핵심은 소프트웨어 팩토리 안에서 에이전트의 작업을 분석해 더 나은 성능으로 이어지게 만드는 것이다.
2. 0:55
   소프트웨어 팩토리의 개념 소프트웨어 팩토리는 소프트웨어 개발 생명주기를 여러 에이전트의 분업과 인계로 자동화한 구조다. 단순 자동화보다 중요한 것은 그 위에서 시스템이 더 효율적으로 돌도록 만드는 메타 수준의 엔지니어링이다.
3. 1:59
   팩토리 자체를 엔지니어링하기 팩토리 엔지니어링은 에이전트를 구동하는 시스템 자체를 개선하는 작업이며, 특히 스킬과 설정을 다듬는 데 초점이 맞춰진다. 코드 아키텍처나 정적 분석도 중요하지만, 이 영상의 주제는 에이전트 스킬과 구성의 개선이다.
4. 2:40
   자기개선 루프 에이전트가 과거 대화를 다시 보고, 별도의 평가 에이전트가 효율성·코드 품질·테스트 커버리지 같은 기준으로 점수를 매긴다. 실패 사례를 모아 원인을 찾고, 그 결과를 바탕으로 개선 제안을 생성한 뒤 다시 평가하는 순환 구조가 핵심이다.
5. 3:24
   에이전트 대화를 한곳에 모으기 대화를 평가하려면 팀 전체의 에이전트 작업이 한곳에 모여 있어야 한다. 로컬 환경의 폴더를 모으는 방식도 있지만, 공유 컴퓨터나 격리된 샌드박스처럼 처음부터 중앙화된 실행 환경이면 관찰과 개선이 훨씬 쉬워진다.
6. 5:08
   무엇을 수집할지 정하기 평가용 trace에는 대화 기록만이 아니라 도구 호출, 파일 시스템 작업, MCP 연결, 출력물까지 포함되어야 한다. 특히 transcript, tool calls, output 이 세 가지가 있어야 에이전트의 행동과 결과를 함께 평가할 수 있다.
7. 6:00
   중복 테스트 점수화 에이전트가 불필요하게 많은 테스트를 쓰는 경향은 흔한 실패 패턴이다. 테스트 전략의 기준이 팀마다 다르므로, 중복 테스트 여부를 별도 점수로 두고 과도한 단위 테스트나 불필요한 테스트 생성을 식별할 수 있다.
8. 6:55
   장황함 점수화 에이전트의 설명이나 코드 주석이 너무 길면 리뷰 속도가 느려지고 변경 사항 이해가 어려워진다. 메시지와 코드 주석에서의 과도한 장황함을 같은 성격의 문제로 보고, 커뮤니케이션 효율을 점수화할 수 있다.
9. 7:52
   효율성 점수화 도구 호출과 MCP 호출 로그를 보면 에이전트가 정답에 빨리 도달했는지, 아니면 시행착오를 반복했는지 알 수 있다. 겉으로는 성공처럼 보여도 내부적으로는 많은 실패 호출을 거쳤을 수 있으므로 효율성은 중요한 평가 축이다.
10. 8:57
    평가 루브릭 작성 평가 기준은 markdown 형태의 루브릭으로 정의할 수 있으며, 성공과 실패의 경계를 명확히 적어두는 것이 중요하다. 효율성처럼 비교적 정의가 쉬운 항목은 간단한 기준만으로도 평가가 가능하며, 처음에는 짧은 규칙부터 시작하는 편이 실용적이다.
11. 10:41
    실제 대화 채점하기 실제 PR 단위 대화를 무작위 또는 전수로 골라 기준별로 채점하면, 어떤 항목에서 실패가 반복되는지 데이터가 쌓인다. 테스트, 장황함, 효율성처럼 각 기준별 판정과 실패 이유를 함께 남겨야 이후 개선에 활용할 수 있다.
12. 12:51
    매일 개선안을 제안하는 에이전트 하루 단위로 최근 대화 중 실패 사례만 모아 자기개선 에이전트에 넘기면 공통 패턴을 찾고 수정 제안을 만들 수 있다. 예를 들어 중복 테스트가 많으면 coverage pyramid를 추가하고, 환경 이해가 부족하면 스킬 지침을 보강하는 식으로 개선한다.
13. 13:47
    실험해보기: Skill Doctor Skill Doctor는 기존 에이전트 대화를 한 번 훑어보며 점수를 매기고 개선점을 찾아주는 도구다. 실제로 어떤 스킬이 약한지, 특히 포트 번호 찾기나 changelog 작성처럼 반복되는 문제를 즉시 드러내는 데 유용하다.
14. 16:14
    시간에 따른 점수 추적 점수를 대시보드로 누적하면 변경 전후의 성능 변화를 확인할 수 있다. 특정 스킬을 머지한 시점 이후 효율성이 올랐는지처럼, 개선 작업이 실제 결과로 이어졌는지 추적하는 증거가 된다.
15. 17:59
    Warp의 자기개선 PR Warp Factories에서는 계속 채점된 결과를 바탕으로 개선 PR을 제안하는 대시보드를 운영한다. 실제 사례로 triage 스킬의 설정 누락을 찾아내고 sub-agents 생성 문제를 해결하는 등, 운영 중인 에이전트의 품질과 효율을 꾸준히 높이고 있다.

실무 인사이트

• 에이전트 품질 개선은 프롬프트 수정만으로 끝나지 않으며, trace 수집·평가 루브릭·개선 제안까지 이어지는 운영 루프가 있어야 재현성 있게 작동한다.
• 실무에서는 테스트 과다, 장황한 설명, 비효율적 도구 호출처럼 자주 반복되는 실패 패턴부터 점수화하면 가장 빠르게 개선 효과를 볼 수 있다.
• 점수는 단순 기록이 아니라 변경의 효과를 검증하는 지표로 써야 하며, 시간축 대시보드가 있어야 어떤 설정 변경이 실제 성능 향상으로 이어졌는지 확인할 수 있다.