Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4) — Anthropic

한 줄 핵심

Claude Managed Agents를 운영할 때는 YAML 기반 배포·평가·워크스페이스 분리·서브에이전트 구성을 통해 장기 운영, 멀티테넌시, 도구 연동을 체계적으로 관리할 수 있다.

시간별 요약

1. 0:00
   에이전트 설정의 CI/CD 장기적으로 유지할 에이전트 리소스는 YAML로 코드에 두고, Ancho CLI로 API를 감싸 Terraform처럼 배포를 자동화할 수 있다. 내부에서도 필요한 경우 이런 방식으로 리소스를 체크인해 변경 사항을 지속적으로 반영한다.
2. 1:10
   커스텀 도구 대기 중 메시지 처리 커스텀 도구 결과를 기다리는 동안에는 실행이 일시 중단되므로 메시지 전송이 허용되지 않고, 보내면 400이 반환된다. 다만 모델이 다른 작업을 수행 중일 때는 메시지를 큐에 쌓을 수 있다.
3. 2:06
   다른 워크숍 저장소 다른 워크숍 자료는 Code with Cloud 컨퍼런스와 YouTube에 공개된 강연들에서 찾을 수 있다. 현재 저장소만으로도 전체 흐름을 이해하기에 충분하며, 다른 행사 버전과도 구조가 비슷하다.
4. 2:45
   Anthropic의 평가 방식 새 모델이나 새 기능이 나올 때마다 대규모 eval을 돌려 하네스 가정과 프롬프트를 계속 조정한다. 좋은 평가를 위해서는 먼저 고품질 데이터셋을 만들고, 과거 세션을 기준으로 점수화하며, 문제 정의를 명확히 하는 것이 중요하다.
5. 4:42
   조직 내 리소스 공유 에이전트와 관련 리소스는 워크스페이스 단위로 묶이며, 조직 관리자가 접근 권한과 워크스페이스를 설계한다. 세밀한 공유 제어는 플랫폼 차원에서 자동 제공되기보다, 빌더가 통합 로직으로 부분 공유를 구현하는 방식에 가깝다.
6. 6:29
   에이전트가 작성한 코드 검토 PR마다 여러 세션과 서브에이전트를 돌려 변경점을 평가하고 버그를 찾는 방식으로 코드 리뷰 병목을 줄일 수 있다. 에이전트가 수정한 뒤에는 샌드박스나 자동 배포 환경에서 직접 실행·검증시키는 흐름이 함께 필요하다.
7. 8:48
   테넌트 격리 엔터프라이즈 고객별로 에이전트, 워크스페이스, 심지어 조직을 분리해 데이터 격리를 구성할 수 있다. 어느 수준의 격리를 선택할지는 규제나 계약상의 요구에 따라 결정하면 된다.
8. 9:54
   하나의 에이전트와 여러 고객 같은 에이전트 정의를 여러 고객에게 배포하려면 코드의 단일 정의를 여러 워크스페이스에 동기화하거나, 하나의 조직 안에서 세션별 고객 매핑을 유지하면 된다. 고객 간 데이터 분리가 필요하다면 결국 워크스페이스를 분리해야 한다.
9. 12:10
   커스텀 컴퓨팅과 GPU 기본 제공 샌드박스는 동일한 자원 구성이므로, 더 큰 메모리나 GPU가 필요하면 Modal 같은 외부 제공자의 self-hosted sandbox를 사용해야 한다. 문서와 cookbook을 통해 Modal, EB2, Daytona 같은 서비스와 연동할 수 있다.
10. 13:20
    멀티플레이어 Slack 에이전트 스레드별 세션 매핑과 user.message 주입을 통해 여러 사용자가 같은 에이전트와 독립적으로 상호작용하는 Slack형 멀티플레이어 구성을 만들 수 있다. 필요하면 세션 간 메모리를 공유하거나, 채널별로 별도 에이전트를 두어 메시지 범위를 제한할 수 있다.
11. 14:34
    매우 오래 실행되는 세션 종료 기준을 명확히 정의하면 Claude는 수 시간짜리 작업도 계속 반복하면서 목표를 만족할 때까지 진행한다. 진행 상태는 session 이벤트 스트림이나 events API로 확인하고, 필요하면 상태 업데이트용 커스텀 도구를 둘 수 있다.
12. 16:30
    커스텀 도구를 위한 코디네이터 패턴 메인 에이전트가 항상 응답 가능해야 한다면 커스텀 도구 처리는 서브에이전트에 맡기고, 메인 코디네이터가 이를 위임하는 구조가 적합하다. 서브에이전트가 도구를 사용해도 같은 코어 세션 안에서 동작하므로 메인 흐름은 유지된다.
13. 18:30
    마무리 발표는 여기서 끝나며, 추가 질문은 행사장 밖에서 이어서 받을 수 있다. 전체적으로 Managed Agents 운영의 핵심은 배포 자동화, 평가, 권한 분리, 그리고 서브에이전트 오케스트레이션이다.

실무 인사이트

• 장기 운영용 에이전트는 프롬프트만이 아니라 YAML·CI/CD·워크스페이스 분리까지 함께 설계해야 배포와 통제가 쉬워진다.
• 평가 품질은 하네스보다 데이터셋 품질에 더 크게 좌우되므로, 실제 세션 로그를 기반으로 평가 데이터를 먼저 정리하는 것이 효과적이다.
• 멀티테넌시와 장시간 실행이 필요한 경우에는 단일 에이전트보다 코디네이터-서브에이전트 구조와 세션/워크스페이스 매핑 전략이 운영 안정성을 높인다.