Harness Engineering: Building the Production Cage for Powerful Domain Agents — Mike Chambers, AWS

한 줄 핵심

이 영상은 에이전트를 실제 운영 환경에서 안전하고 확장 가능하게 만들려면 모델 자체보다 메모리, 도구, 실행 루프, 배포, 관측성을 분리해 관리하는 하네스 엔지니어링이 핵심이라고 주장한다.

시간별 요약

1. 0:00
   자기소개와 여기까지 온 과정 Mike Chambers는 AWS의 Senior AI Specialist Developer Advocate로서 Generative AI 교육, MCP Lambda handler 제작, Aentka Foundation 관련 작업 등을 거쳐 이 자리에 왔다. 이번 발표는 하네스 엔지니어링을 실제 코드와 함께 보여주겠다는 예고로 시작된다.
2. 2:45
   두 종류의 에이전트: 사용하는 것과 만드는 것 Claude Code, Cursor 같은 도구는 우리가 사용하는 에이전트이고, 서비스나 제품으로 직접 만드는 에이전트는 별도로 다뤄야 한다. 사용하는 에이전트는 편의성과 생산성이 중요하지만, 만드는 에이전트는 대상 사용자와 목적에 맞게 신중하게 구성해야 한다.
3. 4:24
   빼기로 정의하는 하네스 하네스는 모델을 제외한 나머지, 즉 모델을 제어하고 둘러싸는 구조 전체로 이해할 수 있다. 다른 해석도 있지만, 결국 에이전트에서 모델을 떼어냈을 때 남는 메모리, 도구, 정책, 연결부가 하네스의 핵심이다.
4. 5:16
   코딩 보조 도구를 둘러싼 하네스 개인이 쓰는 코딩 보조 에이전트에는 파일 접근, 메모리, 기술 스킬, MCP 서버 연결이 포함된 하네스가 붙는다. 조직 차원에서는 예전의 코딩 표준처럼 이제는 모든 보조 도구에 적용할 하네스 표준을 정하게 된다.
5. 6:07
   더 이상 슬롭 옵스는 안 된다 운영 환경에서 에이전트에게 콘솔을 직접 만지게 하는 식의 'slop ops'는 피해야 한다. 에이전트는 상태를 묻고 설명을 돕는 데는 유용하지만, S3 버킷이나 EC2 인스턴스를 즉흥적으로 만들게 하기보다 Infrastructure as Code를 생성하도록 유도해야 한다.
6. 6:57
   만드는 에이전트에 필요한 것 직접 만드는 에이전트는 메모리와 도구뿐 아니라 루프, 결제, ID, 런타임, 컨텍스트 관리, 관측성, 평가까지 함께 설계해야 한다. 수천 명 규모로 배포하려면 이 구성요소들을 한 컨테이너에 뭉치는 대신 각각 독립적으로 확장 가능하게 만들어야 한다.
7. 8:38
   도구를 갖춘 기본 에이전트 라이브 코딩 Strands agents SDK로 만든 가장 단순한 에이전트는 system prompt와 몇 개의 tool만으로 구성되며, 루프는 프레임워크가 처리한다. 다만 이 형태는 로컬에서만 동작하므로 대규모 배포나 운영에 필요한 요소는 아직 부족하다.
8. 10:16
   세션 관리자와 메모리 추가하기 session manager를 넣으면 이전 대화 상태를 다시 불러와 짧은 기억과 중간 수준의 기억을 유지할 수 있다. remember tool과 파일 저장을 통해 사용자의 선호를 반영하고, 재접속 시에도 맥락을 이어가는 동작을 확인한다.
9. 12:50
   AgentCore CLI로 배포하기 Bedrock AgentCore CLI는 에이전트 생성을 단계적으로 안내하며 Python/TypeScript, 연결 방식, 모델, memory 같은 옵션을 선택하게 한다. long-term과 short-term memory를 별도 클라우드 인프라로 배포하도록 설정할 수 있어 실행 에이전트와 저장 계층이 분리된다.
10. 15:18
    멀티테넌트 코드를 직접 쓰지 않고 수평 확장하기 AgentCore가 붙은 에이전트는 런타임에서 멀티테넌트 격리와 확장을 지원하므로, 사용자별 분리 로직을 직접 작성하지 않아도 된다. MCP 연결, session manager, memory, 테스트 도구까지 포함한 구성이 배포 대상에 함께 묶인다.
11. 16:59
    실행 중인 에이전트와 대화하기: 로컬과 배포 환경 agentcore dev는 로컬 에이전트에 웹 브라우저로 붙어 실시간으로 대화하고 코드 변경을 즉시 확인하게 해준다. agentcore deploy는 traces와 저장된 memory를 보며 디버깅할 수 있는 운영 환경을 제공한다.
12. 18:40
    건너뛴 하네스 옵션 AgentCore에는 하네스 자체를 간단한 JSON 설정으로 처리하고, 에이전트 코드 없이도 배포할 수 있는 옵션이 있다. 이미 운영 중인 에이전트도 long-term memory 같은 구성요소만 선택적으로 가져와 붙일 수 있는 조합형 구조가 핵심이다.

실무 인사이트

• 운영용 에이전트는 모델 성능보다도 메모리, 도구, 권한, 관측성, 배포 단위를 분리 설계하는지가 더 중요하다.
• 에이전트가 실제 변경 작업을 수행할 때는 직접 실행보다 Infrastructure as Code 생성과 검증을 기본 경로로 두는 편이 안전하다.
• 처음부터 거대한 에이전트를 만들기보다, 로컬 단순형 → 세션/메모리 추가 → 클라우드 배포 → 부분적 하네스 분리 순으로 확장하면 리스크를 줄일 수 있다.