Brains vs Hands: How to Run AI Agents Safely in Production — Viren Baraiya

한 줄 핵심

프로덕션 AI 에이전트는 모델 자체보다 실행을 책임지는 하네스가 핵심이며, 결정론적 워크플로와 비결정론적 계획을 분리해야 안전하게 운영할 수 있다.

시간별 요약

1. 0:00
   소개 프로덕션에서 에이전트를 안전하게 운영하는 방법, 특히 하네스가 왜 중요한지에 초점을 맞춘다.
2. 0:47
   프로덕션에서 에이전트를 누가 운영하는가? 이미 많은 사람들이 에이전트를 프로덕션에 올리고 있으며, 이제는 실험이 아니라 운영 관점의 문제가 핵심이 되었다.
3. 1:12
   헬로월드 에이전트를 넘어 도구 호출과 메모리, 계획만 있는 단순한 챗봇형 예시는 에이전트의 아주 좁은 일부에 불과하다.
4. 1:52
   백그라운드·스케줄·이벤트 기반 에이전트 에이전트는 백그라운드 작업, 정기 실행, 이벤트 감지처럼 비대화형 업무를 처리하는 형태로 훨씬 넓게 활용된다.
5. 2:27
   조정자와 멀티 에이전트 시스템 장시간 동작하는 에이전트를 감독하는 조정자와, 서로 대화하는 여러 에이전트의 분업 구조가 필요하다.
6. 3:02
   에이전트는 구성요소가 아니라 애플리케이션이다 프로덕션에서 에이전트는 하나의 기능 부품이 아니라 목표를 달성하는 전체 애플리케이션으로 봐야 한다.
7. 3:12
   마이크로서비스에서 얻는 교훈 하나가 모든 일을 하는 마이크로서비스가 아닌 것처럼, 에이전트도 단일 책임을 가진 여러 단위와 오케스트레이션으로 구성되어야 한다.
8. 4:22
   하네스가 곧 애플리케이션이다 에이전트의 가치를 실제로 완성하는 것은 실행을 제어하는 하네스이며, 데이터베이스·내부 시스템·인간·툴이 함께 작동하는 애플리케이션이 된다.
9. 5:02
   결정론과 비결정론의 분리 LLM의 추론은 비결정론적이지만, 결제나 클러스터 재시작 같은 중요한 작업은 하네스가 결정론적으로 처리해야 한다.
10. 6:02
    하네스는 몇 초부터 몇 달까지 실행된다 하네스는 짧게는 수초, 길게는 수개월 이상 동작하며 외부 이벤트나 인간 승인 같은 느린 흐름을 기다리는 구조를 가져야 한다.
11. 6:41
    내구성은 기본 전제다 장시간 실행되는 시스템은 장애, 네트워크 문제, 분할 상황에서 복구할 수 있어야 하며, 내구성은 선택 기능이 아니라 입장권 같은 기본 요구사항이다.
12. 7:26
    루프의 동작 방식 하네스는 현재 상태, 완료된 작업, 기록된 부작용을 바탕으로 다음에 무엇을 해야 할지 판단하며, 여기서 LLM이 계획을 만든다.
13. 8:21
    에이전트는 계획하고, 하네스는 실행한다 비결정론적 에이전트의 역할은 다음 행동을 계획하는 것이고, 실제 실행과 절차 보장은 하네스가 맡아야 한다.
14. 9:21
    인간 승인 게이트 프로덕션 클러스터 재시작처럼 위험한 작업은 Slack 같은 채널을 통한 인간 승인 단계를 반드시 포함해야 한다.
15. 9:41
    멱등성과 부작용 작업은 가능하면 멱등적으로 설계하고, 불가능하다면 비멱등성과 부작용을 명시적으로 기록해 별도로 처리해야 한다.
16. 9:56
    두뇌와 손 LLM은 두뇌로서 계획을 만들고, 하네스는 손으로서 그 계획을 실제로 집행하는 구조가 가장 명확하다.
17. 10:21
    지연 결합된 saga 에이전트 하네스는 실행 시점에 계획이 구체화되는 지연 결합된 saga처럼 동작하며, 기존 워크플로의 가시성과 제어성을 가져간다.
18. 11:21
    모든 가능한 분기 도구와 경로가 늘어날수록 가능한 실행 조합이 폭발적으로 늘어나므로, 에이전트는 사람이 미리 다 설계하기 어려운 분기들을 동적으로 다룬다.
19. 11:51
    SRE 에이전트 데모 SRE 에이전트가 장애의 원인을 파악하고, 로그와 메트릭을 검토한 뒤 롤백과 복구 검증을 포함한 대응 계획을 만든다.
20. 13:31
    계획을 워크플로로 컴파일 에이전트가 만든 계획은 conductor 기반의 결정론적 워크플로로 컴파일되어, 실제 실행 가능한 형태로 바뀐다.
21. 14:16
    두 번째 루프 데모 첫 루프의 결과를 반영해 다음 루프가 재계획하고, 이미 처리된 단계는 건너뛰면서 여러 번 반복 실행되는 구조를 보여준다.
22. 15:56
    Conductor, 오픈 소스 이 방식은 오픈 소스 워크플로 오케스트레이션 플랫폼 Conductor로 구현할 수 있으며, 다양한 에이전트와 장기 실행 루프를 지원한다.

실무 인사이트

• 프로덕션 에이전트는 모델 품질보다 실행 책임의 경계가 더 중요하므로, 계획은 LLM에 맡기고 실행·재시도·승인은 하네스 코드로 고정하는 구조가 안전하다.
• 장시간 에이전트 운영에서는 내구성, 멱등성, 부작용 기록이 기본 설계 항목이므로, 처음부터 장애 복구와 감사 가능성을 워크플로에 넣어야 한다.
• 에이전트를 도입할 때는 단일 챗봇이 아니라 목표별 애플리케이션과 오케스트레이션 문제로 보고, 인간 승인과 이벤트 기반 트리거까지 포함한 운영 흐름을 설계해야 한다.