AI Agents Are Just Distributed Systems Now — Salman Munaf, TikTok

한 줄 핵심

AI 에이전트는 더 이상 단순한 모델이 아니라 외부 시스템에 부작용을 남기는 분산 시스템이므로, 성공보다 실패·재시도·권한·복구를 중심으로 설계해야 안전하게 운영할 수 있다.

시간별 요약

1. 0:00
   시스템적 사고가 막았을 두 가지 사고 AI 에이전트가 외부 시스템을 건드리기 시작하면 잘못된 출력이 아니라 실제 사고가 발생한다. production database 삭제나 잘못된 환불처럼, 백업·권한 제한·정확한 source of truth 조회를 두면 상당수 사고를 예방할 수 있다.
2. 2:33
   아키텍처 경계가 모델 밖으로 나간 순간 LLM이 텍스트를 주고받는 수준을 넘어 tool 호출과 상태 변경을 수행하면서, 아키텍처의 경계는 모델 바깥으로 이동했다. 이제는 에이전트가 어떤 외부 시스템, 상태, 자격 증명, 행동 권한을 가지는지가 핵심 설계 요소다.
3. 3:46
   확률적 조정자로서의 에이전트 에이전트는 여러 단계 워크플로를 조율하지만, 전통적 서비스처럼 결정적이지 않고 행동 범위와 결과가 확률적으로 흔들린다. 그래서 중요한 작업은 반드시 deterministic controls로 감싸서 위험한 행동이 밖으로 새지 않게 해야 한다.
4. 4:57
   루프의 모든 단계는 경계를 넘는다 계획, 실행, 관찰, 저장, 다음 결정의 각 단계는 모두 데이터 소스, API, database, 기록 저장소 같은 경계를 넘는다. 각 단계를 persist하고 실패 지점을 추적하며, 되돌릴 수 있는 compensation과 explicit transaction을 정의해야 한다.
5. 7:19
   타임아웃은 실패가 아니라 미확인 상태다 원격 호출에서 timeout이 발생해도 실제로 작업이 실패했다는 뜻은 아니며, 이미 성공했지만 응답만 못 받은 상태일 수 있다. 에이전트는 이 불확실성을 실패로 오인하지 않도록 설계되어야 하며, 특히 환불 같은 부작용 작업에서는 더 조심해야 한다.
6. 8:32
   Idempotency key와 상태 조회 중복 요청이 동일한 부작용을 반복하지 않도록 request id와 idempotency key를 넣어야 한다. 또한 이전 요청의 상태를 조회할 수 있어야 재시도 시에도 중복 side effect 없이 안전하게 이어갈 수 있다.
7. 9:42
   재시도 폭주, backoff, 예산 에이전트의 기본 반응이 재시도라면 external API를 압박해 연쇄 장애를 만들 수 있다. 그래서 max turns, max parallel calls, max spend 같은 예산과 exponential backoff, 필요한 compensation operation이 함께 있어야 한다.
8. 10:57
   행동에 영향을 주는 컨텍스트는 상태다 에이전트의 컨텍스트가 다음 행동에 영향을 주는 순간 그것은 단순한 문맥이 아니라 상태다. short-term memory와 long-term memory를 구분하고, conflicting data가 생기면 memory를 cache처럼 취급해 source of truth 갱신 시 무효화해야 한다.
9. 12:08
   메모리를 캐시로 다루기 멀티스텝 작업이 중간에 실패하면 내부 ticket 수정, 이메일 발송, CRM 갱신처럼 여러 시스템에 걸친 작업 전체를 되돌려야 할 수 있다. 잘못 보낸 이메일처럼 이미 외부에 나간 부작용에는 정정 메일이나 사과 메일 같은 명시적 보상 행동을 정의해야 한다.
10. 13:19
    시스템을 가로지르는 보상 행동 에이전트는 실패 시 재시도 루프를 돌 수 있으므로, downstream이 불안정할 때는 circuit breaker로 호출을 차단해야 한다. 또한 rate limit과 budgets를 둬서 장애 전파와 과도한 비용 증가를 막아야 한다.
11. 14:36
    circuit breaker, rate limit, 상한선 max turns, max parallelism, max spend 같은 상한은 에이전트가 정해진 budget boundary를 넘지 못하게 하는 핵심 안전장치다. 동시에 broad permission 대신 read/write 분리와 allow list를 적용해, 할 수 있는 일 자체를 줄여야 한다.
12. 15:43
    전면 권한보다 범위 제한된 자격 증명 모든 권한을 한 번에 주면 harmless model도 unsafe operation을 수행하는 위험한 주체가 될 수 있다. 승인 역시 action, timestamp, actor, expiration에 묶어야 하며, $30 refund 승인이 $300 refund로 확장되지 않게 해야 한다.
13. 16:51
    로그만으로는 충분하지 않다 에이전트 실패를 재구성하려면 model, prompt, tool call, request/response, error, retrieved context, approval까지 추적해야 한다. logs만으로는 왜 그런 행동을 했는지 알기 어렵기 때문에 observability와 trace가 필수다.
14. 19:20
    틀렸을 때 시스템이 무엇을 허용하는가 좋은 모델은 실수를 줄이지만 network failures, stale data, adversarial input을 없애지는 못한다. 결국 핵심은 에이전트가 틀렸을 때도 무엇을 할 수 있고, 무엇을 못 하게 막았으며, 어떻게 복구할 수 있는지다.

실무 인사이트

• 에이전트 설계는 모델 성능보다 부작용 통제, 재시도 정책, 권한 범위, 복구 경로를 먼저 정하는 쪽이 실무적으로 안전하다.
• tool 계약에 idempotency, 상태 조회, 명시적 compensation을 포함하면 timeout과 중복 호출이 많은 실제 환경에서 장애를 크게 줄일 수 있다.
• 에이전트 메모리는 진실의 원천이 아니라 cache로 보고, source of truth가 바뀌면 즉시 무효화하는 운영 규칙을 두는 것이 중요하다.