How to Know When an AI Agent Can Work Unsupervised — Evan Kormos, Coinbase

한 줄 핵심

에이전트를 무조건 자율화하기보다 정책을 기준으로 워크플로를 DAG로 나누고, 검증 가능한 노드부터 평가 신뢰도를 쌓아가며 점진적으로 비감독 운영 범위를 넓혀야 한다.

시간별 요약

1. 0:00
   정책은 원래의 시스템 프롬프트 조직의 정책은 일 처리 규칙과 위험·컴플라이언스 기준을 담은 원래의 시스템 프롬프트처럼 작동하며, 실제 실행 중인 시스템과는 분리해서 봐야 한다. 에이전트는 사람, 프로세스, 기술 전반을 가로지르는 운영 모델로서 정책의 범위 안에서 일한다.
2. 2:53
   에이전트가 놓이는 자리: 사람, 프로세스, 기술 에이전트는 사람과 협업하면서도 프로세스의 일부를 직접 수행하고, 기술 스택 위에서 동작하는 존재로 이해해야 한다. 특히 프로세스와 만나는 지점에서 어떤 일을 맡길지, 경계를 어디에 둘지, 결과를 어떻게 신뢰할지 정해야 한다.
3. 3:49
   워크플로를 DAG로 보기 승인, 검증, 배포처럼 방향성과 게이트가 있는 업무는 DAG로 표현하면 의존성과 병렬화 가능 지점을 명확히 볼 수 있다. 독립적으로 검토할 수 있는 단계는 병렬로 돌리고, 필요한 통제는 그대로 유지하는 방식이 효율적이다.
4. 5:31
   노드 안쪽의 루프 워크플로의 한 노드 안에서는 코드 리뷰처럼 반복 피드백을 받고 기준을 만족할 때까지 돌리는 루프가 동작한다. 이러한 내부 구조는 DCG로 볼 수 있으며, LangChain LangGraph 같은 도구가 상태 관리를 돕는다.
5. 7:16
   예외 흐름과 병목 모든 일이 정상 경로로만 흐르지 않기 때문에 취소, 보안 미달 같은 예외 흐름을 따로 다뤄야 한다. 에이전트로 처리량이 늘면 병목이 다른 지점으로 이동하므로, 워크플로 도구보다 전체 프로세스 가시성과 지표 관리가 더 중요해진다.
6. 8:59
   좋은 입력이 좋은 출력을 만든다 에이전트의 성능은 입력의 품질에 크게 좌우되며, 신뢰할 수 있는 컨텍스트를 주고 DAG 상태까지 주입하면 더 나은 판단이 가능해진다. 긴 시간축 목표까지 넣으면 루프의 효율과 비용 최적화가 더 중요해진다.
7. 10:43
   루프는 검증만큼만 신뢰할 수 있다 반복 횟수가 많다고 결과가 좋아지는 것은 아니며, 무엇이 ‘충분히 좋은지’를 판정하는 검증이 핵심이다. 전통적 소프트웨어의 테스트와 unit tests처럼, 에이전트도 신뢰를 주는 체크 메커니즘이 있어야 한다.
8. 11:47
   평가를 신뢰 메커니즘으로 쓰기 에이전트는 확률적이어서 같은 요청에도 다른 답이 나올 수 있으므로, 단순한 정답 비교만으로는 부족하다. 대표성 있는 데이터셋과 반복 평가, 통계적 분석, traces를 통해 무엇이 좋은 출력인지 정의해야 한다.
9. 12:39
   에이전트가 맡을 단계 고르기 각 노드마다 정책으로 쉽게 확인할 수 있는지, bounded loop로 돌 수 있는지, 추적 가능한지, 사람이 다시 맡을 수 있는지를 따져야 한다. 이런 조건을 만족하면 자동화에 적합하고, 결정 단계처럼 정책 판단이 핵심인 부분은 인간이 맡는 편이 낫다.
10. 14:29
    처음엔 감독, 그다음 샘플링, 마지막엔 예외만 도입 초기에는 사람이 전부 검증하면서 기준을 다듬고, 신뢰 임계값을 넘으면 일부만 샘플링해 확인한다. 이후에는 대부분의 정상 흐름을 에이전트가 처리하고 사람은 예외와 품질 개선에 집중한다.
11. 15:31
    핵심 정리 외부는 결정적으로 유지하고 내부는 적응적으로 만드는 구조가 에이전트 도입의 기본 원칙이다. 품질은 감이 아니라 평가와 통계로 쌓는 신뢰 메커니즘이며, 결국 에이전트의 자율성은 정책과 검증 역량이 뒷받침될 때만 확대할 수 있다.

실무 인사이트

• 에이전트를 쓰기 전에 업무를 DAG로 분해하면, 자동화 가능한 노드와 인간 판단이 필요한 노드를 구분하기 쉬워진다.
• 비감독 운영 여부는 모델 성능보다도 정책 체크, trace, fallback, 평가 데이터셋이 얼마나 잘 갖춰졌는지로 판단하는 편이 안전하다.
• 운영 효율이 올라갈수록 병목은 다른 곳으로 이동하므로, 에이전트 도입과 함께 프로세스 전반의 가시성과 모니터링을 먼저 강화해야 한다.