Why Are We Still Governing AI Agents Like Software? - Tim Tyler, Gravitee

한 줄 핵심

AI 에이전트를 소프트웨어처럼만 다루지 말고, 신원·권한·감사·시정 절차를 갖춘 디지털 인력으로 관리해야 안전하게 확장할 수 있다.

시간별 요약

1. 0:00
   아무도 받아들이지 않을 채용 공고 신원 확인도 없고, 관리자도 없고, 공유 비밀번호로 핵심 시스템에 접근하며, 24/7 일하지만 검토도 책임도 없는 채용 공고는 인간에게는 받아들여질 수 없다. 그런데도 이런 조건의 디지털 인력을 AI agents로 이미 운용하고 있으므로, 경쟁사보다 먼저 통제 체계를 갖춰야 한다.
2. 1:15
   디지털 인력으로서의 에이전트 AI agents는 단순한 소프트웨어가 아니라 조직 안에서 일하는 디지털 인력으로 봐야 하며, 기존의 인사·조직 관리 관점을 적용해야 한다. 이를 위해 agent accountability라는 프레임워크가 필요하고, 이는 원칙과 함께 감사 가능한 통제까지 포함한다.
3. 2:27
   배정: 신원, 팀, 후원자 에이전트는 먼저 조직 안에서 고유한 신원을 가져야 하며, 단일 공유 레지스트리에 등록된 하나의 ID가 기준점이 되어야 한다. 또한 팀의 맥락을 주고받는 동료여야 하고, Sven 같은 명시적 후원자가 목적·비용·책임을 떠안아야 책임선이 분명해진다.
4. 6:00
   정렬: 역할과 임무 역할은 에이전트가 무엇을 위해 존재하고 어떻게 일해야 하는지를 규정하는 온보딩 기준이며, 임무는 그 순간의 실행 맥락을 뜻한다. 역할은 비교적 고정되고, 임무는 실행 중에 바뀔 수 있지만, 성공 기준과 책임 범위는 역할 정의 안에서 명확해야 한다.
5. 7:37
   권한과 최소 범위 에이전트에게는 무엇을 볼 수 있고 무엇을 할 수 있는지에 대한 권한이 필요하며, 후원자가 그 열쇠를 열어줘야 한다. 권한은 항상 최소 범위로 유지되어야 하고, 하위 에이전트가 더 넓은 작업을 수행하더라도 상위로 반환되는 정보는 허용된 범위로만 제한돼야 한다.
6. 9:34
   정렬을 당연하게 여기지 말 것 모델 자체의 내재된 규칙, 외부에서 들어오는 팀 맥락, 다른 조직의 에이전트 접근은 후원자가 직접 통제하지 못할 수 있다. 따라서 결정론적 규칙은 정의하되, 의도와 맥락 같은 확률적 요소는 별도로 다뤄야 하며, 정의된 정렬은 계약처럼 취급해야 한다.
7. 11:17
   관리: 감독 점수표 감시는 권한을 지키는지와 역할을 성공적으로 수행하는지를 함께 봐야 하며, 단일 지표가 아니라 점수표로 운영해야 한다. 규칙은 체크하고 의도는 판단해야 하므로, 예를 들어 $40,000 한도 준수 같은 명시 규칙과 매칭 정확도·처리 시간 같은 성공 지표를 함께 측정해야 한다.
8. 13:35
   에이전트에게는 세밀한 관리자가 필요하다 사람은 마이크로매니저를 싫어하지만, 에이전트는 모델·컨텍스트·산출물을 계속 감시하는 세밀한 관리가 필요하다. 특히 인간의 분기별 검토 속도로는 너무 늦으므로, 경계 에이전트가 기계 속도로 지속 감시해야 한다.
9. 14:21
   에이전트가 잘못될 때의 대응 문제가 생기면 즉시 해고가 아니라 교정, 권한 축소, 반복 시 중단 같은 단계적 대응이 필요하다. 확률 점수에 따라 차단·마스킹·사람 개입 같은 조치를 정해 두면, 모호한 판단을 실행 가능한 시정 절차로 바꿀 수 있다.
10. 17:05
    요약 에이전트 거버넌스의 핵심은 모든 에이전트에 이름을 붙이고, 모든 행동의 범위를 정하고, 모든 결과를 추적하는 것이다. 결국 인간 조직의 책임 체계를 에이전트에 맞게 재설계해야 하며, 그 출발점은 신원 부여와 권한·정렬·감사의 일관된 운영이다.

실무 인사이트

• 에이전트를 도입할 때 가장 먼저 해야 할 일은 성능 평가가 아니라 신원, 후원자, 권한 범위를 명시하는 거버넌스 설계다.
• 규칙 기반 통제와 확률 기반 판단을 분리해 설계하면, 에이전트의 오작동을 사람 개입 전 단계에서 자동으로 완충할 수 있다.
• 에이전트 운영은 한 번의 설정이 아니라 지속적인 감독과 조정이 필요한 운영 문제이므로, 감사 가능한 점수표와 단계별 대응 절차를 함께 둬야 한다.