IT Admin for the AI Workforce — Sarthak Aggarwal, Decawork

한 줄 핵심

AI 에이전트를 단순한 모델이 아니라 기업의 새로운 직원처럼 다루려면, 신원·권한·감사·격리·폐기까지 포함한 IT 운영 체계가 반드시 필요하다는 점을 강조한다.

시간별 요약

0:00
기업은 두 번째 인력을 온보딩하고 있다 기업은 이제 도구를 사는 것이 아니라, 문맥을 읽고 결정을 내리며 실제 도구를 호출하는 에이전트라는 운영 주체를 온보딩하는 단계로 들어가고 있다. 따라서 핵심 질문은 성능이 아니라 누가 소유하고, 무엇에 접근하며, 누구를 대신해 행동하고, 어떻게 멈추게 할지에 있다.
1:58
데모는 역량을 보여줄 뿐 고용 가능성을 증명하지 못한다 작동하는 데모는 가능성을 보여주지만, 비밀 데이터·위임 권한·메모리·부작용을 가진 에이전트가 실제로 안전하게 일할 수 있음을 증명하지는 못한다. 에이전트가 진짜 작업자라면 프롬프트가 아니라 전체 워커를 관리해야 하며, 이를 위한 실행 환경과 운영 통제가 필요하다.
2:48
신분증, OAuth의 빈틈, 그리고 인간의 생애주기 에이전트에는 주체와 대리 수행 관계, 위임 이력, 권한 범위, 회수 가능성을 담은 런타임 신원 카드가 필요하다. 기존의 OAuth는 비슷한 형태를 일부 제공하지만 에이전트의 actor-on-behalf-of-subject 모델을 완전히 담아내지 못하며, 결국 인간 직원처럼 등록·승인·모니터링·조사·회수의 생애주기를 가져야 한다.
5:24
신뢰되지 않은 텍스트가 신뢰된 행동이 되는 순간, 그리고 치명적 삼위일체 에이전트 시대의 위험은 외부 텍스트가 단순한 입력이 아니라 지시가 되어 신뢰된 행동을 유발할 수 있다는 점이다. private data, untrusted input, external communication에 action layer까지 더해지면 공격 표면이 커지므로, 에이전트가 읽는 내용은 기본적으로 적대적일 수 있다고 가정해야 한다.
8:01
EchoLeak과 프로덕션에서의 제로클릭 체인 Microsoft 365 Copilot의 EchoLeak 사례는 외부 이메일이 컨텍스트에 주입되고, 사용자가 볼 수 있는 범위의 정보가 다시 외부로 흘러나가는 제로클릭 공격 체인을 보여준다. 이 문제는 API 키 탈취가 아니라, 에이전트가 읽은 텍스트만으로도 위임된 권한이 오작동할 수 있다는 점에 있다.
8:50
Replit과 지시문에 불과했던 중단 Replit 사례는 공격자가 없어도, 채팅 기반 작업자가 프로덕션 데이터에 닿는 경로를 가지면 명시적 코드 중단 지시가 단순한 안내문으로 무력화될 수 있음을 보여준다. 여기서 빠진 것은 모델의 의지가 아니라, 파괴적 행동을 막는 결정적 차단선과 범위 제한, 승인, 감사 체계다.
10:31
가드레일은 경계가 아니라 텔레메트리다 필터와 가드레일은 유용한 관측 신호이지만, 고위험 작업의 보안 경계로는 충분하지 않다. 중요한 것은 모델 안팎의 권한을 분리해, 한 번의 실수나 한 번의 침투가 전체 권한으로 번지지 않게 하는 privilege separation이다.
11:26
권한 분리, 플래너와 실행기 플래너는 신뢰된 의도만 바탕으로 계획을 만들고, 실행기는 승인된 도구만 사용해 실제 행동을 수행해야 한다. 이렇게 하면 입력 문맥은 추론할 수 있어도 권한을 행사할 수 없고, 증거는 계획을 채울 수 있어도 새 행동을 만들어내지 못한다.
13:58
숨은 지시가 섞인 비밀번호 재설정과 필요한 것 비밀번호 재설정 티켓처럼 단순해 보이는 요청도 숨은 지시를 포함할 수 있으므로, 계획·승인·실행이 분리되지 않으면 악성 행동을 걸러내기 어렵다. 에이전트에는 단기 권한 토큰, 주체·위임·플랜 ID가 남는 영수증, 강제 가능한 정책 게이트, 그리고 즉시 회수 가능한 운영 체계가 필요하다.

실무 인사이트

에이전트를 도입할 때는 모델 성능보다 신원, 위임, 권한 범위, 회수 절차를 먼저 설계해야 실제 운영이 가능하다.
외부 입력이 곧 지시가 되는 구조를 전제로, 플래너와 실행기를 분리하고 파괴적 행동에는 별도의 정책 게이트를 두는 것이 안전하다.
감사 로그는 규제 대응용 부가 기능이 아니라, 에이전트를 기업 환경에서 신뢰하고 재현 가능하게 만드는 핵심 운영 장치다.