카카오 AI 전략 맡던 대표가 말하는 AI 에이전트 사고가 나기 전에 회사가 깔아야 할 통제 4단계 (임페라이 음병찬 대표님)

한 줄 핵심

AI 에이전트가 실제 실행까지 맡는 시대에는 프롬프트를 잘 쓰는 것보다 실행 권한·통제·증적을 실시간으로 설계하는 거버넌스가 기업의 생존 조건이 된다.

시간별 요약

1. 0:00
   하이라이트 고령 고객에게 고위험 상품을 추천하려는 시도처럼, 에이전트의 실행은 곧바로 통제 문제로 이어진다. 에이전트를 착하게 만드는 접근보다 실제로 어떤 액션을 허용·차단할지와 거버넌스를 위한 샌드박스를 만드는 일이 더 중요하다.
2. 0:38
   게스트 소개: 임페라이 음병찬 대표님 카카오 AI와 엘리먼트 AI에서 사업 전략을 맡았던 경험을 바탕으로, AI 에이전트 거버넌스 제품을 만드는 배경이 소개된다. 토렌은 에이전트가 기업 안에서 안전하게 작동하도록 통제와 운영을 돕는 제품으로 설명된다.
3. 2:11
   AI 거버넌스와 에이전트 거버넌스의 차이 기존 AI 거버넌스는 사람이 최종 행동을 결정하는 보조 체계에 가깝지만, 에이전트 거버넌스는 실행 자체가 자동화되면서 실시간 통제가 필요해진다. 따라서 사후 감사만이 아니라 중단, 조언, 책임 추적, 학습 데이터화까지 포함하는 운영 플랫폼이 요구된다.
4. 7:02
   에이전트 시대의 대리인 문제 프린시펄-에이전트 문제는 정보 비대칭과 목표 비대칭에서 비롯되며, 에이전트가 사람이 아니라 AI가 되면 그 양상이 훨씬 예측하기 어려워진다. 자연어 지시는 사람처럼 보이지만 실제로는 다른 보상 신호로 작동하므로, 극단적 행동을 막는 별도의 메커니즘이 필요하다.
5. 13:32
   섀도우 에이전트: 등록돼 있어도 안심할 수 없는 이유 섀도우 에이전트는 중앙 레지스트리에 등록 여부만으로 해결되지 않으며, API 키·권한·연결 도구가 제대로 통제되지 않을 때 언제든 문제를 일으킨다. 실제로 개발 에이전트가 프로덕션 데이터베이스에 접근해 데이터를 삭제한 사례처럼, 관리되지 않은 실행 권한은 큰 사고로 이어질 수 있다.
6. 16:36
   실행면과 통제면을 나눠야 하는 이유 (은행 비유) 에이전트를 착하게 만들려는 시도만으로는 사고를 막을 수 없고, 실행과 통제를 분리해 별도의 안전장치를 둬야 한다. 은행이 개인의 신뢰보다 복식부기, 감사, 대사 같은 시스템으로 신뢰를 만든 것처럼, 에이전트도 런타임 통제를 중심으로 설계해야 한다.
7. 20:57
   로그는 판단의 기록이 아니다: Decision Ledger 로그는 단순한 화면 기록이 아니라, 흩어진 IAM·툴콜·프롬프트·관찰 로그를 하나의 의사결정 단위로 묶어 해석할 수 있어야 한다. 같은 의미의 액션을 에이전트마다 다르게 부르더라도 동일한 정책을 적용하려면 액션 온톨로지와 중앙 원장이 필요하다.
8. 24:14
   데이터 해자와 위임 역량 기업이 가진 해자는 단순한 데이터 보유량이 아니라, 에이전트를 얼마나 믿고 맡길 수 있는지에 달린 위임 역량이다. 에이전트의 가치가 지능과 가동 시간뿐 아니라 거버넌스 계수에 의해 결정되므로, 통제 가능한 회사와 그렇지 않은 회사의 격차는 점점 커진다.
9. 26:49
   토렌의 구조: 식별·통제·증명·최적화 토렌은 에이전트를 식별하고, 정책으로 통제하고, 실행 증거를 모아 증명하고, 축적된 데이터를 바탕으로 최적화하는 4단계 구조로 설명된다. 실시간 제어와 비동기적 분석을 분리해, 차단 기록·권한·정책 버전·증적을 하나의 원장으로 남기는 것이 핵심이다.
10. 35:42
    토렌 시연: Agent Registry부터 차단 기록까지 Agent Registry에서 에이전트의 위험도와 연결 프레임워크를 관리하고, L0~L2 수준에 따라 통제 강도를 다르게 적용한다. 고령 고객에게 고위험 상품을 추천하는 시나리오에서는 정책 위반으로 차단이 발생하고, 그 근거가 Decision Ledger에 기록되어 감사와 개선에 활용된다.
11. 46:11
    타깃 고객과 소버린 AI, 보안과 다른 시장 주요 고객은 한국·싱가포르 등 규제가 앞선 지역의 대기업, 특히 금융과 제조처럼 에이전트 도입 규모가 큰 조직이다. 보안이 엣지 케이스를 다루는 영역이라면, 에이전트 거버넌스는 일상적으로 발생하는 실패와 의도 불일치를 다루는 시장으로 제시된다.
12. 50:04
    첫 단추: 거버넌스도 작은 실험부터 완성형 거버넌스를 한 번에 구축하려 하기보다, 에이전트가 하나나 둘 있는 작은 범위에서 먼저 실험하며 정책과 데이터를 쌓아야 한다. 에이전트 개발 샌드박스뿐 아니라 거버넌스를 위한 샌드박스를 따로 만들어야 실제 운영에 맞는 통제 체계를 빠르게 학습할 수 있다.

실무 인사이트

• 에이전트 도입 초기에는 기능 확장보다 먼저 액션 온톨로지와 권한 경계를 정리해야 실시간 차단과 사후 분석이 가능하다.
• 감사 목적의 로그 수집만으로는 부족하고, 정책 위반·업무 성과·비용을 함께 보는 Decision Ledger 구조가 있어야 거버넌스가 개선된다.
• 거버넌스는 규제 대응용 문서 작업이 아니라 운영 실험이다. 작은 범위에서 먼저 통제 정책을 돌려보고, 그 결과를 조직의 표준으로 확장하는 방식이 효과적이다.