AI Agents Don't Read Your Policy Docs. They Hit Your APIs — Gravitee

한 줄 핵심

AI 에이전트의 정책 문서나 프롬프트 규칙만으로는 통제가 어렵고, 실제 권한·차단·로깅·캐싱을 게이트웨이와 인프라 계층에 둬야 안전성과 비용 효율을 함께 확보할 수 있다.

시간별 요약

1. 0:00
   소개 이 영상은 슬라이드로 원칙만 설명하지 않고, 실제 에이전트 2개를 띄워 거버넌스가 있는 경우와 없는 경우를 직접 비교하는 방식으로 진행된다. 핵심은 에이전트 보안이 문서나 프롬프트 지시만으로는 충분하지 않다는 점을 실험적으로 보여주는 데 있다.
2. 0:52
   거버넌스 없는 에이전트 실제 운영 중인 에이전트 중 상당수가 행동은 하지만 거버넌스가 거의 없고, 그 결과 데이터 삭제, PII 노출, 규정 위반 같은 큰 사고로 이어질 수 있다. 에이전트의 성격을 믿고 맡기기보다, 애초에 위험한 행동을 못 하게 만드는 구조가 필요하다.
3. 1:32
   정책을 게이트웨이로 옮기기 프롬프트나 markdown 파일 안에서 제한하는 대신, 권한과 정책을 게이트웨이로 옮겨 런타임에 강제하는 접근이 제안된다. 예시 환경은 Gravity Gateway와 Databricks 백엔드, 그리고 추론용으로 쓰는 Grok with a Q 기반 구성으로 설명되며, 좌측은 느슨한 제어, 우측은 엄격한 identity와 gateway control로 대비된다.
4. 2:57
   파괴적 도구 차단 데모 사용자가 booking 삭제와 함께 MCP 도구인 `delete all bookings`까지 요청하면, 제어가 느슨한 쪽은 그대로 실행해버린다. 반면 게이트웨이 제어가 있는 쪽은 동일한 도구를 발견하더라도 실행 권한이 없어 `403`으로 막고, 허용되는 범위의 작업만 부분적으로 수행한다.
5. 4:57
   데이터 유출 차단 데모 게스트 전체 목록과 이메일, 카드 정보 같은 민감 데이터를 달라고 해도, 권한이 없는 에이전트는 유출 가능성이 높다. 게이트웨이는 이런 요청을 막고, 필요한 경우 인증을 거친 뒤에만 접근을 허용하도록 하며, 오픈텔레메트리로 사용자-에이전트-에이전트 간 흐름도 추적할 수 있다.
6. 6:56
   무한 반복 요청 차단 데모 버그가 있는 에이전트가 같은 요청을 여러 번 반복하면, 통제 없는 쪽은 매번 응답을 받아 토큰과 비용을 계속 소모한다. 게이트웨이는 분당 3회 같은 rate limit을 걸어 3건까지만 허용하고 나머지는 차단해, 이미 소모한 비용을 늘리지 않으면서도 사용량을 제어한다.
7. 8:21
   의미 기반 캐싱 데모 비슷한 의미의 요청은 매번 LLM으로 보내지 말고 Redis 기반 semantic caching으로 재사용할 수 있다. 같은 호텔 예약 조회를 여러 번 요청해도 캐시를 쓰면 토큰과 지연이 크게 줄고, 유사도 기준도 0~1 범위로 조절해 사용자나 에이전트별로 다르게 운영할 수 있다.
8. 11:01
   과도하게 큰 프롬프트 차단 데모 10분 분량의 대화 로그 같은 거대한 컨텍스트를 한 번에 넣으면 단순한 작업에도 2,000 tokens 이상이 소모될 수 있다. 게이트웨이는 이런 oversized prompt를 downstream LLM으로 보내기 전에 차단하고, 작업을 더 작은 단계로 쪼개도록 유도해 비용과 처리량을 통제한다.
9. 12:21
   비싼 에이전트 습관 에이전트가 날씨 같은 단순 질문까지 고성능 모델로 처리하면, Google이나 기상 서비스로 바로 해결할 일을 불필요하게 비싸게 수행하게 된다. 게이트웨이는 호텔 예약과 무관한 입력처럼 사용 사례에 맞지 않는 요청을 걸러내고, 시스템 전반의 감사 가능성·보안·비용 최적화를 함께 제공해야 한다는 점을 강조한다.
10. 15:01
    벤더 종속 피하기 게이트웨이는 특정 hyperscaler나 모델 제공자에 묶이지 않도록, Grok에서 Anthropic, Gemini, OpenAI로 비교적 쉽게 라우팅을 바꿀 수 있게 한다. OpenAI 스펙 변환도 게이트웨이가 처리하므로, 백엔드 모델을 바꿀 때 애플리케이션 코드를 크게 다시 쓰지 않아도 된다.
11. 15:41
    MCP 도구 줄이기 CRM처럼 64개 도구를 노출하는 MCP 서버를 그대로 넣으면 컨텍스트가 커지고 비용과 blast radius가 같이 커진다. 필요한 도구만 아주 좁게 노출하도록 줄이면, 모델이 볼 수 있는 범위와 공격면이 함께 축소된다.
12. 16:16
    그림자 AI 조직 밖 또는 개인 노트북에서 몰래 쓰는 AI 트래픽은 기존 게이트웨이만으로는 보이지 않을 수 있다. 새로 나온 edge management는 이런 shadow AI를 발견하고, 게이트웨이로 강제 경유시키며, 로깅·가시성·규정 준수까지 확보하게 해준다.
13. 16:56
    마무리 에이전트의 행동을 문서나 프롬프트 수준에서 통제하려는 방식은 확장성과 안전성 면에서 한계가 분명하다. 실제로 대규모 운영과 규제 대응까지 고려한다면, 정책과 권한은 인프라 계층의 게이트웨이에서 강제하는 구조가 가장 현실적이다.

실무 인사이트

• 에이전트 보안은 프롬프트 튜닝보다 권한 분리, 실행 차단, 감사 로그처럼 런타임에서 강제되는 통제가 훨씬 효과적이다.
• 비용 최적화는 모델 선택만의 문제가 아니라 rate limit, semantic caching, oversized prompt 차단처럼 게이트웨이에서 토큰 흐름을 관리하는 문제다.
• MCP나 다양한 백엔드 모델을 많이 붙일수록 컨텍스트와 공격면이 커지므로, 필요한 도구만 최소 권한으로 노출하는 설계가 중요하다.