Paving the Road to Production: Governed Enterprise AI Agents — Harish Gaggar, Credit Karma

한 줄 핵심

실험용 AI agent를 기업 환경에 올리려면 단일 agent보다 MCP 게이트웨이, 보안, 관측성, 메모리, 평가, 컨텍스트 최적화를 묶은 표준화된 운영 프레임워크가 먼저 필요하다.

시간별 요약

1. 0:00
   실험에서 기업용 agent로의 전환 AI agent를 실제 기업 환경에 배포하려면 단순한 데모가 아니라 production을 지탱하는 구조가 필요하다. 전체 흐름은 agent 프레임워크, MCP gateway와 MCP server, 모니터링, 메모리, 평가, PII 차단, 컨텍스트 최적화로 구성된다.
2. 1:28
   누락된 운영 기반 production 실패의 핵심 원인은 인증·라우팅·추적·평가·메모리·비밀정보 차단 같은 기본 통제가 빠져 있기 때문이다. agent가 오래 대화하고 다양한 도구를 쓰는 상황일수록 이 기반이 없으면 품질과 안전성이 급격히 떨어진다.
3. 2:54
   agent와 지원 프레임워크 핵심 agent는 LangGraph로 구성하고, 그 주변에 MCP gateway, 커스텀 MCP server, 감사(audit), PII 차단, tracking/eval, memory, context optimizer를 붙이는 구조가 제시된다. 즉 agent 자체보다 주변 운영 체계가 전체 신뢰성을 좌우한다.
4. 4:06
   등록, 로컬 개발, 표준 경로 agent는 먼저 중앙 시스템에 등록되어 용도와 ID가 발급되고, 개발 포털이 LangGraph, 언어, skills, prompts를 포함한 표준 저장소를 생성한다. 개발자는 이를 로컬에서 Docker와 container로 검증하고, 메모리·평가·PII 차단까지 포함된 일관된 골격 위에서 작업한다.
5. 6:27
   리뷰, 컨테이너, Kubernetes 배포 로컬 검증 후 PR과 2인 승인, CI/CD를 거쳐 production 이미지가 만들어지고 취약점 검사도 수행된다. 배포 플랫폼은 Kubernetes namespace에 agent를 올리면서 workload identity, memory DB, tracking/eval 테이블, secret 관리까지 함께 생성해 실행 준비를 끝낸다.
6. 8:14
   검토된 커스텀 MCP 서버 air-gapped 환경에서는 외부 MCP server 대신 자체 MCP server를 만드는 것이 권장된다. 내부 보안팀이 도구 정의를 검토해 승인된 tool만 배포하고, 불필요한 필드와 민감한 데이터를 차단해 허용된 정보만 LLM과 오가도록 한다.
7. 9:47
   MCP 게이트웨이 인증과 라우팅 첫 요청에서 MCP gateway가 세션을 Redis에 저장하고 JWT를 발급한 뒤, 클라이언트의 요청을 적절한 namespace의 MCP server로 라우팅한다. gateway는 중앙 인증 허브이자 라우팅 허브로 동작하며, endpoint에 대한 직접 접근을 막고 모든 호출을 통제한다.
8. 11:48
   로그, 추적, 게이트웨이 메트릭 운영 로그는 ELK, Loki, CloudWatch 같은 저장소로 보내고, tracing과 metrics는 OpenTelemetry를 통해 Tempo와 Prometheus에 기록한다. 이렇게 모인 데이터로 느린 tool, 인증 실패, P95 latency, 오류 원인, 호출 출처를 지속적으로 관측할 수 있다.
9. 14:01
   LangGraph 정책과 사람 승인 LangGraph는 계획, 분기, 상태 관리가 가능한 그래프 구조로 복잡한 agent 흐름을 구성한다. 요청은 먼저 해석·분류된 뒤 read-only인지, 수정·삭제인지, 민감 작업인지에 따라 정책이 달라지며, 고위험 작업은 HITL 승인 후에만 실행된다.
10. 16:59
    스레드, 실행, 메모리 체크포인트 agent 메모리는 thread와 run ID, checkpoint를 통해 대화 상태를 저장·복원하는 방식으로 구현된다. SQLite로 로컬을, Cloud Spanner 같은 DB로 production을 지원하며, 실행 이력과 노드 진행 상황을 추적해 장기 대화에서도 맥락을 유지한다.
11. 19:48
    agent 추적과 평가 기록 agent 수준의 tracking/eval은 쿼리, 응답, 모델, 토큰 비용, 품질 점수, tool invocation, node trajectory를 모두 기록하는 체계다. 이 데이터는 대규모 agent 포트폴리오의 성과, 품질, ROI를 나중에 대시보드로 집계하는 기반이 된다.
12. 23:27
    민감한 입력 필터링 문서 업로드나 자연어 입력에 API key, 비밀정보, 민감 데이터가 섞일 수 있으므로 입력 단계에서 즉시 탐지·마스킹해야 한다. 민감도 기준이 일정 수준을 넘으면 LLM, memory DB, tracking/eval, tracing 어디에도 전달되지 않도록 차단한다.
13. 24:25
    컨텍스트 최적화와 토큰 절감 시연 context optimizer는 입력을 pruning, rerank, dedupe, compress해서 LLM에 보낼 payload를 줄인다. 동일한 질문에서도 24,000 token이 2,400 token 수준으로 줄어드는 시연이 제시되며, 대규모 agent 운영에서 비용 절감 효과가 크다.
14. 27:33
    모든 agent 주변에 프레임워크 구축하기 핵심은 빠르게 agent 하나를 만드는 것이 아니라, gateway·보안·관측성·승인·메모리·컨텍스트 절감까지 포함한 enterprise framework를 함께 구축하는 것이다. 모든 도구 호출은 중앙 MCP gateway를 거치고, 고위험 작업은 사람 승인과 감사 기록을 남기며, 토큰 비용은 컨텍스트 최적화로 관리해야 한다.

실무 인사이트

• production agent는 모델 성능보다 인증, 라우팅, 감사, 평가, 메모리 같은 운영 기반이 먼저 갖춰져야 안정적으로 굴러간다.
• MCP gateway를 중앙 통제 지점으로 두면 도구 접근, 권한, 라우팅, 관측성을 한곳에서 관리할 수 있어 보안과 운영 효율이 함께 올라간다.
• 컨텍스트 최적화와 민감정보 차단은 단순 비용 절감 기능이 아니라, 대규모 agent 운영에서 사고와 비용을 동시에 줄이는 필수 안전장치다.