Through the AI Fog: The Architectural Decision Agentic Security Depends On — Manoj Nair, Snyk

한 줄 핵심

에이전틱 AI 보안은 모델 성능만으로 해결되지 않으며, 생성·검증 분리와 실행 환경·출력·도구·행동을 함께 통제하는 아키텍처가 있어야 안전하게 확장할 수 있다.

시간별 요약

1. 0:01
   이 영상은 AI 보안의 핵심이 모델 자체가 아니라 에이전트가 실제로 무엇을 만들고 어떻게 실행하는지까지 포함한 전체 시스템 설계에 있다는 문제의식을 제시한다. 안전한 자율 소프트웨어를 만들려면 보안이 개발 흐름 밖이 아니라 중심에 있어야 한다.
2. 3:00
   현실의 위협은 자동화된 공격, 누적되는 취약점, 그리고 에이전트가 만들어내는 새로운 공격면이 동시에 커지는 데 있다. 생성기와 검증기를 같은 LLM에 맡기는 접근은 신뢰하기 어렵고, 공격자는 좋은 컨텍스트와 하네스를 가지면 쉬지 않고 작동한다.
3. 8:00
   최신 모델은 코드 품질, skills, MCP servers, 에이전트 행동 측면에서 여전히 취약하고, 실제로는 데이터 유출이나 권한 오용 같은 문제가 발생한다. 특히 MCP나 외부 skills처럼 연결 지점이 많아질수록 보안 기본값이 약한 부분이 공격 표면이 된다.
4. 13:02
   모델의 확률적 판단만으로는 엔터프라이즈 수준의 보안 판단을 대체할 수 없으며, deterministic check와 함께 써야 한다. 예방·복구·재검증을 분리해 운영해야 하고, 취약 패키지 차단과 대량 수정 같은 자동화는 실제로 backlog를 줄이는 데 효과가 있다.
5. 16:00
   데모는 패키지 건강도 평가와 skill 위험 분석을 통해, 에이전트가 어떤 의존성을 고를지와 외부 지시문이 어떻게 위험이 되는지를 보여준다. 유지보수 상태, 악성 입력 가능성, 인터넷에 호스팅된 지시 로직 같은 신호를 함께 봐야 실제 배포 위험을 줄일 수 있다.
6. 21:02
   핵심 메시지는 AI 보안도 관측-판단-행동의 루프를 가진 시스템으로 재설계해야 한다는 것이다. 여러 에이전트를 조정하고 공유 메모리와 하네스를 다루는 문제는 남아 있지만, 이를 커뮤니티와 함께 풀어 AI security engineer를 강화하는 방향이 제시된다.

실무 인사이트

• 에이전트 보안에서는 모델 선택보다 먼저 실행 권한, 외부 도구 연결, 의존성 승인 정책을 기본값으로 고정해야 한다.
• LLM 결과를 검증용 단일 진실로 두지 말고, deterministic check와 별도 평가로 교차 검증해 오탐·미탐을 줄여야 한다.
• skills나 MCP 서버처럼 외부에서 주입되는 로직은 코드 변경이 없어도 위험이 바뀔 수 있으므로, 배포 후에도 지속적으로 재평가해야 한다.