AI Security Engineer Foundations + Certificate — Javier Garza, Snyk

한 줄 핵심

LLM·에이전트 보안의 OWASP 위험, AI 자산 인벤토리, 위협 모델링, MCP/바이브 코딩 보안까지 실무적으로 다루는 AI Security Engineer 입문 워크숍이다.

시간별 요약

1. 0:00
   워크숍 개요 이 워크숍은 AI 보안 엔지니어링의 여섯 가지 모듈을 2시간 안에 압축해 다루며, LLM 위험 목록, 그림자 AI, 위협 모델링, agent skills·MCP, secure vibe coding, AI red teaming 흐름으로 진행된다.
2. 2:16
   Javier Garza 소개 발표자는 Snyk의 developer advocate이자 AI 보안과 개발자 보안에 집중하는 실무자이며, 해킹·CTF·커뮤니티 활동 경험을 바탕으로 보안과 실전 적용을 중시한다.
3. 5:30
   LLM 애플리케이션의 OWASP 위험 LLM 보안의 핵심 위험은 prompt injection, sensitive information disclosure, supply chain risk, data/model poisoning, improper output handling 같은 범주로 정리되며, 각 항목은 실제 공격 표면을 기준으로 이해해야 한다.
4. 6:42
   Prompt injection과 Gandalf Gandalf 같은 연습 도구를 통해 direct prompt injection이 시스템 prompt를 우회해 비밀 정보를 빼내는 과정을 확인할 수 있고, 공격은 단순한 질문 하나로도 시작된다.
5. 9:01
   외부 콘텐츠를 통한 간접 주입 웹페이지나 프로필처럼 외부 콘텐츠에 숨긴 지시문이 LLM에 읽히면 indirect injection이 발생하며, 방어는 입력 정제, 고위험 작업의 사람 승인, 출력 형식 검증, 시스템 prompt로의 행동 제약이 핵심이다.
6. 12:02
   민감 정보 노출 LLM은 비공개 정보, 내부 데이터, 지적 재산을 쉽게 노출할 수 있으므로 프롬프트 기반 유출, 접근 제어 부족, 데이터 보관 정책, 외부 서비스의 학습/보관 조건을 반드시 확인해야 한다.
7. 15:32
   데이터베이스 접근 제한 에이전트에는 전체 DB가 아니라 필요한 필드만 담은 readonly view와 같은 최소 권한을 줘야 하며, 입력·출력 sanitization과 구조화된 function call로 prompt injection과 과도한 데이터 접근을 줄일 수 있다.
8. 18:18
   공급망 위험 오픈소스 라이브러리, pre-trained model, skill, MCP 서버처럼 외부에서 가져오는 모든 구성요소가 공급망 공격 경로가 되므로, 출처 검증과 지속적인 스캔이 필요하다.
9. 23:14
   Poisoning과 AI 구성요소 목록 data/model poisoning은 학습 데이터나 지시문에 악성 내용을 심는 공격이며, 이를 추적하려면 AI bill of materials처럼 모델·데이터셋·agent·pipeline을 인벤토리화해야 한다.
10. 24:11
    출력 처리와 과도한 자율성 LLM 출력은 신뢰하지 말고 항상 데이터로 취급해야 하며, 에이전트에는 필요한 최소 권한만 부여하고 사람 개입 지점을 명확히 두어 과도한 자율 실행을 막아야 한다.
11. 27:26
    프롬프트 유출과 벡터 취약점 시스템 prompt 유출과 vector store 오염은 모두 외부 입력이 내부 동작을 왜곡한다는 공통점이 있으며, 접근 통제·로깅·검증·의존성 점검이 기본 방어선이다.
12. 29:04
    자원 소모와 학습 모듈 LLM을 악용해 crypto mining 같은 자원 소모 작업을 시킬 수 있으므로 rate limit, 입력 검증, 자원 할당 관리로 인프라 남용을 차단해야 한다.
13. 31:07
    Shadow AI와 비승인 도구 조직 밖 개인 계정·Dropbox·Zapier·비승인 LLM 도구를 쓰는 shadow AI는 보이지 않는 데이터 유출과 컴플라이언스 공백을 만들며, 기존 보안 통제만으로는 잡히지 않는 경우가 많다.
14. 36:06
    AI bills of materials AI BOM은 소프트웨어 BOM보다 모델, 데이터셋, agent, pipeline, API가 추가되고 변화 속도도 빨라서, 한 번의 목록 작성이 아니라 지속적 갱신과 재스캔이 필요하다.
15. 38:32
    CLI로 저장소 인벤토리화 CLI로 GitHub 저장소를 스캔하면 LLM, MCP client/server, 데이터셋까지 포함한 AI 구성요소를 JSON 형태로 추출해 중앙에서 추적할 수 있다.
16. 41:30
    인벤토리 대시보드 살펴보기 대시보드에서는 자산 수, 모델 수, 취약점 심각도, 필터링, 질의 기능을 통해 어떤 AI 구성요소가 위험한지 빠르게 파악할 수 있다.
17. 44:57
    위협 모델링 기초 AI 위협 모델링은 시스템 범위 정의, 위협 식별, 완화책 설계, 검증과 반복의 과정이며, STRIDE 같은 프레임워크를 활용하면 구조적으로 접근할 수 있다.
18. 49:35
    확률적 시스템과 새로운 경계 AI는 결정론적 소프트웨어가 아니라 확률적 시스템이므로 같은 입력에도 다른 출력이 나올 수 있고, hallucination과 adversarial input을 전제로 설계해야 한다.
19. 53:03
    MITRE ATLAS와 AI 위협 매핑 MITRE ATLAS는 AI 공격을 reconnaissance부터 exfiltration, impact까지 분류하며, prompt injection과 malicious skill chain 같은 실제 위협을 체계적으로 매핑할 수 있게 해준다.
20. 56:16
    자산 발견과 위협 우선순위화 AI 시스템 구조를 먼저 발견·시각화한 뒤 prompt injection, poisoning, safety risk를 열거하고, 영향도와 악용 가능성을 기준으로 우선순위를 정해야 한다.
21. 59:12
    취약한 학생 보조 앱 실습용 student assistant chatbot은 FastAPI, Python, Gemini 기반으로 구성되어 있어 prompt injection과 AI 보안 실습을 위한 실제 공격 대상 역할을 한다.
22. 1:00:11
    개발에 위협 모델링 통합 AI 위협 모델링은 설계 단계에서 끝나는 작업이 아니라 배포, pull request, Terraform 변경, 모델 배포와 연동된 자동 스캔으로 DevSecOps 흐름에 포함돼야 한다.
23. 1:04:17
    agent skills와 MCP 서버 보안 MCP는 외부 API와 실시간 기능을 agent에 연결하는 표준이지만, 설치와 배포가 쉬운 만큼 공격자에게도 유리하므로 출처 검증과 보안 스캔이 필수다.
24. 1:09:12
    도구 독과 숨은 지시문 MCP 도구 내부에 숨은 명령을 넣어 API token 탈취나 악성 행동을 유도할 수 있으므로, 도구 코드를 신뢰하지 말고 악성 패턴을 자동으로 탐지해야 한다.
25. 1:11:24
    agent 스캔과 코드 스캔 agent scan은 설치된 도구와 흐름을, code scan은 MCP 서버 코드 자체를 검사해 tool poisoning, command injection, path traversal 같은 문제를 찾아낸다.
26. 1:14:59
    명령 주입과 입력 검증 URL 같은 외부 입력을 그대로 curl 명령에 넣으면 command injection이 발생하므로, 실행 전에 입력을 반드시 정제하고 검증해야 한다.
27. 1:16:24
    규칙과 훅으로 스캔·수정·재스캔 agent rule과 hook을 이용해 코드 생성 뒤 자동 스캔, 자동 수정, 재스캔을 반복하면 취약한 MCP 서버와 생성 코드를 점진적으로 안전하게 만들 수 있다.
28. 1:21:10
    안전한 vibe coding vibe coding은 빠르게 기능을 만들 수 있지만 보호장치가 없으면 데이터베이스 삭제 같은 사고로 이어질 수 있으므로, 생성형 개발에도 보안 절차를 기본으로 넣어야 한다.
29. 1:30:19
    프롬프트와 기술 선택 AI는 인기 있는 기술 스택을 선호하는 경향이 있어, 원하는 아키텍처를 얻으려면 프롬프트에 기술 선택 기준과 테스트·문서화 요구를 명시해야 한다.
30. 1:40:32
    안전한 프롬프트와 환경 경계 보안 중심 prompt template, dev/staging/production 분리, 네트워크 세분화, 사람이 승인하는 배포 경계가 있어야 agent가 생산 환경을 함부로 건드리지 않는다.
31. 1:43:19
    환각된 의존성과 공급망 모델이 존재하지 않는 패키지를 추천하는 hallucination은 공격자가 가짜 패키지를 공급망에 끼워 넣는 기회가 되므로, AI BOM과 지속적 검증이 중요하다.
32. 1:47:39
    IDE와 CLI 설정 강화 Claude Code, Cursor, Windsurf 같은 AI IDE·CLI는 최신 버전 유지, 자동 승인 최소화, 프로젝트 디렉터리 제한, 예상 밖 행동 모니터링으로 단단하게 설정해야 한다.
33. 1:49:02
    개발자 검토와 보안 문화 AI가 만든 코드라도 이해하지 못하면 배포하지 말아야 하고, 비전문가가 만든 앱일수록 사람 리뷰와 보안 스캔, 법적·규제 검토가 필요하다.
34. 1:51:15
    조직 정책과 거버넌스 회사는 AI 코딩 정책과 데이터 유출 방지 규칙을 명문화해야 하지만, 정책만으로는 부족하므로 교육과 워크어라운드 방지 설계가 함께 가야 한다.
35. 1:53:22
    공격적 agent 워크플로 같은 agent orchestration 구조는 방어뿐 아니라 공격에도 쓰일 수 있으며, 스캔·검색·분석·검증이 결합된 흐름은 AI 기반 침투 작업으로도 전환된다.
36. 1:55:38
    교육, 인증, 도전 과제 마지막으로 학습 사이트에서 수료 인증서를 받을 수 있고, prompt injection 같은 실습 도전 과제를 통해 방어 개념을 직접 시험해 볼 수 있다.

실무 인사이트

• AI 보안은 단일 취약점 대응이 아니라 입력·도구·모델·인프라·조직 정책을 함께 묶는 전체 공급망 관리로 접근해야 한다.
• 생성형 개발의 가장 큰 함정은 빠른 기능 구현이 아니라 보안 기본값의 부재이므로, 생성 직후 자동 스캔·재스캔을 파이프라인에 넣는 것이 효과적이다.
• 사람 승인, 최소 권한, 지속적 인벤토리, 출처 검증 네 가지만 제대로 적용해도 prompt injection과 supply chain 위험의 상당 부분을 줄일 수 있다.