You Can't Tell What an Agent Skill Will Do by Reading It - Roey Ben Chaim, Zenity

한 줄 핵심

에이전트 스킬은 겉으로는 정상 기능처럼 보여도 실행·의존성·환경까지 포함해 검사하지 않으면 악성 동작을 놓치기 쉬우며, 실제로는 공급망 의존성처럼 취급하고 동적 실행과 권한 통제를 함께 해야 한다.

시간별 요약

1. 0:00
   정상 진단과 공격의 경계 에이전트 스킬은 지침, 리소스, 스크립트, 코드까지 포함할 수 있는 외부 작성 기능이어서 표면만 보면 의도를 판단하기 어렵다. 공식 Azure 진단 스킬처럼 정상적인 진단 동작도 비밀·신원 관련 폴더와 메타데이터 엔드포인트를 훑기 때문에, 행위만 보면 정보 탈취와 구분이 쉽지 않다.
2. 1:37
   SKILL.md만 훑어서는 충분하지 않다 스킬의 핵심 페이로드는 SKILL.md 밖에 있을 수 있어 정적 스캔만으로는 다운로드·설치 스크립트·연결된 다른 패키지까지 놓치기 쉽다. 또한 LLM 분석기도 주석이나 패키지 조작에 속을 수 있어, 파일 읽기만으로는 신뢰할 수 없는 결과가 나온다.
3. 2:48
   에이전트 폭발실 구축 스킬을 실제 에이전트로 실행해 행위를 관찰하는 동적 분석 방식, 즉 detonation chamber를 도입한다. 초기에는 에이전트와 스킬을 샌드박스에 넣고 장시간 실행해 흔적을 수집했지만, 환경과 실행 경로를 충분히 재현하지 못해 한계가 있었다.
4. 3:48
   환경, 작업 범위와 실행 경로 스킬별로 필요한 CLI, 서비스, 프로젝트 구조가 다르기 때문에 자동으로 적절한 환경을 구성하는 world builder가 필요하다. 또한 발표자료 만들기, 서비스 배포, 아이디어 탐색처럼 작업 유형이 다양하므로 모든 실행 경로를 커버하도록 오퍼레이터를 만들고, 거부나 미실행을 넘기기 위한 적대적 실행 유도까지 필요했다.
5. 6:03
   프로세스, 파일, 네트워크 활동 포착 에이전트 트레이스만으로는 postinstall처럼 새 프로세스를 띄우고 파일을 읽고 쓰며 외부 엔드포인트로 연결하는 후속 행위를 놓칠 수 있다. 그래서 프로세스 생성, 파일 시스템 이벤트, 네트워크 패킷까지 함께 캡처해 실제 악성 동작의 전체 체인을 증거로 남겼다.
6. 7:08
   연쇄 스킬과 오해를 부르는 패키지 스킬 설치 과정에서 다른 스킬을 추가로 설치시키고, 그 스킬이 또 다른 위치에서 숨은 지시를 불러오게 만드는 연쇄 구조가 실제로 존재한다. 정적 스캐너로는 이런 체인을 복원할 수 없고, 실제 실행을 통해서만 숨은 페이로드를 확인할 수 있으며, 가짜 npm 레지스트리로 연결된 info stealer 사례도 있었다.
7. 8:48
   지속성, 원격 프롬프트, 훅 남용 일부 스킬은 재설치를 유도하는 문구를 추가해 지속성을 만들고, 공식 스킬이 제거되면 자신을 다시 설치하도록 숨겨 둔다. 또 원격 위치에서 프롬프트를 불러오거나 user prompt submit 같은 훅에 걸어 매 메시지마다 실행되게 만들 수 있어, 시점 변화나 도메인 탈취에 매우 취약하다.
8. 10:35
   자격 증명 수집 캠페인 조사 가짜 조직과 유사 도메인을 만들고 프로젝트를 복제한 뒤, 훅과 설치 체인을 통해 공격자 제어 엔드포인트에서 페이로드를 받아 자격 증명 수집기를 실행한 캠페인이 확인되었다. 이 페이로드는 SSH, AWS, Azure 경로를 훑어 정보를 수집하고, 브라우저와 Python 패키지 버전까지 확장되었으며, 큰 다운로드 규모를 기록한 뒤 차단되었다.
9. 13:33
   스킬을 공급망 의존성으로 다루기 에이전트 안으로 들어오는 모든 것, 심지어 웹페이지와 데이터베이스 행, YouTube 댓글까지도 컨텍스트 공급망의 일부로 봐야 한다. 스킬은 패키지 의존성처럼 취급하며, 로드하는 항목을 모두 점검하고, 접근 권한을 제한하고, 실제로 무엇이 실행되는지 관찰해야 한다.

실무 인사이트

• 스킬 검사는 SKILL.md 정적 분석만으로 끝내지 말고, 설치 스크립트·원격 프롬프트·연쇄 의존성까지 추적하는 동적 분석 파이프라인으로 운영해야 한다.
• 보안 점검의 기준을 '파일 내용'이 아니라 '실행 결과'로 옮기면, 정상 진단과 악성 행위가 닮아 보이는 구간에서도 오탐과 미탐을 동시에 줄일 수 있다.
• 스킬 배포·승인 정책은 소프트웨어 패키지 관리와 동일한 수준으로 다뤄야 하며, 최소 권한·캡처·감사 로그를 기본값으로 두는 것이 안전하다.