We Vetted 2000 AI Skills Before They Reached Developers — Lucas Palma, Nubank

한 줄 핵심

AI 스킬을 개발자 워크플로의 공급망으로 보고, 마켓플레이스 배포 전에 로컬·CI·LLM·정책 검사를 거쳐 보안 위험을 걸러야 한다는 실전 사례다.

시간별 요약

1. 0:01
   AI 스킬은 코드 생성 도구에 붙는 설정처럼 보이지만 실제로는 개발자 워크플로를 바꾸는 공급망 구성요소다. 금융처럼 규제가 강한 환경에서는 더 빠른 개발과 감사 가능성·기본 보안의 균형을 맞춰야 하며, 핵심은 생성된 코드만이 아니라 전체 흐름을 보호하는 데 있다.
2. 3:03
   AI 스킬은 모델이나 에이전트에 지시·맥락을 묶어 더 나은 출력을 유도하지만, 다른 사람이 만든 스킬이 코드 생성 방향을 좌우할 수 있어 위험하다. 토큰 하드코딩, 파괴적 shell comments, 과도한 permissions처럼 사소해 보이는 설정도 로그 유출, 파일 훼손, 권한 남용으로 이어질 수 있다.
3. 6:02
   해결책은 내부 marketplace를 경계로 삼고, 업로드 전에 skill vector로 검사하는 흐름을 만드는 것이다. 개발자는 로컬에서 먼저 검사하고, PR 단계와 업로드 후에도 다시 스캔하며, 규칙 기반 탐지와 LLM 검사를 결합해 위험을 찾고 수정 요청을 바로 PR에 남긴다.
4. 10:00
   2,000개 이상의 skills를 검사해 1,500개가 넘는 위험을 찾았고, 일부는 배포 전에 차단했으며 과거에 만들어진 스킬도 재검사해 취약점을 보완했다. 효과가 있었던 것은 정규식 같은 결정적 검사와 LLM 평가를 함께 쓰는 방식이었고, 모호한 경고나 근거가 약한 신호는 오히려 운영을 어렵게 만들었다.
5. 13:03
   이 접근은 skills에만 국한되지 않고 plugins, MCP servers, rules, hooks에도 그대로 확장된다. 다만 대상마다 위험이 다르므로 approval gate, audit logs, trusted gateways 같은 실행 수준의 강제 장치를 두고, 신뢰할 수 있는 AI marketplace를 통해서만 공유하는 구조가 중요하다.

실무 인사이트

• AI 도구를 도입할 때는 출력 품질보다 배포 전 검사 체계를 먼저 설계해야 하며, 로컬·CI·마켓플레이스의 3단 검증이 가장 실무적이다.
• 정책은 자연어 규칙만으로 충분하지 않으므로, 결정적 탐지와 LLM 평가를 함께 써서 재현성과 맥락 이해를 동시에 확보해야 한다.
• 스킬·플러그인·MCP 서버를 모두 공급망으로 보면, 외부 공유보다 내부 승인된 마켓플레이스를 거치는 운영 방식이 보안과 감사 측면에서 유리하다.