[한영자막] Eval 없이 Skill을 배포하면 안 되는 진짜 이유 — Google DeepMind Philipp Schmid

한 줄 핵심

스킬은 그냥 배포하면 안 되며, 모델이 실제로 잘 쓰는지와 오작동하지 않는지를 검증하는 eval이 있어야만 성능 향상, 비용 절감, 안전한 폐기가 가능하다.

시간별 요약

1. 0:00
   스킬을 사용하는 사람은 많지만 eval을 갖춘 경우는 적고, 특히 에이전트의 비결정성 때문에 실패 원인이 스킬 문제인지 모델 한계인지 구분하기 어렵다. 따라서 스킬 배포 전 검증 체계를 갖추는 것이 출발점이다.
2. 2:01
   사용자용 에이전트와 고객용 에이전트는 스킬의 동작 방식이 다르며, 고객은 스킬을 직접 인지하지 못하므로 모델이 스킬을 언제 써야 하는지 더 명확하게 설계해야 한다. 스킬은 capability skills와 preference skills로 나뉘며, 전자는 모델이 발전하면 제거할 수 있고 후자는 팀·조직의 고유한 선호를 안정적으로 지키는 데 중요하다.
3. 6:01
   좋은 스킬은 짧고 명확한 설명, 단계적 정보 공개, 외부 참조 분리, 목표와 제약 중심의 지시로 구성되어야 한다. 특히 과도한 장황함, 불필요한 no-op, 과잉 trigger, 항상 같은 절차를 스킬로 구현하는 실수는 비용과 품질을 함께 악화시킨다.
4. 10:01
   스킬 평가는 성공 사례뿐 아니라 실패 사례를 함께 포함해야 하며, 실제 생산 데이터가 가장 유용하다. 10~20개 정도의 작은 샘플로 시작해도 충분히 많은 문제를 찾을 수 있고, isolated run과 여러 번의 trial로 에이전트의 편법과 비결정성을 통제해야 한다.
5. 12:00
   Gemini Interactions API 사례처럼, JSON 테스트 케이스와 간단한 실행 스크립트만으로도 스킬 성능을 크게 끌어올릴 수 있다. 내부적으로는 각 스킬마다 regression test를 붙이고, diff가 들어올 때마다 eval을 돌려 통과하지 못하면 병합하지 않는 방식이 핵심이다.

실무 인사이트

• 스킬 평가는 '스킬이 로드됐는가'보다 '최종 작업을 제대로 해결했는가'를 기준으로 설계해야 실제 품질을 잡아낼 수 있다.
• 스킬이 항상 필요한 구조인지 먼저 점검하고, 절차가 고정돼 있다면 스킬보다 script나 자동화가 더 싸고 안정적이다.
• 스킬을 삭제할 때도 eval은 남겨야 하며, 모델 업데이트로 성능이 유지되는지 확인하면서 필요한 순간에만 스킬을 재도입하는 운영이 효율적이다.