Your SKILL.md Is 70% Stuff the Model Already Knows - Nikolay Petrov, Intel

한 줄 핵심

SKILL.md의 가치는 모델이 이미 아는 내용을 반복하는 데서가 아니라, 실제로 새로운 지식을 추가하고 성능을 높이는 부분만 남기도록 평가·압축하는 데 있다.

시간별 요약

1. 0:00
   스킬은 새로운 지식과 절차를 나눈다 스킬은 에이전트에게 반복 가능한 기능을 포장하는 방식이며, 새로운 지식을 주는 스킬과 단순히 행동 순서를 유도하는 스킬로 나뉜다. 이 영상의 초점은 모델이 원래 알고 있는 내용과 스킬이 실제로 추가하는 내용을 구분하는 방법이다.
2. 1:00
   스킬 효과는 두 가지 조건으로 비교한다 스킬을 로드하지 않은 경우와 로드한 경우를 같은 과제로 비교해, 성공 개수와 토큰 사용량, 수행 시간의 차이를 본다. 이렇게 하면 스킬이 단순히 보기 좋은 문서가 아니라 실제로 에이전트 성능을 바꾸는지 확인할 수 있다.
3. 4:00
   항목 단위 질문으로 모델의 지식 범위를 측정한다 스킬과 지침을 세부 항목으로 쪼개고, 각 항목마다 기대 답변을 정한 뒤 질의-응답 형태로 평가한다. 질문 누출을 막고 여러 judge를 사용하면, 모델이 이미 아는 것인지 스킬 덕분에 새로 할 수 있게 된 것인지 더 정밀하게 판별할 수 있다.
4. 6:02
   성능 저하와 과잉 설명을 함께 걸러낸다 평가 결과는 모델이 이미 아는 내용, 스킬 때문에 오히려 나빠진 내용, 스킬 덕분에 새로 익힌 내용, 아직도 못 하는 내용의 네 가지로 나뉜다. 특히 이미 아는 내용을 많이 포함한 스킬은 토큰만 낭비하므로, 제거해도 성능이 유지되는 부분을 덜어내는 최적화가 중요하다.
5. 9:00
   모델은 개념은 잘 알지만 세부는 약하다 큰 모델일수록 스킬의 일반적인 개념은 잘 이해하지만, 정확한 값·순서·조건 같은 세부사항으로 갈수록 이해도가 크게 떨어진다. 따라서 스킬은 개념 설명만으로 끝내지 말고, 실제 실행에 필요한 정확한 디테일을 명시해야 한다.
6. 12:03
   평가는 스킬 최적화의 출발점이다 스킬을 줄였을 때도 성능이 유지되면 컨텍스트와 토큰을 절약할 수 있고, 반대로 빠진 정보가 성능을 떨어뜨리면 그 부분을 다시 보강할 수 있다. 이런 작업은 직감보다 평가 중심으로 해야 하며, 스킬 명세·이름·라우팅까지 포함한 체계적 실험이 필요하다.

실무 인사이트

• SKILL.md는 길이보다 정보 밀도가 중요하므로, 모델이 이미 아는 일반론은 과감히 제거하고 실제로 성능을 바꾸는 세부 규칙만 남기는 편이 좋다.
• 스킬 평가는 단순 성공률만 보지 말고, 스킬 추가 전후의 성능 저하와 토큰 비용까지 함께 비교해야 최적화 방향이 선명해진다.
• 항목 단위의 질문-정답 세트를 만들어 정기적으로 검사하면, 스킬이 새로운 지식을 주는지 아니면 중복된 설명만 늘리는지 빠르게 판별할 수 있다.