From 36% to 100%: How Self-Improving Agents Write Their Own Skills — Rafal Wilinski, Runlayer

한 줄 핵심

에이전트가 문제를 풀며 얻은 절차를 스스로 스킬로 추출해 조직 전체에 배포하면, 모델 성능에만 의존하지 않고 회사의 실행력을 지속적으로 높일 수 있다.

시간별 요약

1. 0:00
   소개 단일 에이전트의 개선이 아니라 여러 에이전트와 네트워크 효과를 결합해, 회사 전체가 스스로 더 똑똑해지는 구조를 만들 수 있다는 문제의식을 제시한다.
2. 0:32
   어려운 문제는 모두 플레이북이 된다 어려운 문제를 해결할 때마다 그 해결 과정을 팀이 재사용 가능한 플레이북으로 남기면, 같은 난제를 매번 처음부터 풀 필요가 없어진다. 지금까지는 그 지식이 쉽게 사라졌지만, 이를 자동화할 수 있다고 본다.
3. 1:37
   Runlayer 소개 Runlayer는 회사에서 AI를 안전하고 신뢰성 있게 쓰는 경로를 만드는 데 집중한다. 핵심 관심사는 화려한 데모가 아니라 실제 운영 환경에서 믿고 쓸 수 있는 에이전트다.
4. 2:12
   스킬이란 무엇인가 스킬은 에이전트가 필요할 때 읽어들이는 재사용 가능한 플레이북이다. 처음에는 요약만 보이고, 관련성이 높다고 판단되면 전체 내용을 컨텍스트에 주입하는 점진적 공개 방식이 중요하다.
5. 2:51
   에이전트는 이제 몇 시간씩 일할 수 있다 모델과 에이전트 성능이 좋아지면서 독립적으로 긴 시간 작업하는 능력이 실제로 측정 가능한 수준까지 올라왔다. 다만 이 능력이 커진 만큼, 잘못된 방향으로 오래 파고드는 위험도 함께 커졌다.
6. 3:51
   더 긴 작업, 더 깊은 미로 에이전트가 오래 추론할수록 잘못된 가설을 끝까지 밀어붙이며 토큰과 비용을 낭비할 수 있다. 그래서 초반 경로를 올바르게 잡아 주는 스킬이 매우 중요하다.
7. 4:31
   누구도 다시 발견하고 싶지 않은 스킬 롤백 절차, 고객 대응 문구 같은 조직 내부의 실무 지식은 다시 발명하면 안 되는 자산이다. 이런 지식이 컨텍스트와 플레이북 형태로 제공되지 않으면 에이전트는 쉽게 실패하고 비용도 커진다.
8. 5:21
   스킬의 세 가지 문제 현재 스킬 생태계는 마크다운, JSON, CLI처럼 개발자 친화적이라 비기술 조직이 만들고 공유하기 어렵다. 또 스킬 지원이 클라이언트마다 제각각이라 조직 전체로 확산시키기 힘들다.
9. 6:01
   랜덤한 스킬 설치의 위험 무작정 스킬을 설치하면 원치 않는 프롬프트 인젝션이나 과도한 권한, 잘못된 API key 같은 위험이 함께 들어올 수 있다. 또한 좋은 플레이북은 자동으로 생기지 않기 때문에, 의도적으로 축적하지 않으면 지식은 계속 비어 있게 된다.
10. 7:25
    스킬과 MCP 스킬은 방법과 지식을 전달하고, MCP는 도구와 실행 능력을 제공한다. 둘은 경쟁 관계가 아니라 서로 다른 역할을 맡는 보완 관계로 봐야 한다.
11. 7:55
    배포 계층으로서의 MCP MCP를 스킬 배포 계층으로 쓰면 중앙 서버가 조직의 단일 진실 공급원이 될 수 있다. 그러면 클라이언트는 필요한 스킬을 검색해 가져가고, 정책과 권한도 중앙에서 통제할 수 있다.
12. 8:40
    Skills over MCP 워킹그룹 MCP를 통해 지식을 배포하는 방향은 이미 생태계 차원에서 논의되고 있다. 중앙화된 관리와 거의 모든 클라이언트에서의 호환성이 비기술 사용자까지 포함한 배포 문제를 해결해 준다.
13. 10:00
    자기개선 에이전트 이제 관심사는 단순히 에이전트를 더 잘 쓰는 것이 아니라, 에이전트가 스스로 더 좋아지는 구조를 만드는 데로 옮겨간다. 이를 설명하는 대표 사례로 Voyager가 자주 언급된다.
14. 10:10
    Voyager의 스킬 라이브러리 Voyager는 Minecraft에서 얻은 절차를 버리지 않고 코드 형태의 스킬로 저장해 재사용했다. 새 작업이 생기면 처음부터 탐색하지 않고 라이브러리에서 꺼내 써서 학습 효율을 높였다.
15. 11:34
    트레이스로부터 스킬 증류하기 실제 업무를 수행한 실행 흔적을 모아 Frontier LM에게 스킬로 정리하게 하면, 성공한 절차를 재사용 가능하게 바꿀 수 있다. 에이전트가 일을 하고 시스템이 그 결과를 스킬로 추출하는 흐름이 핵심이다.
16. 11:59
    가장 많은 것을 가르치는 것은 실패다 실패한 실행은 빠진 가드레일, 누락된 라이브러리, 예상 못 한 엣지 케이스를 가장 잘 드러내는 신호다. 성공과 실패 모두가 스킬을 더 신뢰할 수 있고 더 견고하게 만드는 입력이 된다.
17. 12:54
    결과: 36%에서 100% 처음에는 36% 성공률에 그치던 작업이, 한 번 발견된 해법을 스킬로 축적한 뒤에는 이후 실행 전부에 적용되며 100%까지 올라갔다. 좋은 스킬은 성공률뿐 아니라 탐색 공간과 토큰, 비용까지 줄인다.
18. 14:04
    최첨단 지능은 빌려 쓰는 것 최고 성능 모델은 영구 자산이 아니라 언제든 바뀌거나 성능이 떨어질 수 있는 임시 자원이다. 그래서 지금 가진 지능으로 절차를 발견하고 조직의 지식으로 고정해 두는 것이 중요하다.
19. 15:23
    조직의 플라이휠 비슷한 실행들을 모아 검증하고, 안전한 스킬만 라이브러리에 넣은 뒤, 이를 모든 에이전트와 클라이언트에 배포하는 순환 구조가 만들어진다. 이렇게 쌓인 지식베이스는 최신 엣지 케이스를 계속 흡수하며 조직 전체를 업데이트한다.
20. 16:38
    진짜 해자 모델이 점점 상품화되는 시대의 차별점은 내부에서 쌓인 절차와 문화, 그리고 그것을 자동으로 증류·배포하는 플라이휠에 있다. 이 구조는 경쟁사가 쉽게 복제하기 어렵고, 비용과 회복력을 동시에 개선한다.

실무 인사이트

• 에이전트 성능을 높일 때는 모델 교체보다 먼저, 성공·실패 트레이스를 스킬로 축적하는 지식 파이프라인을 만드는 편이 효과적이다.
• 조직 전체 배포를 고려한다면 스킬 저장 형식보다도 MCP 같은 중앙 배포·정책 계층을 먼저 설계해야 비기술 부서까지 확장할 수 있다.
• 좋은 스킬은 정답 문서가 아니라 검색 공간을 줄이는 실행 절차여야 하며, 실패 사례까지 흡수할 때 가장 빠르게 개선된다.