500 Skills, Zero Fine-Tuning: LinkedIn's Playbook for AI Agents — Ajay Prakash, LinkedIn

한 줄 핵심

LinkedIn은 내부 코드·도구·지식을 playbooks와 내부 MCP로 구조화해, 범용 coding agent가 사내 맥락을 이해하고 온콜 대응부터 PR 생성까지 엔드투엔드로 수행하게 만들었다.

시간별 요약

1. 0:00
   온콜 장애를 처음부터 끝까지 처리한 사례 알림 링크를 coding agent에 넘기면 코드 검색, 로그·메트릭 조회, 원인 분석, 완화 조치, 인시던트 시스템 업데이트, PR 생성까지 몇 분 안에 이어져 수작업으로 몇 시간 걸릴 일을 자동으로 처리한다.
2. 2:48
   LinkedIn 안에서 coding agent가 실패한 이유 오픈소스 중심으로 학습된 LLM은 LinkedIn의 내부 코드베이스와 시스템을 몰라 환각하거나 중간에 막히기 쉬웠고, 엔지니어가 직접 계속 유도해야 해서 오히려 수작업보다 비효율적이었다.
3. 5:10
   내부 프레임워크 위에 쌓인 1,000개 이상의 저장소 수천 개의 repo, 내부 프레임워크, 자체 데이터베이스와 실험·추적 플랫폼, 구성 관리 시스템까지 포함한 복잡한 환경에서는 에이전트가 사내 맥락을 신뢰할 수준으로 이해하도록 만드는 것이 핵심 과제였다.
4. 6:34
   코드 검색부터 시작한 내부 MCP 내부 MCP를 먼저 구축하고 코드 검색을 연결해 에이전트가 사내 코드 예시와 구현 방식을 직접 찾게 만들었으며, 이후 docs, Jira, Slack, 데이터 플랫폼, feature flags까지 연결해 활용 범위를 넓혔다.
5. 8:30
   도구만으로는 충분하지 않았던 이유 도구로 기본 질문과 예시는 찾을 수 있어도, 실제 업무에 필요한 암묵지와 최신 정보는 문서·wiki·Slack에 흩어져 있었고, 도구 출력이 누적되며 컨텍스트가 과부하되고, 한 번 얻은 지식을 다음 작업에 재사용할 지속 메모리도 없었다.
6. 10:34
   도구처럼 제공한 playbooks와 지시문 playbooks를 MCP를 통해 호출 가능한 도구처럼 제공해, 에이전트가 작업 지침과 사용법을 함께 받아 적절한 도구를 순서대로 실행하도록 만들었고, 누구나 repo에 playbook을 추가해 공유할 수 있게 했다.
7. 12:27
   자기완결성과 분할이라는 두 가지 원칙 각 playbook은 하나의 구체적 작업만 다루는 자기완결형이어야 하며, 큰 playbook은 작은 playbook들로 쪼개서 참조하게 해야 재사용성이 높아지고 필요한 맥락만 점진적으로 불러와 컨텍스트 낭비를 줄일 수 있다.
8. 14:23
   playbooks를 최신 상태로 유지하는 루프 에이전트가 playbook을 사용한 뒤 오래된 정보, 불일치, 누락을 찾아 수정안을 만들고 PR로 업데이트하게 해, 지식베이스가 스스로 개선되는 선순환 구조를 만든다.
9. 15:34
   로컬과 중앙 playbooks로 나눈 아키텍처 공통적으로 쓰는 중앙 playbook과 repo별 로컬 playbook을 분리하고, 모든 LinkedIn 노트북에 자동 설치된 단일 MCP 서버에서 업데이트·인증·텔레메트리를 처리해 운영을 단순화하고 확장성을 확보했다.
10. 17:23
    MCP 한계를 넘기 위한 세 가지 메타 도구 도구와 playbook이 너무 많아지면 MCP 성능이 떨어지므로, search로 후보를 찾고 get schema로 구조를 확인한 뒤 실행하는 3단계 메타 도구 구조를 써서 수천 개의 도구·playbook으로 확장했다.
11. 19:01
    핵심 교훈 성공의 핵심은 속도보다 품질과 신뢰성을 먼저 설계한 점이며, 대규모 조직에서는 최신 모델을 넣는 것만으로는 부족하고 에이전트가 안전하고 일관되게 일할 수 있는 기반 인프라가 필요하다.

실무 인사이트

• 사내 에이전트 성능은 모델 자체보다 내부 지식의 구조화 수준에 더 크게 좌우되므로, 문서·위키·Slack을 playbook 형태로 정리하는 것이 우선이다.
• 도구를 무작정 늘리기보다 search → schema 확인 → 실행처럼 단계화하면 컨텍스트 과부하를 줄이면서 대규모 도구 생태계를 운영할 수 있다.
• playbook을 정적 문서로 두지 말고, 에이전트가 사용 후 자동으로 갱신하도록 설계해야 지식의 노후화를 늦출 수 있다.