From coding to Knowledge work agents — Karan Vaidya, Composio

한 줄 핵심

코딩 에이전트가 빠르게 자율화된 이유는 모델 성능만이 아니라 코드 주변의 역사·맥락·검증·권한·되돌리기 인프라가 이미 갖춰져 있었기 때문이며, 지식 노동 에이전트의 병목도 이제 모델이 아니라 그 인프라를 만드는 데 있다.

시간별 요약

1. 0:00
   대부분의 에이전트 도구 호출은 소프트웨어 공학이다 현재 에이전트의 도구 호출은 대부분 소프트웨어 공학 영역에 몰려 있으며, 다른 업무 영역은 크게 뒤처져 있다. 모델이 계속 좋아져도 지식 노동으로 확장되지 못하는 이유를 설명하는 것이 이 영상의 핵심 문제의식이다.
2. 0:43
   자동완성에서 자율 실행으로의 3년 코딩 에이전트는 tab tab tab 수준의 자동완성에서 완전한 자율 실행으로 빠르게 진화했다. 이 변화는 모델 성능 향상과 함께, 에이전트를 전제로 설계된 하네스와 주변 시스템이 함께 있었기 때문에 가능했다.
3. 1:26
   이미 갖고 있던 발판 코드에는 repo, commit history, tests, CI/CD, review, linters, revert 같은 에이전트 친화적 안전장치가 기본으로 붙어 있다. 반면 지원·재무·영업 같은 지식 업무는 이런 기반이 없어 에이전트가 맨눈으로 일하는 상태에 가깝다.
4. 2:35
   중앙화와 다섯 앱에 흩어진 하나의 거래 지식 업무는 Salesforce, Notion, Gmail, Slack, Zendesk처럼 여러 앱에 정보가 분산되어 있어 단일 진실의 원천이 없다. 그래서 먼저 모든 연결과 로그인과 데이터를 한곳에 모아 에이전트가 맥락을 직접 꿰맬 필요가 없게 만드는 중앙화가 필요하다.
5. 4:11
   기록과, 매번 빈 상태에서 시작하는 에이전트 코드는 Git 덕분에 무엇이 바뀌었고 왜 그렇게 됐는지 과거를 쉽게 추적할 수 있지만, 지식 업무는 대부분의 흔적이 앱마다 흩어져 있어 에이전트가 매번 빈 상태로 시작한다. 모든 행동을 기록하면 에이전트의 메모리와 사람의 신뢰가 동시에 생기고, 조직이 실제로 어떻게 일하는지도 드러난다.
6. 6:55
   두 종류의 컨텍스트, 지도와 스타일 컨텍스트에는 시스템 구조를 이해하는 ‘지도’와 회사만의 기준을 담는 ‘스타일’이 있다. 지식 업무에서는 데이터베이스, PostHog, Salesforce 같은 여러 도구를 함께 읽어야 문서를 쓸 수 있고, 축적된 기록은 조직의 플레이북과 개인·회사 선호를 압축한 컨텍스트가 된다.
7. 9:26
   검증과 코드가 스스로 일을 확인하는 방식 코드는 unit tests, integration tests, type system, compiler, linters, formatters 같은 다층 검증으로 스스로를 점검한다. 이런 검증이 있어 에이전트는 사람 개입 없이도 표준을 맞추고 문제를 좁혀 가며 작업을 끝낼 수 있다.
8. 10:25
   Twitter로 번진 아웃리치 에이전트 대량 채용 이메일을 보내는 에이전트는 형식상으로는 정상 동작했지만, 실제로는 원치 않는 대량 발송 사고로 이어졌다. 실무에서는 이메일 유효성 같은 기술적 정답보다, 아예 보내면 안 되는 상황을 보내기 전에 막는 검증이 더 중요하다.
9. 12:31
   거버넌스와, 결국 삭제된 200개의 이메일 코드에서는 브랜치, human review, code owners, preview deployment 같은 다층 거버넌스로 위험을 통제한다. 지식 업무에서도 Gmail scopes, Salesforce permissions 같은 장치가 있지만 흩어져 있고 프롬프트만으로는 취약하므로, 에이전트가 넘지 못하는 명확한 벽이 필요하다.
10. 15:01
    에이전트가 논쟁할 수 없는 벽 첫 번째 벽은 에이전트가 무엇에 접근할 수 있는지를 결정하는 결정적 접근 제어이고, 두 번째 벽은 접근 후에 무엇을 할 수 있는지를 정하는 정책이다. 이 두 층을 합쳐야 ‘행동하라’는 지시가 아니라 실제 강제력이 있는 거버넌스가 된다.
11. 16:24
    되돌릴 수 있음과, 되돌릴 수 없는 일 코드는 commit revert나 bisect처럼 대부분의 실수를 되돌릴 수 있지만, 지식 업무는 보낸 이메일, 이체, 삭제 같은 작업이 되돌릴 수 없는 경우가 많다. 그래서 되돌릴 수 있는 작업에는 reverse button을, 되돌릴 수 없는 작업에는 sandbox 선검증을 두는 방식이 필요하다.
12. 19:09
    병목은 모델 밖으로 이동한다 이제 모델 자체는 충분히 좋아졌고, 코딩은 자율화 수준에 도달했지만 다른 업무는 여전히 history, context, verification, guardrails, undo가 부족하다. 따라서 다음 병목은 모델 성능이 아니라 주변 인프라이며, Composio는 그 기반을 만드는 데 집중하고 있다.

실무 인사이트

• 지식 노동 에이전트를 도입할 때는 모델 선택보다 먼저 중앙화·기록·권한·검증·되돌리기 구조를 설계해야 실제 자율성이 생긴다.
• 프롬프트로 통제하는 방식은 규모가 커질수록 깨지기 쉬우므로, 접근 제어와 정책 강제는 모델 밖에서 구현하는 편이 안전하다.
• 에이전트의 품질 평가는 정답 여부보다도 ‘하기 전에 막아야 하는 일’을 얼마나 잘 차단하는지까지 포함해야 한다.