Why AI Makes You 100x Faster but Not Your Company - Mitchell Troyanovsky, Basis

한 줄 핵심

AI 에이전트가 개인 생산성은 100배 높일 수 있어도 회사 생산성으로 이어지지 않는 이유는, 조직처럼 일관된 프로세스와 행동 규범을 만들어 신뢰를 쌓는 설계가 부족하기 때문이다.

시간별 요약

1. 0:00
   Basis 소개 Basis는 회계 법인들이 생산 현장에서 믿고 끝까지 맡길 수 있을 만큼 안정적으로 동작하는 에이전트를 만드는 데 집중하며, 실제 경제에서 에이전트가 진짜 일을 하도록 하는 방법을 연구한다.
2. 0:42
   회사 생산성이 왜 뛰지 않았는가 개인은 Codex나 Cloud Code로 생산성이 크게 올랐지만, 기업 전체 생산성은 같은 수준으로 오르지 않았다. 그 이유를 이해하려면 회사라는 기존 지능 시스템이 어떻게 조직되고 운영되는지를 봐야 한다.
3. 1:41
   조직은 프로세스로 확장된다 조직은 위계상 가장 아래 사람의 일상을 모두 알지 못해도, 표준화된 프로세스가 있으면 좋은 결과가 반복된다고 믿고 확장된다. 이 신뢰는 사람들의 자의적 판단이 아니라 승인된 절차가 일관되게 적용된다는 데서 나온다.
4. 3:29
   역량 격차와 프로세스 격차 현재의 에이전트형 도구는 복잡성을 사용자에게 떠넘겨 사용자가 스킬, 기억, 사용 시점을 직접 관리해야 하는 역량 격차를 만든다. 동시에 각 사용자가 에이전트 동작을 제각각 바꾸게 만들어 조직이 필요한 일관된 프로세스를 깨뜨린다.
5. 5:57
   에이전트는 의견이 있어야 한다 생산용 에이전트는 모든 경우에 최적이기보다, 같은 상황에서 비슷하게 행동하는 일관된 의견을 가져야 신뢰할 수 있다. 예를 들어 PDF를 읽는 방식처럼 선택지가 무한한 문제에서는, 명확한 선호가 없으면 결과가 들쭉날쭉해진다.
6. 9:02
   결과 중심 평가가 일반화되지 않는 이유 정답이 있는 소수의 평가셋만으로는 실제 생산 환경의 방대한 장기 궤적을 대표할 수 없다. 그래서 최종 결과보다 궤적 중간의 행동이 기대한 의견대로 나타나는지 관찰해야 실제 일반화 가능성을 더 잘 가늠할 수 있다.
7. 10:18
   은행 조정 행동 사례 은행 조정에서 차이가 났을 때 억지로 맞추는 대신 차이를 설명하게 하려면, 시스템 프롬프트 하나가 아니라 여러 맥락 요소가 함께 행동을 만든다는 점을 봐야 한다. 에이전트가 보는 컨텍스트는 사실상 런타임 훈련 데이터이므로, 토큰 하나까지도 행동에 영향을 준다.
8. 12:03
   행동 명세 Behavior spec은 에이전트가 어떤 의도를 가져야 하는지 미리 정의하는 명세로, 에이전트 시대의 제품 명세에 가깝다. 모든 것을 적기보다 중요한 의견만 선별해 넣으면 팀 정렬과 행동 평가를 동시에 수행할 수 있어, 정답 기반 평가보다 훨씬 많은 신호를 얻을 수 있다.
9. 13:24
   잘못된 결정을 진단하기 위한 분기 Forking은 실패한 궤적을 특정 시점에서 복제해 같은 상태에서 다른 질문이나 다른 컨텍스트를 넣어보는 방법이다. 이를 통해 왜 행동이 어긋났는지 추적하고, 하네스나 컨텍스트를 바꿨을 때 행동이 개선되는지도 직접 확인할 수 있다.
10. 15:15
    서브 에이전트를 활용한 시뮬레이션 서브 에이전트에게 실제 운영 에이전트를 흉내 내게 하고, 동일한 상황에서 어떤 행동을 할지 시뮬레이션하면 비용과 시간을 크게 줄이면서 반복 실험할 수 있다. 완전한 재현성은 fork보다 떨어지지만, 빠르게 가설을 검증하고 행동 분포가 기대와 맞는지 살피는 데 매우 유용하다.
11. 17:10
    동료처럼 신뢰를 쌓기 에이전트도 동료처럼 처음에는 좁은 범위의 일만 맡고, 신뢰와 역량이 쌓일수록 더 중요한 일을 맡게 된다. 사람들은 PR을 볼 때도 중요도와 작성자 역량을 함께 보듯, 에이전트 역시 신뢰 가능한 협업 대상으로 인식되어야 확산된다.
12. 18:10
    에이전트가 더 나은 방식을 찾게 두면 안 되는가 에이전트가 임의로 더 나은 방식을 찾게 두는 것이 항상 생산성과 연결되지는 않으며, 규모화에는 예측 가능성과 신뢰가 더 중요하다. 에이전트를 단순하고 신뢰할 수 있게 만들려면 행동에 대한 의견을 분명히 세우고, 그 의견을 바탕으로 더 나은 신호를 축적해 자기개선 루프를 닫아야 한다.

실무 인사이트

• 생산용 에이전트는 정답률보다 일관된 행동 규범이 먼저다. 실패를 없애는 것보다 같은 상황에서 같은 방식으로 실패하거나 성공하는 것이 운영에는 더 중요하다.
• 평가는 결과만 보지 말고 행동 신호를 직접 봐야 한다. 궤적 중간의 의사결정 지점을 분해해보면, 왜 실패했는지와 무엇을 바꿔야 하는지가 훨씬 선명해진다.
• 컨텍스트, 프롬프트, 도구 설명은 단순 입력이 아니라 에이전트의 런타임 학습 데이터처럼 다뤄야 한다. 작은 문구 차이도 행동을 바꾸므로, 배포 전에는 명세와 시뮬레이션으로 검증하는 습관이 필요하다.