미국 상위 회계법인 30%가 쓴다는 AI 회사 베이시스 공동창업자의 19분 답 — 회사가 AI 에이전트를 믿고 맡기게 만드는 법

한 줄 핵심

회사에서 AI 에이전트를 퍼지게 하려면 사용자에게 모든 판단을 떠넘기기보다, 일하는 방식을 문서화해 단순하고 일관되게 만들고 그 과정을 평가·수정하는 체계를 갖춰야 한다.

시간별 요약

1. 0:00
   오프닝 — 개인은 100배 빨라졌는데 회사는 왜 그대로일까 개인은 코딩 에이전트로 생산성이 크게 올랐지만, 기업 전체의 생산성은 왜 비슷한지 문제를 제기한다. 회계법인 예시를 통해 회사는 사람에게도 절차를 통해 일을 맡기듯, 에이전트에도 신뢰 가능한 작업 방식이 필요하다는 관점을 세운다.
2. 3:40
   코딩 에이전트 스타일 제품의 두 문제 현재의 에이전트 제품은 복잡성을 사용자에게 떠넘겨 숙련도와 기억 관리가 필요하고, 회사마다 제각각 쓰게 되어 조직적 표준화가 깨진다. 그래서 생산용 에이전트는 사용이 단순해야 하고, 조직 차원의 절차를 일관되게 따르도록 설계돼야 한다.
3. 6:31
   단순하고 믿을 만하게 에이전트는 결과가 완벽할 필요는 없지만, 같은 상황에서 같은 방식으로 행동해야 신뢰를 얻는다. PDF 읽기 같은 작업에서도 여러 가능한 방법 중 하나를 상황에 따라 임의로 고르지 말고, 미리 정한 기준으로 일관되게 처리해야 한다.
4. 8:35
   의견이 분명한 에이전트 좋은 에이전트는 무엇을 우선할지에 대한 분명한 의견을 갖고 있어야 한다. 예를 들어 tax work에서는 원문을 먼저 읽게 하거나, PowerPoint는 최종 이미지를 확인하게 하는 식으로 정확도뿐 아니라 지연 시간 같은 비용까지 고려해 기준을 정한다.
5. 10:19
   결과 평가와 궤적 정답이 있는 결과만 채점하는 방식은 실제 생산 환경 전체를 대표하기 어렵고, 긴 작업에서는 판단 기록인 궤적 전체를 봐야 한다. 특정 평가 세트의 정답 여부보다, 궤적에서 에이전트가 정한 행동 원칙을 실제로 반복하는지 확인하는 것이 더 중요하다.
6. 11:57
   412달러 6센트 — 은행 대사 예시 은행 대사에서 412달러 6센트 차이가 난 사례를 통해, 숫자를 맞추기 위해 임의의 플러그를 넣는 대신 차이의 원인을 설명하도록 행동을 정해야 한다는 점을 보여준다. 이때 에이전트의 행동은 시스템 프롬프트만이 아니라 도구 설명, 진행 중 공개 방식, 모델 학습까지 합쳐진 런타임 컨텍스트에 의해 결정된다.
7. 14:20
   행동을 정하는 다섯 가지 · 행동 명세 행동은 시스템 프롬프트, 스킬, 검토 도구, 조정 도구, 그리고 모델의 습관 같은 여러 요소가 함께 만든다. 그래서 중요한 의견만 추려 행동 명세로 문서화하고, 이를 팀 정렬과 평가 기준으로 동시에 사용해야 한다.
8. 16:03
   정답지 없이 잡아낸 채점 모델 · 포킹 행동 명세를 기준으로 실행 기록을 채점하는 별도 모델은 정답지가 없어도 규칙 위반을 찾아낼 수 있다. 또 포킹으로 특정 시점의 대화를 갈라 다른 조건을 실험하면, 왜 그 행동이 나왔는지 원인을 더 잘 추적할 수 있다.
9. 18:17
   고친 건 프롬프트가 아니라 도구 · 시뮬레이션 문제를 고칠 때는 프롬프트 문구만 바꾸는 것보다 검토 도구나 통과 기준 같은 하네스를 조정해야 실제 행동이 바뀐다. 포킹이 무겁다면 서브 에이전트로 생산 환경을 흉내 내는 시뮬레이션을 돌려 빠르고 저렴하게 행동 변화를 실험할 수 있다.
10. 20:46
    회사가 에이전트를 믿게 되는 길 의견을 글로 남기고, 실행 중에 그 의견을 확인하며, 어긋나면 다시 고치는 순환이 닫혀야 에이전트에 대한 신뢰가 쌓인다. 이는 PR을 볼 때 상대의 역량과 변경의 위험도를 함께 보는 것처럼, 작은 작업에서 시작해 점차 더 중요한 업무로 확대되는 방식이다.
11. 22:05
    37수 알파고의 37수 사례를 들어, 조직이 원하는 것은 놀라운 한 수가 아니라 신뢰할 수 있는 반복 가능성임을 강조한다. 에이전트가 확산되려면 단순해야 하고, 팀이 맡기려면 믿을 만해야 하며, 그 기반은 명시된 행동 원칙에서 나온다.
12. 23:25
    마무리 개인의 생산성과 회사의 생산성 사이의 간극은 에이전트를 똑똑하게 만드는 문제보다, 어떻게 일하게 할지 먼저 정하고 그 방식대로 수행하는지 검증하는 문제라는 결론으로 정리된다. 실무적으로는 상황별로 반드시 할 것과 하지 말아야 할 것을 짧은 문장으로 명확히 적어두는 것이 출발점이다.

실무 인사이트

• 에이전트 도입의 핵심은 모델 성능보다 '행동 규칙을 얼마나 명시적으로 설계하고 검증하느냐'에 있다.
• 업무 자동화가 조직에서 확산되려면 사용자 자율성보다 일관성과 재현성이 우선이며, 이를 위해 평가보다 앞서 행동 명세가 필요하다.
• 문제가 발생했을 때는 프롬프트를 먼저 의심하기보다 도구, 검토 기준, 컨텍스트 구성 등 실행 하네스를 분해해 봐야 원인 파악이 빨라진다.