Mousepower: agents that can’t be measured, can’t be managed. — Maximillian Piras, Yutori

한 줄 핵심

에이전트를 많이 돌리는 시대에는 실행 자체보다 비용 대비 가치를 측정하고 검증하는 기준을 설계하는 능력이 핵심이며, 그래서 에이전트는 만들기만큼이나 평가·검증 체계와 함께 설계해야 한다.

시간별 요약

1. 0:00
   병렬로 에이전트를 돌리다가 청구서를 맞는 이야기 주요 작업에 집중하는 동안 주변 작업을 에이전트에 병렬로 맡겨 속도를 높이는 일상적 사용 패턴이 소개된다. 하지만 많은 탐색을 시도할수록 결국 비용 청구서가 문제로 떠오르며, 효율과 지출의 균형을 다시 보게 된다.
2. 2:17
   Yutori의 컴퓨터 사용 모델 API나 MCP로 얻을 수 없는 정보는 사람이 컴퓨터를 쓰듯 에이전트가 직접 조작하는 컴퓨터 사용 모델로 해결한다. 이런 모델은 비효율적이지만 마지막 수단으로 유용하며, 실제 제품에서는 고객이 그 가치를 어떻게 체감하는지가 중요하다.
3. 3:39
   에이전트는 측정 문제가 있다 에이전트가 유용하다는 기대는 높지만, 무엇을 기준으로 잘 쓰고 있는지 합의하기가 어렵다. 특히 토큰 비용과 가치의 관계를 어떻게 읽어야 하는지가 핵심이며, 에이전트를 측정하기 어렵다는 것이 전체 논지의 출발점이 된다.
4. 5:01
   초기 사용자는 편향된 표본이다 현재 에이전트를 잘 다루는 사람들은 기술에 익숙한 초기 채택자일 가능성이 높아 전체 시장을 대표하지 않는다. 아직도 많은 사용자는 단순 복붙 수준에 머물러 있으므로, 내부 체감만으로는 보편적 가치를 판단하기 어렵다.
5. 5:43
   James Watt와 horse gin 새로운 기술을 설득하려면 기술의 우월성보다 기존 사용자 ذهن 모델에 맞는 설명이 필요하다는 역사적 사례로 James Watt의 steam engine이 제시된다. 당시 horse gin을 대체하는 맥락에서, 사람들은 완전히 다른 기계보다 익숙한 기준에 비춰 이해 가능한 도구를 원했다.
6. 7:07
   부정확하지만 읽히는 horsepower James Watt는 horse의 기준으로 steam engine의 효율 향상을 설명하기 위해 horsepower라는 지표를 만들었다. 이 지표는 과학적으로 완벽하지 않았지만, 사용자가 ROI를 계산하고 기술 채택을 검토하게 만드는 데 충분히 읽히는 언어였다.
7. 9:12
   과소 사용과 과도 지출 토큰 예산을 짧은 기간에 소진하거나 효율을 과시하는 지표 게임이 생기면서, 실제 가치와 지출의 정렬이 무너진다. 이 악순환을 끊으려면 토큰 사용량 자체보다 더 좋은 가치 측정 방식이 필요하다.
8. 10:33
   토큰은 산출물이고, 핵심은 결과다 토큰은 내부 시스템의 출력일 뿐이며, 최종적으로는 bug 수 감소나 support request 처리 같은 결과로 연결되어야 한다. 따라서 AI spend를 설명하려면 토큰과 성과 사이의 인과를 명확히 추적해야 한다.
9. 11:52
   병목은 코드 생성에서 검토로 옮겨갔다 코딩 에이전트가 코드를 빠르게 만들어도, 사람의 code review가 느리면 전체 속도 향상은 제한된다. 결국 병목은 생성이 아니라 검증으로 이동하며, 에이전트 시대에는 review의 전제와 기준을 다시 설계해야 한다.
10. 13:53
    Mousepower와 농담 같은 측정 장치 horsepower에 대응하는 비유로 mousepower가 제안되지만, cursor 이동량만 재는 식의 단순 지표는 정보 공간의 복잡성 때문에 실용적이지 않다. 대신 에이전트를 판매할 때는 출력 검증 방법까지 함께 제공해야 하며, 그 기준을 세우는 사고틀이 중요하다.
11. 16:37
    에이전트 작업을 고르는 엔트로피 매트릭스 작업 수행 단계의 불확실성과 결과 검증의 불확실성을 축으로 삼아, 어떤 일을 에이전트에 맡길지 판단하는 매트릭스가 제시된다. 수행은 어렵지만 검증이 더 쉬운 영역이 가장 유망하며, 필요하면 검증 에이전트까지 함께 설계하는 것이 효과적이다.

실무 인사이트

• 에이전트를 도입할 때는 자동화 범위보다 먼저 성공 기준과 검증 절차를 정의해야 실제 ROI를 계산할 수 있다.
• 토큰 사용량 같은 내부 지표보다, 처리한 업무량·절감된 시간·완료된 결과처럼 비즈니스 결과에 직접 연결된 지표를 우선 설계해야 한다.
• 완전히 새로운 작업보다 수행 불확실성은 있지만 검증은 비교적 쉬운 작업이 에이전트 적용의 우선순위가 되기 쉽다.