Why 80% Reliability Isn't Good Enough — Felipe Blanes, Amazon AGI Lab

한 줄 핵심

벤치마크나 정적 평가만으로는 고객 신뢰를 얻을 수 없으며, 실제 고객 신호를 바탕으로 성공 기준을 정의·수집·진단·반영하는 평가 플라이휠을 계속 돌려야 제품이 좋아진다.

시간별 요약

1. 0:00
   소개 Amazon AGI lab에서의 역할과 함께, 고객 신뢰를 얻는 평가를 설계하는 방법을 다룬다. 핵심 문제는 좋은 점수보다 실제 고객이 신뢰하고 쓰게 만드는 평가 방식이다.
2. 0:47
   Nova Act란 무엇인가 Nova는 브라우저 에이전트를 만들 수 있게 해주는 도구이며, 연구 프리뷰로 시작해 고객 피드백을 빠르게 받는 방향으로 발전했다. 이후 개발자 경험을 개선하고 AWS에서 프로덕션용 서비스로 출시했다.
3. 1:57
   고객과 직접 일하기 고객 온보딩과 지원을 통해 실제 고객의 문제와 제품이 그 문제를 얼마나 잘 풀고 있는지 파악하는 역할이 중요했다. 이 과정이 이후 평가 방식 개선의 출발점이 된다.
4. 2:22
   벤치마크의 착시 벤치마크에서 최적화한 결과는 실제 배포 환경에서 고객의 사용 방식과 충돌할 수 있다. 많은 실패는 평가가 정적이고 현실의 행동 변화를 따라가지 못하기 때문에 생긴다.
5. 3:21
   정적 평가와 희망 기존 개발 흐름은 요구사항을 받고 만들고, 정적 평가를 통과하면 배포한 뒤 잘 되기를 바라는 구조다. 이 방식은 고객 사용 맥락을 반영하지 못하면 쉽게 무너진다.
6. 4:26
   고객 루프를 닫기 문제는 더 나은 벤치마크가 아니라 고객 피드백이 평가로 다시 들어오게 만드는 구조다. 고객의 실제 반응을 수집해 개발과 평가를 연결해야 한다.
7. 4:41
   평가 플라이휠 평가는 한 번 끝나는 작업이 아니라 계속 반복되는 루프로 운영해야 한다. 성공 정의, 신호 수집, 격차 진단, 의사결정 반영의 순환이 핵심이다.
8. 4:56
   1단계: 성공 정의하기 성공은 팀이 생각하는 기준이 아니라 고객이 성공이라고 느끼는 기준이어야 한다. 평가의 출발점은 고객 관점의 목표를 정확히 맞추는 일이다.
9. 5:11
   2단계: 신호 수집하기 계측과 데이터 수집은 기본이지만, 숫자만으로는 충분하지 않다. 고객이 실제로 무엇을 하려는지 직접 확인하는 대화가 빠지면 중요한 맥락을 놓칠 수 있다.
10. 5:31
    고객과 대화하기 고객을 만나고, 일정 잡고, 현장을 이해하는 과정이 데이터 해석보다 더 중요한 경우가 있다. 관측 데이터는 고객이 진짜 겪는 문제를 완전히 드러내지 못할 수 있다.
11. 5:51
    3단계: 격차 진단하기 수집한 신호를 모델 실패, 엔지니어링 결함, 제품 포지셔닝 문제로 나눠야 한다. 이렇게 분류해야 평가 개선, 버그 수정, 제품 개선으로 연결된다.
12. 6:56
    4단계: 의사결정에 반영하기 진단한 격차는 우선순위를 정해 연구, 엔지니어링, 제품 결정으로 넘겨야 한다. 이 순환을 반복할수록 평가와 제품이 함께 개선된다.
13. 7:26
    고객 여정의 네 단계 고객은 사용 초기, 얼리어답터 단계, 확장 단계, 그리고 미래 기능을 만드는 단계로 이동한다. 각 단계마다 필요한 신호와 제품이 보완해야 할 격차가 달라진다.
14. 9:35
    1가지 교훈: 신뢰의 급경사 80% 신뢰도는 고객에게는 신뢰가 아니라 추가 감시와 수동 작업을 뜻할 수 있다. 반면 90% 수준에 가까워지면 고객은 작업을 맡길 수 있다고 느끼기 시작한다.
15. 11:10
    2가지 교훈: 한계를 투명하게 말하기 잘하는 것, 개선 중인 것, 범위 밖인 것을 명확히 구분해 알려야 한다. 특히 안 되는 것을 숨기지 않는 투명성이 높은 벤치마크보다 더 큰 신뢰를 만든다.
16. 12:45
    3가지 교훈: 예상 밖의 사용 사례 Amazon Leo, Hertz, Sola 같은 고객과의 협업은 캐싱, 비개발자용 경험, 더 유연한 제어 같은 새로운 요구를 드러냈다. 가까운 고객과의 작업은 다음 기능의 방향을 예측보다 더 잘 보여준다.
17. 14:44
    네 가지 원칙 평가 시나리오는 상상이 아니라 실제 운영에서 가져와야 하고, 실행 가능한 범주로 나눠야 한다. 또한 제품의 한계를 솔직히 공유하고, 플라이휠은 가능한 한 빠르게 돌려야 한다.
18. 15:59
    평가는 매주 더 똑똑해져야 한다 평가가 매주 더 정교해지지 않는다면 이미 낡아가고 있다는 신호다. 고객 변화에 맞춰 평가도 계속 진화해야 한다.
19. 16:14
    두 가지 핵심 요약 평가는 내가 중요하다고 생각하는 것이 아니라 고객이 중요하게 여기는 것을 반영해야 한다. 그리고 평가는 한 번 만드는 것이 아니라 고객과 함께 계속 진화시키는 플라이휠이어야 한다.

실무 인사이트

• 정적 벤치마크 점수보다 고객이 실제로 신뢰하고 맡길 수 있는지에 초점을 맞춰야 제품 성공 가능성이 높아진다.
• 고객 인터뷰와 관측 데이터를 함께 써야 실패 원인을 모델, 엔지니어링, 제품 포지셔닝 문제로 분해해 빠르게 고칠 수 있다.
• 평가 체계를 주간 단위로 갱신하는 운영 리듬을 만들면, 제품과 함께 평가도 계속 살아 있게 유지할 수 있다.