Computer Use at the Edge of the Statistical Precipice — Pierluca D'Oro, Programma Labs

한 줄 핵심

컴퓨터 사용 에이전트 평가는 정적·결정적 벤치마크와 단순 승률로는 쉽게 왜곡되므로, 다양성과 검증이 보장된 환경과 구조를 반영한 신뢰도 있는 지표로 다시 설계해야 한다.

시간별 요약

1. 0:01
   재생 가능한 성공 궤적만 저장해 그대로 실행하는 replay agent가 OSWorld나 Mobile World 같은 표준 벤치마크에서 프런티어 모델과 같거나 더 높은 점수를 낼 수 있다. 이는 벤치마크가 정적·결정적일 때 얼마나 쉽게 게임될 수 있는지 보여준다.
2. 3:00
   이 문제의 핵심은 환경 설계에 있으며, 다양성·검증 가능성·샌드박스·현실성을 함께 만족하는 원칙이 필요하다. 여러 축의 변동을 주되 모든 조합이 유효한지 확인할 수 있어야 하고, 그렇지 않으면 다양한 환경이 아니라 깨진 환경만 늘어나게 된다.
3. 6:02
   DGword는 15개 Android 앱과 387개의 검증된 시나리오, 3.2 million개의 설정을 통해 이러한 원칙을 구현한 벤치마크다. 금액, 연락처·이메일 데이터 프로필, 테마, 시작 화면 같은 축을 조합하되 compiler처럼 검증해서 유효한 설정만 남기는 구조가 핵심이다.
4. 10:02
   환경 변동이 커지면 프런티어 모델의 강인성도 축별로 크게 흔들리는 것이 드러난다. 같은 과제라도 시작 화면이나 테마만 바꿔도 성능이 달라질 수 있으므로, 실제 배포 판단은 단일 점수보다 축별 민감도까지 함께 봐야 한다.
5. 11:01
   평가의 두 번째 핵심은 불확실성을 정직하게 측정하는 것이며, 행동 샘플링의 변동성과 환경 변동성을 함께 반영해야 한다. 단순 rollout 기반 신뢰구간은 coverage가 크게 부족해 과신을 부르고, 구조를 반영한 방법만이 실제 의사결정에 쓸 수 있다.
6. 15:00
   재생 가능성 제거와 정확한 confidence interval 확보가 컴퓨터 사용 에이전트 평가의 최소 기준이다. 벤치마크를 쉽게 속일 수 있는데도 점수만 믿으면, 연구 방향도 배포 의사결정도 잘못된 최적화로 흐를 수 있다.

실무 인사이트

• 컴퓨터 사용 에이전트 벤치마크는 단일 성공률보다 입력 변형 축과 초기 상태를 명시적으로 설계해 재현 가능한 다양성을 확보해야 한다.
• 평가 리포트에는 평균 점수뿐 아니라 구조를 반영한 confidence interval과 축별 성능 편차를 함께 넣어야 배포 판단의 과신을 줄일 수 있다.
• replay agent가 통하는 환경은 모델 성능이 아니라 벤치마크 취약점을 보여주므로, 새 평가를 만들 때는 먼저 '속일 수 있는지'부터 검증해야 한다.