Stop Evaluating Models Like It's the 50s - Alejandro Vidal, Mindmakers

한 줄 핵심

LLM 벤치마크는 정답 수를 세는 1950년대식 방식에서 벗어나, IRT로 문항 난이도·변별도·모델 능력을 분리 추정해야 더 정확하고 비용 효율적으로 평가할 수 있다.

시간별 요약

1. 0:02
   클래식 테스트 이론처럼 정답 수만 세는 평가는 모든 문항의 가치를 같게 보는 한계가 있으며, 심리측정의 아이템 반응 이론(IRT)을 LLM 평가에 적용하면 훨씬 더 정교한 해석이 가능해진다. 문항마다 난이도와 변별도를 따로 추정해 벤치마크를 보정하는 것이 핵심이다.
2. 2:00
   각 문항의 난이도 B와 변별도 A를 추정하면, 모델의 능력 theta가 어떤 문항에서 50% 정답률을 넘는지와 문항이 능력을 얼마나 잘 구분하는지까지 볼 수 있다. 이를 통해 같은 정답 수라도 실제 능력 차이를 더 정확히 비교할 수 있고, 신뢰구간도 함께 얻을 수 있다.
3. 8:01
   IRT는 벤치마크 감사에도 유용하며, 변별도가 낮거나 음수인 문항을 찾아 오답 유도, 오라벨, 나쁜 문항을 걸러낼 수 있다. 또 고변별 문항만 추려 벤치마크를 약 484개에서 97개 수준으로 줄이면서도 원래 순위와 거의 같은 결과를 얻을 수 있어 시간과 비용을 크게 절약한다.
4. 13:00
   문항별 예측값과 실제값의 차이인 residual을 보면 이상치, 누수, 오버피팅, 추론 플랫폼 오류를 탐지할 수 있다. 같은 문항을 여러 번 샘플링해 일관성을 확인하면 모델의 비정상적 행동이나 플랫폼 문제를 더 잘 드러낼 수 있다.
5. 17:00
   residual을 활용하면 적응형 테스트와 모델 fingerprinting도 가능해져, 공개되면 위험한 벤치마크를 보호하고 조직별로 유출 여부나 과도한 적중 패턴을 감지할 수 있다. 또한 open weights와 closed weights 같은 집단 간 문항 편향을 비교하거나, 모델 간 오류 패턴의 유사성을 분석해 distillation과 계보 관계까지 추정할 수 있다.

실무 인사이트

• 벤치마크를 만들 때는 정답률보다 변별도와 오라벨 가능성을 먼저 점검해, 낮은 품질 문항을 제거하거나 수정하는 흐름을 표준화하는 것이 좋다.
• 평가 비용을 줄이고 싶다면 무작위 축소보다 고변별 문항 중심의 축소와 적응형 샘플링을 우선 검토해야 한다.
• 모델 비교뿐 아니라 residual 기반 이상 탐지와 집단 편향 분석을 함께 넣으면, 성능 평가가 보안·품질관리·유출 감지까지 확장된다.