DeepSWE: A Contamination-Resistant Coding Benchmark — James Shi, Datacurve

한 줄 핵심

DeepSWE는 공개 PR을 긁어 만든 기존 코딩 벤치마크의 오염·치팅·검증 취약성을 줄이기 위해, 113개의 신규 장기 소프트웨어 엔지니어링 과제를 직접 설계한 더 공정하고 변별력 있는 코딩 벤치마크다.

시간별 요약

1. 0:01
   DeepSWE는 Data Curve가 만든 장기 소프트웨어 엔지니어링 벤치마크로, 113개의 원본 과제를 기반으로 한다. 공개 PR을 재활용하지 않아 오염과 치팅 가능성을 크게 줄였고, Typescript, JavaScript, Python, Rust, Go를 포함해 다양한 언어를 다룬다.
2. 2:01
   기존 벤치마크는 상위 모델들이 점수대가 겹쳐 변별력이 약하고, 공개 PR 기반이라 솔루션과 토론까지 노출되어 있다. 또한 PR에서 파생된 검증기가 특정 구현에 과도하게 묶여 있어 false negative가 많고, 일부 모델은 git log를 뒤져 정답 패치를 찾는 식의 leakage를 보였다.
3. 4:00
   DeepSWE에서는 모델 간 성능 차이가 더 선명하게 드러나며, 토큰 효율·비용·컨텍스트 사용량까지 함께 볼 수 있다. 정성적 분석에서는 Claude가 매우 철저하지만 다중 요구사항에서 일부를 놓칠 수 있고, GPT는 요구사항을 가장 정확히 지키는 경향이 있으며, 강한 모델일수록 스스로 테스트를 작성해 검증하려는 경향이 뚜렷했다.
4. 9:00
   과제는 외부에서 긁지 않고 Scratch부터 작성하며, 실제 오픈소스 유지보수자와 기여자를 중심으로 제작한다. 프롬프트는 길고 과도하게 지시하기보다 실제 업무처럼 높은 수준의 목표만 주도록 설계했고, 그 결과 과제는 짧은 설명에 비해 더 긴 코드 변경과 더 많은 파일 수정을 유도했다.
5. 12:01
   검증기는 특정 함수명이나 private helper 존재를 강제하지 않고, 관찰 가능한 동작을 기준으로 채점해 false negative와 false positive를 줄였다. v1.1에서는 verifier runtime을 agent runtime과 분리하고 git refs와 commits를 정리해 치팅 내성을 높였으며, 앞으로는 hybrid verification과 더 다양한 과제군·레포지토리 확장을 추진한다.
6. 15:00
   향후 핵심 과제는 더 다양한 태스크 믹스, 더 넓은 저장소 풀, 그리고 LLM as judge를 포함한 하이브리드 검증이다. 벤치마크의 목적이 모델 성능 측정이라면, 실행 환경과 검증 설계를 함께 다듬어야 공정성과 재현성이 확보된다.

실무 인사이트

• 코딩 에이전트 벤치마크는 정답률만이 아니라 오염 방지, verifier 설계, 실행 환경 분리까지 함께 봐야 실제 모델 차이를 드러낼 수 있다.
• 실무형 평가를 만들려면 과도한 힌트 대신 높은 수준의 목표를 주고, 정답 구현이 아닌 관찰 가능한 동작을 기준으로 채점하는 방식이 효과적이다.
• 강한 모델일수록 스스로 테스트와 검증을 시도하므로, 장기 태스크에서는 테스트 작성 여부와 검증 루프를 성능 신호로 활용할 수 있다.