Your PR Says the Tests Passed. Prove It. - Stephen Chin & Cassandra Chin

한 줄 핵심

TraceTune은 에이전트가 만든 PR의 사실관계를 증거와 연결해 재검토함으로써, 반복 수정과 토큰 낭비를 줄이고 더 정확한 PR을 더 싸게 만들 수 있음을 보여준다.

시간별 요약

1. 0:00
   왜 Cassandra가 TraceTune을 만들었는가 AI로 개발 속도는 빨라졌지만 PR은 여전히 잘못된 정보와 부정확한 해석 때문에 거절되는 경우가 많고, TraceTune은 이런 문제를 줄여 더 좋은 PR과 가벼운 설명용 comic까지 제공하도록 설계되었다.
2. 1:40
   풀 리퀘스트가 토큰 공장에 들어오다 PR 생성 과정에서 반복적인 재시도와 장황한 설명이 토큰을 과도하게 소모하고, 금융 관점에서는 같은 결과를 계속 다시 검증하는 비효율이 문제로 드러난다.
3. 4:35
   에이전트 세션을 가로질러 증거 복구하기 단일 세션의 압축된 컨텍스트에 의존하면 정보가 부정확해지기 쉬우므로, 여러 세션과 감사 흔적을 모아 실제로 무슨 일이 일어났는지 복원하는 방식이 더 신뢰할 만하다.
4. 7:35
   TraceTune의 초기 연구와 리뷰 루프 원래의 TraceTune은 브랜치의 추적 기록을 모아 조사하고, 설명을 보강하며, 부족한 증거를 다시 찾는 루프를 돌려 PR 품질을 높였지만, 마지막 보정 단계에서 여전히 실수가 남을 수 있었다.
5. 9:10
   통과했다고 주장하지만 증거가 없는 경우 검사 통과를 주장하는 PR이라도 실제 추적 기록이 그 주장을 뒷받침하지 않으면 오류가 되며, 병렬로 실행할 수 없는 명령을 동시에 실행했다고 적는 식의 사실 오류가 바로 문제를 만든다.
6. 10:25
   더 싼 작성자가 문제를 해결하지 못한 이유 모델을 더 저렴한 것으로 바꾸는 것만으로는 비용은 줄어도 품질은 오히려 떨어질 수 있으며, 단순한 절감만으로는 정확도와 신뢰성을 함께 얻기 어렵다.
7. 11:15
   Relate 증거 그래프 소개 Relate는 Rust로 만든 임베디드 오픈소스 그래프로, 관계와 증거를 로컬에서 구성해 다중 홉 추론과 설명 가능한 추적을 제공하면서도 LLM 토큰 비용 없이 더 정확한 근거 패킷을 만든다.
8. 13:28
   연결된 브리프와 집중된 리뷰어 왜 필요한지, 어떤 코드인지, 어떤 검사가 있었는지를 관계와 출처가 붙은 하나의 패킷으로 묶으면 작성자는 더 정확한 초안을 만들고, 리뷰어는 더 좁은 범위에서 효율적으로 검증할 수 있다.
9. 15:24
   주장을 제출된 변경사항에 연결하기 최종 결과는 주장과 증거를 직접 연결해 CWD, 예외 상황, 통과한 검사, 변경된 내용이 서로 맞물리도록 정리되며, 그 덕분에 검토자가 납득할 수 있는 PR이 완성된다.
10. 16:26
    PR Bench 결과와 토큰 사용량 PR Bench 측정에서는 TraceTune과 Relate를 결합했을 때 Claude와 Codex 모두에서 품질 점수가 유의미하게 상승했고, 병렬 테스트로 토큰 사용은 늘었지만 전체 비용은 이전보다 절반 수준으로 내려갔다.
11. 19:46
    교훈, 프로젝트 링크와 마무리 발언 증거를 잘 묶고 리뷰 범위를 좁히는 그래프 기반 접근은 더 낮은 비용으로 더 나은 PR을 만들 수 있게 해주며, TraceTune과 Relate는 실무에서 바로 시도해볼 만한 도구로 소개된다.

실무 인사이트

• PR 품질 문제는 코드 자체보다 사실관계와 검증 근거의 불일치에서 많이 발생하므로, 초안 생성보다 증거 수집과 검증 구조를 먼저 설계해야 한다.
• 저가 모델로 전체 흐름을 낮추기보다, 작성은 더 좋은 모델에 맡기고 리뷰·교차검증은 더 가벼운 모델로 분리하는 편이 품질 대비 비용 효율이 좋다.
• 세션 내부 컨텍스트에만 의존하지 말고 감사 로그·추적 정보·관계를 별도 구조로 보관하면, 에이전트 출력의 재현성과 설명 가능성이 함께 높아진다.