[한영자막] 코딩 에이전트의 Agentic Search와 Vector Search, 직접 평가해봤습니다 — Braintrust

한 줄 핵심

AI 기능은 감으로 출시하면 안 되며, 데이터셋·과제·채점 기준·실험을 갖춘 평가를 통해 코딩 에이전트의 검색 방식 같은 설계 선택을 정량적으로 비교해야 한다.

시간별 요약

1. 0:00
   평가란 무엇일까요? 평가는 AI 시스템의 품질과 변화를 데이터로 확인하는 방법이며, 실제 사례를 통해 개념을 끝까지 연결해 설명한다.
2. 0:29
   느낌으로 출시하지 마세요 기능을 몇 번 써보고 괜찮아 보인다는 이유로 배포하는 방식은 위험하며, 출시 판단은 직관보다 근거가 먼저여야 한다.
3. 0:49
   평가는 어떤 질문에 답할까요? 평가는 어떤 LLM이 적합한지, 다양한 현실 상황에서 성능이 어떤지, 비용 대비 성능이 어떤지, 브랜드 톤을 유지하는지, 성능 저하를 언제 감지할지 같은 질문에 답한다.
4. 1:14
   아첨 성향 업데이트 사례 OpenAI 모델 업데이트처럼 도움이 될 것이라 기대한 변화가 오히려 과도한 아첨과 진실성 저하를 만들 수 있으며, 이런 회귀를 평가가 먼저 잡아야 한다.
5. 2:09
   평가의 네 가지 요소 평가는 데이터셋, 과제, 채점 시스템, 실험으로 구성되며, 각 요소를 바꾸면 서로 다른 실험이 되고 그 결과를 비교해 개선점을 찾는다.
6. 4:19
   실험 비교와 결과 분석 여러 실험을 나란히 비교하면 개선과 회귀를 확인할 수 있고, 개별 행까지 들어가 어떤 테스트 케이스가 달라졌는지 추적할 수 있다.
7. 4:39
   자연어로 trace 조회하기 트레이스와 실험은 자연어 질의로 요약·문제 지점·최고 성능 실험을 찾을 수 있으며, 긴 대화나 드리프트, 환각 같은 문제를 발견하는 데 유용하다.
8. 5:34
   관측과 평가의 선순환 운영 로그를 수집하는 관측성과 평가를 함께 써야 실제 운영 데이터가 다시 실험 데이터가 되고, 그 결과가 코드 변경과 재배포로 이어지는 개선 루프가 완성된다.
9. 5:49
   평가는 팀 작업입니다 평가는 AI 엔지니어, PM, 도메인 전문가, 데이터 분석가가 함께 해야 하며, 각자 데이터 수집·가설 설정·정답 정의·분석을 맡아야 한다.
10. 7:34
    Agentic Search와 Vector Search 실험 코딩 에이전트에서 agentic search와 vector search를 비교 평가한 사례를 소개하며, Cursor의 semantic search 관련 논의를 실제 실험으로 검증한다.
11. 8:24
    Vector Search의 작동 방식 Vector Search는 코드나 텍스트를 embedding으로 바꿔 유사한 조각을 찾는 방식이며, 의미적으로 가까운 청크를 반환해 질의에 답한다.
12. 9:24
    Agentic Search의 작동 방식 Agentic Search는 grep, find, ls, cat, bash 같은 도구로 코드베이스를 인간처럼 탐색하며, 함수 호출을 따라가며 필요한 위치를 스스로 찾아간다.
13. 10:24
    평가 데이터셋 만들기 Microsoft의 TypeScript go repo에서 버그가 있던 커밋과 수정 PR을 골라, diff를 바탕으로 버그를 찾는 과제를 생성해 평가 데이터셋을 만들었다.
14. 11:19
    Claude Code에서 두 검색 방식 비교 Claude Code를 공통 실행 환경으로 사용해 실험의 일관성을 유지했고, agentic search는 기본 동작을 그대로 쓰고 vector search는 프롬프트와 disallowed tools flag로 agentic search를 막아 구현했다.
15. 13:04
    고아 trace 문제 해결 하위 프로세스로 실행된 Claude code 때문에 trace가 끊기는 문제를 부모 span ID를 환경 변수로 전달해 해결했고, 이후 모든 LLM 호출과 터미널 명령을 추적할 수 있게 됐다.
16. 14:24
    테스트로 결과 채점하기 채점은 Microsoft TypeScript Go test suite를 통과하면 100%, 실패하면 0%로 주는 단순한 이진 평가로 구성했다.
17. 14:44
    같은 정확도, 4배의 비용 두 방식의 정확도는 같았지만 vector search가 agentic search보다 4배 더 비쌌고, 그 차이는 검색 호출이 과도하게 누적된 결과였다.
18. 15:09
    Vector Search가 놓친 맥락 Vector Search는 관련 코드 조각은 찾지만 import, 호출 코드, 주변 로직 같은 맥락을 놓치기 쉬워 복잡한 버그를 끝까지 연결하지 못하는 경우가 있었다.
19. 16:14
    Vector Search 비용이 커진 이유 Vector Search는 조각을 찾고 다시 찾는 반복을 많이 만들어 LLM 호출 수가 급증했고, 그 누적 비용이 실행 비용을 크게 키웠다.
20. 16:34
    평가 설계의 한계와 다음 단계 이번 평가는 표본 수가 적고 반복 실험이 충분하지 않았지만, 평가를 끝까지 설계하는 흐름 자체를 보여주는 데 목적이 있었고 더 큰 데이터셋과 더 나은 구현이 다음 과제다.

실무 인사이트

• AI 기능 평가는 한 번의 성공 사례보다 실패·회귀·비용까지 같이 측정해야 배포 판단에 쓸 수 있다.
• 코딩 에이전트의 검색 성능은 단순 정확도보다 맥락 보존 능력과 호출 비용이 함께 봐야 실제 효용이 드러난다.
• 평가 체계는 운영 로그 수집, 샘플링, 재평가, 재배포까지 이어지는 반복 루프로 설계해야 지속적으로 개선된다.