Stop Burning Tokens: Why self-improvement needs domain expertise first - Annabell Schäfer, Langfuse

한 줄 핵심

자율 개선 루프는 모든 문제에 통하는 만능 해법이 아니라, 먼저 도메인 전문가의 기준을 고신호 평가로 바꿔 넣을 때만 토큰을 덜 낭비하며 실제 성능 개선으로 이어진다.

시간별 요약

1. 0:00
   자동 개선과 루프 설계가 화제가 되지만, 코드 컴파일처럼 명확한 목표 함수가 있는 문제와 달리 많은 AI 애플리케이션은 정답 기준이 불완전하다. 그래서 초기에 무엇이 목표인지와 무엇이 좋은 결과인지부터 정의하지 않으면, 루프를 돌려도 의미 있는 개선 대신 토큰만 소모하기 쉽다.
2. 2:02
   단일 레이블 분류처럼 yes/no가 분명한 과제를 대상으로 최소 자가 최적화 루프를 구성해, fit·validate·test 데이터셋으로 개선과 일반화를 분리해 검증했다. 이 구조에서 핵심은 단순한 정확도보다 실패 패턴을 읽고, 그 패턴을 바탕으로 프롬프트 업데이트를 제안한 뒤 검증 셋에서만 채택하는 절차였다.
3. 6:01
   초기 프롬프트는 단순한 라벨 목록이었지만, 첫 반복에서 일반적인 분류 원칙, 유사 클래스 구분 규칙, 자주 헷갈리는 패턴과 예시가 추가되면서 정확도가 크게 뛰었다. 특히 68%에서 78%로의 첫 점프는 명확한 실패 모드와 충분한 샘플 수가 있을 때, 모델이 스스로 가설을 세워 개선할 수 있음을 보여준다.
4. 10:01
   이 실험이 잘 작동한 이유는 평가 신호가 매우 선명했기 때문이다. 그러나 실제 도메인에서는 LLM as a judge의 비결정성, 애매한 0~1 점수, 정의되지 않은 기준 때문에 같은 방식이 잘 재현되지 않으며, 그래서 보편적 정확도보다 도메인별 실패 유형 분류가 더 유효하다.
5. 13:02
   실무에서는 도메인 전문가와 함께 좋은 답의 조건을 예시로 구체화하고, 샘플 실행을 보며 왜 그런 판단이 나오는지 역으로 설명을 끌어내는 방식이 효과적이다. 이후에는 운영 데이터로 실패 모드를 계속 갱신하고, 검증과 중단 조건을 루프에 넣어 모델이 벽에 부딪히며 토큰을 태우지 않도록 설계해야 한다.

실무 인사이트

• 평가를 '정확도'로 두기보다 도메인별로 관측 가능한 실패 모드와 합격 기준으로 쪼개면, 자동 개선 루프의 신호 대 잡음비가 크게 높아진다.
• 초기 성능 향상은 대개 거대한 추론보다 첫 번째 고신호 패턴 발견에서 나오므로, 가장 자주 틀리는 케이스를 먼저 라벨링하고 예시화하는 작업이 우선이다.
• 검증 셋과 중단 조건을 명시하지 않으면 루프는 개선이 아니라 탐색이 되므로, 학습·검증·종료를 분리한 운영 구조가 필수다.