Beating RL With Reflection: GEPA and Optimize Anything — Lakshya A. Agrawal, GEPA

한 줄 핵심

GEPA는 RL처럼 많은 롤아웃과 가중치 업데이트에 의존하지 않고, 텍스트 피드백과 반성적 탐색으로 프롬프트·에이전트·하네스를 빠르게 개선하는 방법이다.

시간별 요약

1. 0:00
   반성적 최적화 소개 텍스트 피드백을 이용해 프롬프트, 에이전트, 모델을 스스로 개선하는 반성적 최적화가 핵심 문제로 제시된다.
2. 0:30
   AI에게 새 작업을 가르치는 방법 현재는 사전학습, SFT, RL 같은 가중치 업데이트가 표준이지만, 이를 위해서는 매우 많은 예시와 계산 자원이 필요하다.
3. 1:00
   샘플 효율성의 병목 도메인 지식 데이터가 부족하고, 에이전트 롤아웃과 평가 자체가 비싸고 느려지면서 샘플 효율성이 실제 문제의 중심이 된다.
4. 2:05
   RL이 버리는 것 검증 보상 기반 RL은 롤아웃의 최종 점수만 학습에 사용하고, 중간 추론 과정·도구 호출·에러 메시지 같은 풍부한 정보를 거의 활용하지 못한다.
5. 3:00
   텍스트 공간에서의 반성 전체 실행 흔적을 읽고 무엇이 잘됐고 무엇이 잘못됐는지 반성하는 방식이 제안되며, 작은 가중치 변화보다 큰 행동 변화를 만드는 프롬프트 수정의 장점이 강조된다.
6. 4:25
   GEPA GEPA는 에이전트를 위한 반성적 프롬프트 최적화 기법으로, 진화적 루프와 파레토 기반 후보 선택을 결합해 텍스트 공간에서 RL처럼 학습한다.
7. 4:50
   GEPA와 GRPO 비교: 3개 예시 대 25,000개 롤아웃 GEPA는 단 3개 데이터 포인트로 한 번의 반성만 수행해도 GRPO의 25,000개 롤아웃보다 더 큰 성능 향상을 보였고, 몇 번 더 반복하면 격차가 더 커졌다.
8. 5:40
   GEPA가 학습하는 것 GEPA는 모호한 말장난식 프롬프트가 아니라 입력 해석, 맥락, 데이터에서 얻은 교훈을 담은 구체적 문제 명세를 학습하며, 멀티홉 질의응답의 검색 전략도 개선한다.
9. 6:55
   GPT-4.1 mini가 GPT-4.1를 이김 GEPA를 적용하면 GPT-4.1 mini가 수학 과제에서 GPT-4.1보다 더 나은 성능을 내도록 만들 수 있고, 그 차이는 프롬프트에 압축된 정보 덕분이다.
10. 7:15
    새로운 AMD NPU: 4%에서 30%로 인터넷 정보가 거의 없는 AMD NPU XDNA2 환경에서도 GEPA는 기존 에이전트의 정확도를 4.25%에서 30.52%로 끌어올리며, 도메인 특화 지식이 프롬프트에 들어가면 성능이 크게 오른다는 점을 보인다.
11. 8:25
    GEPA의 작동 방식 몇 개 예시에 대해 시스템을 실행해 피드백을 모으고, LLM이 이를 반성해 새 프롬프트를 제안하며, 모든 승리 후보를 파레토 풀에 남겨 탐색을 계속한다.
12. 9:00
    단순 루프보다 파레토 풀이 좋은 이유 최고 점수만 남기는 단순 루프는 지역 최적해에 갇히기 쉬운 반면, 파레토 풀은 균형 잡힌 탐색을 유지해 더 높은 최종 성능에 도달한다.
13. 10:10
    벤치마크 전반의 결과 질의응답, 지시 따르기, 주장 검증, 수학 등 여러 벤치마크에서 GEPA는 프롬프트만 바꿔도 약 10% 이상의 향상을 내며 범용성을 보여준다.
14. 10:35
    프롬프트를 넘어: 무엇이든 최적화하기 텍스트로 표현하고 점수를 매길 수 있다면 프롬프트뿐 아니라 CUDA 커널, 숫자, 에이전트 하네스, 클라우드 스케줄링 정책까지 같은 방식으로 최적화할 수 있다.
15. 12:05
    API 문제 집합, 평가 함수, 그리고 도메인별 부가 정보를 넘기면 optimize anything이 이를 바탕으로 후보를 반복 개선하는 단순한 인터페이스가 제공된다.
16. 12:55
    3D 유니콘 Python 프로그램을 최적화해 3D 유니콘 이미지를 생성하는 예시에서, optimize anything을 사용한 결과가 단순한 Claude Opus 출력보다 더 나은 렌더링을 만든다.
17. 13:35
    에이전트 하네스 발견: ARC-AGI 32.5%에서 89.5%로 단순한 4줄 Python 에이전트에서 시작해 16번의 반성만으로 더 정교한 6단계 에이전트가 발견되며, ARC-AGI 정확도가 32.5%에서 89.5%로 오른다.
18. 14:40
    MATH-500 같은 방식으로 MATH-500에서도 GPT-4.1 nano의 정확도를 20% 높일 수 있었고, 목표와 평가만 주면 에이전트 구조를 자동으로 발견할 수 있음을 보인다.
19. 15:10
    에이전트 스킬 최적화: 24%에서 93%로 코딩 에이전트의 스킬을 학습시키면 저장소 구조, 테스트 실행, 빌드 시스템 같은 맥락을 익혀 성능과 실행 시간을 크게 개선할 수 있으며, 저비용 모델에서 학습한 스킬을 더 강한 모델에도 옮길 수 있다.
20. 16:40
    세 가지 최적화 모드 optimize anything은 단일 문제 최적화, 관련 문제를 함께 다루는 멀티태스크 탐색, 배포 시 새로운 문제까지 일반화해야 하는 스킬 생성의 세 모드를 제공한다.
21. 17:30
    실서비스 적용: OCR과 90배 저렴한 에이전트 클라우드 스케줄링 비용 절감, OCR 오류율 감소, 내부 벤치마크 개선, 그리고 GPT OSS 120B를 Claude Opus보다 90배 저렴하게 만드는 사례처럼 실제 생산 환경에서도 효과가 확인된다.
22. 18:40
    더 좋은 모델에는 더 좋은 프롬프트가 필요하다 모델이 좋아질수록 지시 따르기 능력도 좋아지므로, 더 정교한 작업 설명을 줄수록 더 큰 성능 향상이 나오며 프롬프트 최적화의 중요성은 줄지 않는다.
23. 19:10
    프로덕션 추적에서 평가 학습하기 프로덕션 로그를 모으고 일부 궤적에 대해 인간이 자세한 피드백을 달면, 그 데이터를 이용해 평가자 프롬프트를 학습하고 다시 에이전트를 개선하는 데이터 플라이휠을 만들 수 있다.
24. 19:55
    빠른 학습과 느린 학습: 프롬프트와 가중치 프롬프트와 모델 가중치를 함께 최적화하는 fast slow learning이 제안되며, 지속 학습에 필요한 성질을 갖는다는 점이 강조된다.
25. 20:20
    GEPA를 쓰는 사람들 여러 회사와 논문에서 GEPA가 이미 사용되고 있으며, Dropbox·Shopify의 사례와 OpenAI의 소개 글까지 이어지면서 실사용 단계에 들어왔음을 보여준다.
26. 20:45
    시작하기 어떤 프레임워크와 모델에도 쉽게 붙일 수 있고 의존성이 거의 없으므로, 도메인별 실행 흔적과 피드백을 최대한 드러내며 텍스트 공간에서 최적화를 시작하라는 메시지로 마무리된다.

실무 인사이트

• 에이전트 성능 개선은 가중치 재학습보다 먼저, 실행 흔적·에러·도메인 메모를 프롬프트에 구조화해 넣는 방식부터 시도하는 것이 비용 대비 효과가 높다.
• 평가 점수만 보는 최적화보다, 실패 사례와 중간 추론까지 남기는 파이프라인이 훨씬 강한 개선 신호를 제공하므로 로그 설계를 함께 바꾸는 것이 중요하다.
• 문서화된 하네스, 스킬, 평가자 프롬프트를 텍스트 자산으로 취급하면, 프롬프트 최적화가 곧 제품·워크플로 최적화로 확장된다.