The Self-Improving OSS Agent Stack — Marc Klingen, Langfuse

한 줄 핵심

좋은 에이전트는 프롬프트보다 루프와 평가 데이터로 개선되며, 인간은 목표·데이터셋·평가기준을 정하고 나머지 반복 작업을 AI에 맡기는 방향으로 이동하고 있다.

시간별 요약

1. 0:00
   소개 Langfuse에서 관찰한 자기개선형 에이전트와 오픈소스 참고 스택의 흐름을 소개하며, 특정 스택에 국한되지 않는 일반적인 시사점을 다루는 영상이다.
2. 0:42
   프롬프트보다 루프 모델이 충분히 좋아지면서 단순히 프롬프트를 잘 쓰는 것보다, 반복 실행과 피드백을 돌리는 루프를 설계하는 일이 더 중요해졌다.
3. 1:12
   모델이 얼마나 멀리 왔는가 초기에는 단일 HTML 파일 수준의 자동화도 어려웠지만, 이제는 다중 파일 편집과 더 복잡한 에이전트 작업이 가능할 정도로 모델 역량이 크게 향상되었다.
4. 1:42
   온라인과 오프라인 에이전트 루프 실제 생산 환경의 추적·모니터링과 오프라인 데이터셋·평가·실험·배포를 하나의 순환 구조로 묶어야 하며, 둘 중 하나만 보면 생산성과 정확성이 어긋난다.
5. 3:06
   수동에서 자동으로 처음에는 사람이 traces를 보고 데이터셋과 평가를 손으로 갱신하지만, 점점 AI가 이 반복 작업을 대신 돌리는 방향으로 이동한다.
6. 3:16
   루프의 층위 가장 낮은 토큰 생성 수준부터 가장 높은 목표 설정 수준까지 여러 겹의 루프가 있으며, 모델이 좋아질수록 더 상위의 추론·수정·검증 루프까지 자동화할 수 있다.
7. 4:06
   여전히 인간이 필요한 지점 데이터셋에 무엇을 넣을지와 평가 기준을 어떻게 바꿀지는 사람이 검토해야 하며, 에이전트가 제안한 수정도 과적합이나 엉뚱한 최적화를 막기 위해 사람이 확인해야 한다.
8. 5:01
   AI의 수정안 제안 생산 traces와 재현 가능한 실패 사례가 있으면, AI는 여러 개선 후보를 빠르게 제안하며 데이터셋에 대해 탐색적으로 성능을 끌어올리는 역할을 잘한다.
9. 5:46
   데이터셋과 평가의 유지보수 고객 지원 같은 실제 사용 패턴이 계속 변하므로 데이터셋과 evaluator도 함께 갱신해야 하며, AI는 반복되는 오류 패턴을 바탕으로 새 평가 기준을 제안하는 데 유용하다.
10. 7:00
    목표는 계속 움직인다 AI 애플리케이션의 목표는 처음엔 모호하지만 운영 중 드러나는 실패 사례를 통해 계속 구체화되므로, 방향 설정은 사람이 맡고 세부 개선은 AI가 맡는 구조가 적합하다.
11. 8:10
    투입 시간과 품질 완전 수동은 시간 대비 품질이 낮고, 완전 자동은 방향을 잃기 쉬우므로, 중요한 지점만 사람이 개입하고 나머지는 자동화하는 중간 지점이 가장 효율적이다.
12. 10:04
    사용자 신호를 입력으로 넣기 불만, 수정 요청, 내부 제안처럼 사용자가 남기는 다양한 암묵적·명시적 신호를 루프에 흡수하면, 개발자가 직접 수집하지 않아도 개선 파이프라인이 돌아간다.
13. 10:24
    자기개선형 변경 로그 작성기 데모 배포된 변경사항을 바탕으로 문서와 changelog를 자동 작성하되, GitHub PR 검토와 피드백을 다시 학습 신호로 삼아 초안을 반복 개선하는 흐름을 보여준다.
14. 12:54
    유출된 전문용어 잡아내기 초안이 사실은 맞지만 고객 언어가 아니라 내부 jargon이 섞여 있다는 문제를 찾아내고, 이를 막기 위한 데이터셋과 evaluator를 새로 제안하는 과정을 보여준다.
15. 13:53
    V1과 V2의 백테스트 업데이트된 데이터셋으로 V1과 V2를 비교해 사용자 관점 언어가 개선되었는지 확인하고, 긍정적인 차이가 있으면 다음 버전으로 반영하는 방식으로 검증한다.
16. 15:13
    최고의 팀들이 쓰는 패턴 성과가 좋은 팀들은 생산 신호와 실행 traces를 함께 모으고, 매일·매주 배치 단위로 에이전트를 돌려 피드백과 주석을 바탕으로 계속 개선한다.
17. 15:58
    데이터 계층을 직접 소유하라 에이전트가 더 많은 데이터를 읽고 재사용할수록 저장·검색·보존이 중요한 데이터 계층이 핵심 자산이 되며, 오래된 traces까지 자체적으로 보유할 수 있어야 한다.

실무 인사이트

• 에이전트 개선은 모델 자체보다 생산 traces, 데이터셋, evaluator를 연결한 운영 루프 설계가 성패를 가른다.
• 인간은 모든 반복 작업을 직접 하지 말고, 목표 설정·경계 정의·중요한 검토 지점에만 개입하도록 역할을 재설계하는 것이 효과적이다.
• 장기적으로는 에이전트가 학습할 수 있는 데이터 계층을 직접 소유하고, 오래된 실행 기록까지 보존하는 구조가 경쟁력이 된다.