An Agent That Fixes Its Own Mistakes - Saloni Gandhi & Ziwei Guo, LinkedIn

한 줄 핵심

이 영상은 LinkedIn의 user understanding agent를 대상으로 평가-원인분석-프롬프트 수정-재검증을 반복하는 recursive self-improvement(RSI) 루프를 구축해, 에이전트 품질을 지속적으로 높이는 방법과 그 과정에서 평가 품질이 얼마나 중요한지 보여준다.

시간별 요약

1. 0:01
   RSI의 기본 개념과 개선 대상 recursive self-improvement(RSI)은 운영 중인 AI 시스템이 프로덕션 trace와 사용자 피드백에서 문제를 학습해 스스로 개선되도록 만드는 루프다. LinkedIn은 career 관련 user understanding agent를 대상으로 하며, 현재는 base model 자체보다 harness와 평가·오케스트레이션을 먼저 개선하는 데 초점을 둔다.
2. 3:01
   개선 계층과 7단계 RSI 루프 개선 대상은 planning, context·memory, tool interface, artifact storage 같은 하네스 구성요소로 나뉘며, 난이도에 따라 prompt 업데이트부터 구조화된 context, 전체 workflow, harness code, optimizer code까지 단계적으로 올라간다. 실제 RSI 루프는 샘플 생성, judge 평가, root cause 분석, edits proposal 생성, 후보 검증, prompt 반영, holdout 재평가의 7단계로 구성된다.
3. 9:02
   user understanding agent와 평가 방식 대상 agent는 member ID를 입력받아 검색 기록, 프로필, 위치, 선호 데이터를 바탕으로 preferred job title 같은 user understanding 결과를 생성하고, 각 항목에 confidence와 citation, reasoning을 붙인다. 이후 judge가 1~3점 척도로 다수 차원의 품질을 채점하며, 이 점수가 이후 개선 방향을 결정하는 핵심 신호가 된다.
4. 14:01
   원인 분석과 프롬프트 수정 낮은 점수의 원인을 찾기 위해 실패 사례를 클러스터링하고, row 단위로 root cause와 tag를 붙인 뒤, 유사한 이슈를 dedup하여 canonical issue로 묶는다. 그 다음 judge evidence와 reflection artifact를 바탕으로 prompt 수정안을 만들고, validation set에서 검증한 뒤 통과한 변경만 production baseline으로 반영한다.
5. 23:03
   평가 품질에서 배운 것과 실제 개선 RSI의 성패는 최적화 엔진뿐 아니라 evaluator의 신뢰도에 달려 있으며, human review를 통해 judge가 강한 출력은 잘 맞히지만 약한 출력과 세부 차원에서는 편차가 크다는 점이 드러났다. rubric을 정교화하고 harmless formatting 차이, title normalization, 부분 정답 처리 규칙을 보정한 결과 human alignment가 57%에서 64%로 올라가고 mean error가 96에서 74로 줄었다.
6. 31:01
   확장 전략과 재사용 가능한 RSI 인프라 reflection agent는 failure의 root cause를 찾지만, judge가 틀렸을 가능성까지 명시적으로 다루지 못하면 잘못된 component를 고칠 위험이 있다. 그래서 표준화된 evaluation infrastructure, 지속적 feedback 수집, 자동화된 optimization, holdout 검증, 팀별 재사용 가능한 self-service infra를 통해 RSI를 기업 전반에서 재사용 가능한 역량으로 만드는 것이 최종 목표다.

실무 인사이트

• 에이전트 성능을 높이려면 모델을 바로 고치기보다 먼저 평가 기준과 rubrics를 정교하게 만드는 편이 더 빠르고 안전하다.
• 개선 루프의 품질은 최적화 후보를 얼마나 많이 만드는지가 아니라, 잘못된 원인을 얼마나 정확히 배제하고 올바른 수정만 남기느냐에 달려 있다.
• 프로덕션 적용 전에는 holdout 평가와 human review를 반드시 두어야 하며, 특히 약한 출력 구간에서의 judge 편향을 교정해야 실제 품질 개선으로 이어진다.