Learning on the Job: The Future of Post-Training — Raymond Feng, Applied Compute

한 줄 핵심

에이전트가 실제 업무 환경에서 학습하도록 하려면, 재현 가능한 합성 환경부터 고객의 실제 하네스에 직접 붙는 방식까지 포스트트레이닝을 다시 설계해야 하며, 핵심 난점은 환경 충실도와 비재현성에서 생기는 잘못된 학습이다.

시간별 요약

1. 0:12
   최근 에이전트는 추론과 도구 사용이 강해졌고, 이제는 기업의 기존 하네스에 바로 꽂아 넣을 수 있는 맞춤형 모델 학습이 중요해졌다. 이를 위해 단순 Q&A부터 합성 환경, 실제 하네스까지 단계적으로 확장하는 포스트트레이닝 관점이 필요하다.
2. 3:00
   단순 Q&A 학습은 orchestrator가 롤아웃을 만들고 grader가 채점한 뒤 training engine이 weight update를 만드는 폐쇄된 구조로 구성된다. 이 방식은 통제는 쉽지만, 단일 턴 중심이라 장기 과제나 복잡한 환경 학습에는 한계가 있다.
3. 5:00
   합성 환경에서는 sandbox와 여러 턴의 상호작용을 통해 더 긴 과제를 학습하지만, 환경 상태가 training stack 바깥에 있어 현실을 얼마나 잘 모사하느냐가 성패를 좌우한다. 환경의 작은 오류도 모델이 학습해 버리며, reward hacking이나 이상한 출력 길이 조절 같은 부작용을 만들 수 있다.
4. 9:00
   bring your own harness는 실제 production 하네스를 그대로 사용해 학습하는 방식으로, 고객이 이미 쓰는 실행 흐름에 맞춰 모델을 개선할 수 있다는 장점이 있다. 하지만 하네스가 black box에 가까워질수록 비재현성, offline/off-policy 데이터, 약한 학습 신호가 문제로 떠오른다.
5. 13:00
   해결 방향으로는 self-distillation, 자동화된 데이터 파이프라인, qualitative feedback ingestion이 제시된다. 궁극적으로는 개별 태스크를 고치는 수준을 넘어, 모든 상호작용에서 스스로 학습하고 반성하는 자기개선형 모델이 다음 단계라는 비전을 제시한다.

실무 인사이트

• 실제 적용에서는 먼저 합성 환경으로 반복 학습 구조를 만들고, 이후 실제 하네스 데이터로 전이하는 2단계 전략이 가장 현실적이다.
• 평가 지표만 맞추는 것보다 환경 충실도와 비재현성 점검이 더 중요하며, 작은 실패 패턴도 모델의 편향된 행동을 학습시킬 수 있다.
• 고객 피드백이 정량 점수가 아니더라도, 질적 피드백을 학습 데이터로 바꾸는 파이프라인을 준비하면 운영 중 개선 속도를 크게 높일 수 있다.