AI 에이전트는 어떻게 쓸수록 나아질까? | 모델·하네스·컨텍스트

한 줄 핵심

AI 에이전트는 모델을 다시 학습시키는 것보다 실행 기록과 평가를 바탕으로 하네스와 컨텍스트를 반복 개선할 때 더 빠르고 현실적으로 나아진다.

시간별 요약

1. 0:00
   에이전트를 구성하는 세 가지 축 에이전트는 모델, 하네스, 컨텍스트의 조합으로 이해할 수 있다. 모델이 추론과 결정을 담당하고, 하네스가 관찰·실행·검증·저장을 맡으며, 컨텍스트가 텍스트와 지식의 입력을 제공한다.
2. 1:05
   모델을 다시 학습하는 방법 감독 미세조정은 원하는 trace만 골라 모델에 학습시키는 방식이다. 특히 잘 수행한 사례를 중심으로 데이터를 선별해 모델이 그 패턴을 따라 배우게 만든다.
3. 1:28
   하네스와 컨텍스트를 개선하는 방법 하네스는 코드, 로직, 프롬프트, 도구를 바꾸는 방식으로 개선할 수 있고, 보통 trace를 보고 문제를 찾아 수정한다. 컨텍스트는 텍스트 중심이라 가장 쉽게 바꿀 수 있으며, 사용자나 조직 단위의 기억처럼 더 높은 수준으로도 확장할 수 있다.
4. 2:43
   실행 기록과 평가의 공통 기반 모델, 하네스, 컨텍스트를 개선하는 공통 기반은 traces와 evals다. 정확한 입력·출력·이벤트 순서를 남겨야 fine-tuning이든 디버깅이든 무엇이 실제로 일어났는지 판단할 수 있다.
5. 3:41
   좋은 결과를 정의하는 평가 evals는 제품 요구사항 문서처럼 무엇이 좋은 결과인지 정의하는 장치다. 정답뿐 아니라 금지 응답, 환경의 최종 상태, 도구 호출 순서까지 기준으로 삼아 안전한 개선 범위를 정할 수 있다.
6. 5:16
   만능 판정자는 존재하지 않는다 정답 여부를 완벽하게 판정하는 범용 심판은 존재하지 않는다. 올바른 판단에는 높은 도메인 지식이 필요하므로, 정확성 검증은 본질적으로 어렵고 아직 해결되지 않은 문제로 남아 있다.
7. 5:57
   스스로 고치는 개선 루프와 한계 에이전트는 실행, 피드백 수집, trace 분석, eval 데이터 축적, 수정 제안의 순환을 통해 점진적으로 개선될 수 있다. 이상적으로는 이 과정까지 에이전트가 스스로 수행하지만, 현재는 모델 가중치·하네스 코드·컨텍스트를 사람이 함께 조정하는 단계에 가깝다.

실무 인사이트

• 에이전트 개선은 모델 성능만 보는 접근보다, trace와 eval을 먼저 설계해 반복 학습 가능한 구조를 만드는 것이 효율적이다.
• 컨텍스트는 가장 빨리 개선할 수 있는 레버이므로, 전체 모델을 건드리기 전에 사용자·조직 단위 기억과 입력 텍스트를 먼저 정비하는 것이 좋다.
• 평가 기준은 최종 답변뿐 아니라 환경 변화와 tool call 순서까지 포함해야 실제 에이전트 품질을 제대로 관리할 수 있다.